Challenges and Recommendations for LLMs-as-a-Judge in Multilingual Settings and Low-Resource Languages

Planteamiento del Problema
El paradigma "LLM-as-a-Judge" (el LLM como juez) se ha convertido en el método de evaluación dominante para las tareas de generación de lenguaje natural (NLG), debido en gran medida a la alta correlación entre los juicios de los LLM y las evaluaciones humanas en inglés, así como a las ventajas de costo y escalabilidad sobre la anotación humana. Sin embargo, este paradigma se está extendiendo cada vez más a entornos multilingües y lenguas de bajos recursos (LRLs) sin una validación suficiente. El artículo identifica una brecha crítica: mientras que los LLM exhiben una competencia limitada en las LRLs, los investigadores a menudo los aplican como evaluadores en estos entornos sin verificar su fiabilidad. Esto conlleva riesgos como resultados de evaluación inconsistentes, la sobreestimación del rendimiento en las LRLs y una dependencia generalizada de modelos jueces únicos sin validación humana o métodos de ensamble. Los autores señalan que las encuestas existentes sobre LLM-as-a-Judge se centran predominantemente en el inglés, dejando una falta de análisis sistemático con respecto a la fiabilidad de estos jueces en contextos multilingües y de bajos recursos.

Metodología
Para abordar esta brecha, los autores realizaron una revisión sistemática de la literatura de la ACL Anthology.

• Estrategia de búsqueda: Implementaron un flujo de trabajo reproducible para buscar metadatos (títulos y resúmenes) de la ACL Anthology utilizando tres grupos de palabras clave: (1) LLMs, (2) Funcionalidad de Juez/Evaluación, y (3) Contextos de bajos recursos/multilingües.
• Filtrado: A partir de un conjunto inicial de 650 artículos que mencionaban LLM-as-a-Judge, la búsqueda arrojó 49 candidatos que contenían palabras clave de bajos recursos o multilingües.
• Anotación: Los autores revisaron manualmente estos 49 artículos, excluyendo aquellos donde los LLM se utilizaban para el etiquetado directo de texto (orientado al anotador) en lugar de evaluar las salidas de modelos (orientado al evaluador), o donde el enfoque fuera en lenguajes no naturales (por ejemplo, código).
• Corpus Final: Este proceso resultó en un corpus final de 33 artículos dentro del alcance.
• Dimensiones de Análisis: Los autores analizaron estos 33 artículos a través de cinco dimensiones: paradigma de juicio (por ejemplo, puntuación directa, comparación por pares), tareas de PLN de aplicación descendente, familias de modelos jueces (código cerrado vs. código abierto), cobertura lingüística y los protocolos de validación utilizados para evaluar la fiabilidad del juez.

Hallazgos Clave y Resultados
El análisis de los 33 artículos revela varias debilidades estructurales en las prácticas de investigación actuales:

1. Profundidad Superficial en la Cobertura de Bajos Recursos: Aunque muchos artículos afirman tener cobertura multilingüe, el enfoque en lenguas de bajos recursos es superficial. De los 33 artículos, solo 8 (24%) incluyen lenguas de bajos recursos como al menos la mitad de su conjunto de evaluación. La cobertura está fuertemente sesgada hacia lenguas de mayores recursos, y regiones específicas (por ejemplo, lenguas indígenas americanas, de las islas del Pacífico y la mayoría de las lenguas del África subsahariana) están mayormente ausentes.
2. Dominio de Modelos de Código Cerrado y Jueces Únicos: El ecosistema de jueces está dominado por modelos de código cerrado, particularmente la familia GPT (utilizada en el 79% de los artículos). Además, el 48% de los estudios dependen de una única familia de modelos jueces, y el 33% utiliza GPT como el único juez. La validación entre diferentes jueces es poco común.
3. Deficiencias de Validación: Aunque el 73% de los artículos reportan alguna forma de comparación humana, esta validación se realiza a menudo solo en subconjuntos de inglés o de altos recursos. Por ejemplo, algunos estudios validan un juez multilingüe utilizando únicamente benchmarks en inglés, dejando la fiabilidad en las LRLs objetivo sin verificar. Varios artículos despliegan jueces de LLM en LRLs (por ejemplo, nepalí, yoruba) sin ningún control humano o de etiquetas de oro (gold-label), asumiendo la fiabilidad basándose en las capacidades multilingües del juez en lugar de evidencia empírica.
4. Inconsistencia y Sesgo: La evidencia existente citada en el artículo indica que el acuerdo entre humanos y LLM disminuye significativamente en las LRLs. Problemas como el sesgo de verbosidad, el sesgo de auto-mejora y la degradación del rendimiento específica de cada lengua son más pronunciados en entornos de bajos recursos.

Recomendaciones
Basándose en estos hallazgos, los autores proponen cuatro recomendaciones específicas para la comunidad de PLN:

1. Validar en Contextos Objetivo: Los investigadores deben investigar si un juez es fiable para el idioma objetivo específico, en lugar de asumir que la validación basada en el inglés se transfiere a las LRLs.
2. Mantener al Humano en el Bucle: La evaluación humana debe realizarse en al menos un subconjunto de datos para las LRLs, acompañada de estimaciones de confianza estadística. Los investigadores también deben documentar la demografía y la experiencia de los evaluadores humanos para asegurar la representatividad.
3. Reevaluar la Necesidad de Métricas: Antes de adoptar LLM-as-a-Judge, los investigadores deben considerar si las métricas no basadas en LLM (por ejemplo, chrF, Exact Match) son igualmente factibles. Los jueces de LLM solo deben usarse cuando no haya una métrica existente mejor disponible y deben utilizarse en conjunto con métricas tradicionales validadas para detectar errores como desajustes de variedad lingüística.
4. Considerar la Relevancia Cultural y de Dominio: La evaluación debe extenderse más allá de la competencia lingüística para incluir la competencia cultural y la relevancia de dominio específico (por ejemplo, contextos médicos o legales), ya que los LLM pueden amplificar los estereotipos culturales o fallar en dominios especializados.

Significancia y Reivindicaciones
El artículo sostiene que, si bien el LLM-as-a-Judge ofrece eficiencia, su aplicación en entornos multilingües y de bajos recursos es actualmente poco sólida debido a la falta de validación y a la dependencia excesiva de supuestos no probados. Los autores argumentan que, sin una validación rigurosa, la facilidad de usar LLM como jueces puede conducir a una degradación de la calidad de la evaluación, creando un ciclo donde los modelos son juzgados por otros modelos que, a su vez, están mal validados en esos idiomas. El estudio sirve como un llamado a la acción para que la comunidad de la ACL vaya más allá de las afirmaciones multilingües superficiales y establezca protocolos de evaluación robustos y validados por humanos para las lenguas de bajos recursos. Los autores declaran explícitamente que su trabajo es una encuesta de la literatura existente en lugar de un conjunto de nuevos experimentos, con el objetivo de resaltar las deficiencias en las tendencias de investigación actuales.