Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study

Enunciado del Problema
Aunque los Modelos de Lenguaje Grandes (LLM) se utilizan cada vez más como evaluadores automáticos («LLMs como Jueces») para textos generados, la mayoría de la investigación y los puntos de referencia existentes se centran en el inglés. Extender estas capacidades de evaluación a entornos multilingües, especialmente para lenguas de recursos limitados, sigue siendo un desafío significativo. Las lagunas actuales incluyen la falta de conjuntos de datos de evaluación multilingües robustos, la incertidumbre sobre las estrategias de entrenamiento óptimas (por ejemplo, supervisión monolingüe frente a multilingüe, traducción de instrucciones) y una comprensión limitada de cómo la escala del modelo y la disponibilidad de datos (de dominio específico frente a fuera de dominio) influyen en la fiabilidad de la evaluación en lenguas con distintos niveles de recursos y estructuras tipológicas.

Metodología
Los autores realizan un estudio empírico centrado en tres lenguas que representan diferentes niveles de recursos y familias tipológicas: inglés (recursos abundantes, germánica), español (recursos medios, romance) y euskera (recursos limitados, lengua aislada con morfología aglutinante).

• Creación del Conjunto de Datos: Dado que no existían conjuntos de datos de juicio públicos para euskera ni para español, los autores adaptaron conjuntos de datos existentes en inglés. Tradujeron la FeedBack Collection (100k pares instrucción-respuesta) para crear datos de entrenamiento. Para la evaluación, tradujeron dos puntos de referencia: RECON (tratado como de dominio específico, siguiendo el mismo protocolo de generación que los datos de entrenamiento) y FLASK (tratado como fuera de dominio, basado en la puntuación humana de dimensiones de alineación).
• Escenarios Experimentales: El estudio investiga dos condiciones principales:
  1. Disponibilidad de Dominio Específico: Ajuste fino de jueces en datos específicos de la tarea.
  2. Indisponibilidad de Dominio Específico: Evaluación en cero disparos o ajuste fino en datos relacionados pero fuera de dominio.
• Configuraciones de Entrenamiento: Los autores compararon:
  • Alineación Lingüística: Traducción completa de todos los componentes (instrucciones, rúbricas, salidas) frente a traducción parcial (manteniendo las rúbricas de evaluación y los prompts del sistema en inglés mientras se traducen solo las instrucciones y las salidas).
  • Tipo de Supervisión: Entrenamiento monolingüe (idioma único) frente a Entrenamiento multilingüe (datos paralelos combinados).
  • Selección de Modelo: Los experimentos utilizaron modelos de la familia LLaMA (variantes de 8B y 70B), incluyendo modelos ajustados a instrucciones, modelos destilados para razonamiento y modelos ya competentes en la lengua objetivo (Latxa para euskera).
  • Análisis de Escala: Comparación de modelos de 8B frente a modelos de 70B y alternativas propietarias (GPT-5.2, Command-A).

Contribuciones Clave

1. Expansión de Recursos: El trabajo extiende dos conjuntos de datos de metaevaluación existentes (RECON y FLASK) al español y al euskera, proporcionando un banco de pruebas controlado para la investigación de evaluación multilingüe.
2. Perspectivas Estratégicas para Entornos de Dominio Específico:
   • Traducción de Instrucciones: Mantener las rúbricas de evaluación y las instrucciones en inglés durante el entrenamiento y la prueba (traducción parcial) produce juicios más consistentes y una mayor correlación con las etiquetas de oro que la traducción completa, incluso para modelos entrenados monolingüemente.
   • Multilingüe frente a Monolingüe: El entrenamiento multilingüe mejora el rendimiento para el español y el euskera en comparación con el entrenamiento estrictamente monolingüe, demostrando una transferencia interlingüística efectiva.
   • Competencia del Modelo: Adaptar un modelo ya competente en la lengua objetivo (por ejemplo, Latxa para euskera) utilizando instrucciones en inglés es más efectivo que entrenar un modelo de propósito general en datos traducidos de la lengua objetivo.
   • Escala del Modelo: Cuando hay datos de dominio específico disponibles, modelos más pequeños de 8B ajustados finamente en datos específicos de la tarea pueden lograr un rendimiento comparable al de modelos mucho más grandes de 70B y sistemas propietarios.
3. Perspectivas Estratégicas para Entornos Fuera de Dominio:
   • Riesgos del Ajuste Fino: En escenarios fuera de dominio, el ajuste fino en datos relacionados puede degradar el rendimiento, particularmente en modelos más grandes (70B), que pueden mostrar sobreconfianza y polarización de puntuaciones.
   • Superioridad en Cero Disparos: Para la evaluación fuera de dominio, la inferencia en cero disparos con modelos grandes a menudo resulta más robusta y fiable que el ajuste fino en datos limitados o relacionados.

Resultados

• Rendimiento en Dominio Específico: Los modelos entrenados con rúbricas de evaluación en inglés (traducción parcial) lograron una correlación de Pearson de 0,73 con las etiquetas de oro, superando significativamente a las configuraciones totalmente traducidas (0,56). El entrenamiento multilingüe mejoró las puntuaciones de Pearson en 4,2 puntos para el euskera y en 1,4 puntos para el español en comparación con las líneas base monolingües.
• Efectos de la Escala: Aunque el rendimiento en cero disparos mejoró generalmente con el tamaño del modelo, el ajuste fino redujo las ganancias marginales de la escalabilidad. Los modelos de 8B ajustados finamente a menudo igualaron o superaron a los modelos de 70B y a las alternativas propietarias en tareas de dominio específico.
• Rendimiento Fuera de Dominio: El ajuste fino de modelos de 70B en datos fuera de dominio condujo a una degradación en la generalización, caracterizada por una tendencia a asignar puntuaciones extremas (polarización) y una caída en métricas relacionadas con la factualidad y la metacognición. Por el contrario, los modelos de 8B se beneficiaron del ajuste fino, pero aún obtuvieron resultados inferiores en comparación con los modelos grandes en cero disparos.
• Calidad de la Traducción: El análisis estadístico indicó que los puntos de referencia traducidos automáticamente fueron suficientes para identificar estrategias de entrenamiento efectivas, ya que los modelos no difirieron sistemáticamente en su sensibilidad a la calidad de la traducción en comparación con los subconjuntos verificados por humanos.

Significado
El artículo proporciona orientación práctica para construir pipelines de evaluación multilingüe eficientes y fiables. Cuestiona la suposición de que los modelos más grandes son siempre superiores, demostrando que el ajuste fino dirigido de modelos más pequeños y de pesos abiertos puede ser altamente efectivo cuando hay datos de dominio específico disponibles. Por el contrario, advierte contra el ajuste fino indiscriminado en escenarios con escasez de datos o fuera de dominio, donde la evaluación en cero disparos de modelos más grandes puede ser más robusta. Los hallazgos sugieren que la traducción completa de los prompts de evaluación a menudo es innecesaria, y aprovechar las rúbricas en inglés puede mejorar la consistencia interlingüística. Estas perspectivas tienen como objetivo apoyar el desarrollo de sistemas de evaluación más transparentes, lingüísticamente inclusivos y eficientes en recursos para diversas comunidades lingüísticas.