💬 NLP

Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge

Este artículo presenta Judge-LS, un protocolo de metaevaluación que demuestra que, si bien los sistemas de LLM-como-juez exhiben una inestabilidad de preferencia y caídas de precisión significativas al evaluar contenido en chino o con cambios de idioma en comparación con el inglés, no favorecen sistemáticamente al inglés sobre las respuestas en chino equivalentes por traducción.

Autores originales: Shaojie Yin

Publicado 2026-06-15✓ Author reviewed ⓘ

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shaojie Yin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un árbitro automatizado muy inteligente (una IA) cuyo trabajo es observar a dos personas responder una pregunta y decidir quién lo hizo mejor. Así es como se prueban muchos sistemas de IA modernos hoy en día: una IA actúa como juez de otras IA.

Este artículo plantea una pregunta simple pero complicada: ¿Le importa al árbitro el idioma en el que se dicen las respuestas, o solo le importa la calidad de las mismas?

Piensa en esto como una competencia de cocina. Si dos chefs preparan exactamente la misma sopa deliciosa, pero uno la presenta en un elegante restaurante francés y el otro en un comedor informal, ¿el juez le da una puntuación más alta a la presentación francesa solo porque suena más "elegante"? ¿O el juez prueba la sopa y se da cuenta de que son idénticas?

El Experimento: La prueba del "Traductor de Idiomas"

Los investigadores tomaron un conjunto estándar de 419 preguntas y respuestas (un punto de referencia llamado LLMBar) y las pasaron por cuatro jueces de IA diferentes. Hicieron esto en tres "disfraces" distintos:

Inglés: La versión original.
Chino: Las mismas preguntas y respuestas, pero traducidas perfectamente al chino.
Alternancia de código (Code-Switching): Una mezcla de inglés y chino (como decir "Please send the email to the manager", mezclando idiomas de forma natural).

También realizaron una prueba especial de "desempate". Tomaron una respuesta perfecta en inglés y su traducción perfecta al chino y le pidieron al juez que las comparara. Dado que el contenido es idéntico, el juez debería decir: "¡Es un empate!".

Lo que Encontraron

Los resultados fueron un poco sorprendentes y mostraron que los árbitros no son tan neutrales como desearíamos.

El sesgo del "Acento Inglés": Cada uno de los jueces funcionó mejor cuando las respuestas estaban en inglés. Cuando las respuestas estaban en chino o en una mezcla de idiomas, los jueces cometían más errores. Es como si el árbitro se confundiera un poco o perdiera agudeza cuando los concursantes hablan un dialecto diferente, incluso si la lógica es la misma.
El problema del "Cambio de Opinión" (Flip-Flop): En aproximadamente el 11% al 14% de los casos, el juez cambió de opinión solo porque el idioma cambió.
- Analogía: Imagina que el Juez A dice: "¡El Chef 1 gana!" cuando el menú está en inglés. Pero si le entregas el mismo menú traducido al chino, el Juez A de repente dice: "En realidad, ¡el Chef 2 gana!", aunque la comida no ha cambiado en absoluto. Esto se llama un "cambio de preferencia" (preference flip).
No es solo que el "Inglés sea mejor": Podrías pensar que los jueces simplemente aman el inglés y odian todo lo demás. Pero la prueba del "desempate" mostró algo más complejo. Cuando los jueces sí eligieron a un ganador entre una respuesta en inglés y su traducción al chino, ¡en realidad eligieron el chino con más frecuencia que el inglés!
- La Conclusión: El problema no es que los jueces prefieran ciegamente el inglés. El problema es que son inestables. Se dejan influir fácilmente por cómo se presenta la información, ya sea el idioma, el orden en que aparecen las respuestas o una mezcla de ambos.

Por qué esto es importante

Si estás construyendo un sistema de IA para ayudar a personas en China, o para manejar conversaciones de idiomas mixtos, no puedes confiar simplemente en un juez entrenado en inglés para que sea justo.

El Juez "Frágil": Un buen juez debería ser como una báscula sólida como una roca. Si pones el mismo peso, debería dar la misma lectura, ya sea que describas el peso en kilogramos o en libras. Estos jueces de IA son más bien como una báscula tambaleante; la lectura cambia dependiendo de cómo la sostengas.
El Costo de la Confusión: Debido a que los jueces cambian sus decisiones tan a menudo (aproximadamente 1 de cada 10 veces), podrían clasificar accidentalmente a una IA peor como la ganadora solo porque la prueba fue escrita en un idioma diferente.

La Solución Propuesta

Los autores sugieren un nuevo y ligero "control de salud" llamado Judge-LS. Antes de confiar en un juez de IA para clasificar modelos en un mundo multilingüe, deberías realizar esta prueba simple:

Traduce la prueba al idioma objetivo.
Ejecuta el juez de nuevo.
Verifica si el juez cambia de opinión.

Si el juez cambia de opinión con demasiada frecuencia, no está listo para el trabajo. Es como contratar a un árbitro que se confunde con un acento diferente; necesitas un árbitro que juzgue el juego, no el idioma.

En resumen: El artículo demuestra que los jueces de IA son actualmente sensibles a los cambios de idioma. No son simplemente "amantes del inglés"; son "observadores inestables" que deben ser probados para asegurar su consistencia antes de confiar en ellos para decidir cuál es la mejor IA.

Resumen Técnico: ¿Prefiere el Juez el Inglés? Evaluando la Invarianza de Cambio de Lenguaje en LLM-as-a-Judge

1. Planteamiento del Problema

La adopción generalizada de Modelos de Lenguaje Extensos (LLMs) como jueces automáticos para la evaluación de seguimiento de instrucciones de respuesta abierta introduce una pregunta crítica de fiabilidad: ¿Evalúa un juez la calidad semántica de una respuesta, o su preferencia reacciona al idioma en el que se presenta la comparación?

Si bien el uso de LLM-como-juez ofrece escalabilidad y conciencia semántica superior a las métricas basadas en referencias, hereda los sesgos de los modelos generativos. Trabajos previos han documentado el sesgo de posición, el sesgo de verbosidad y la sensibilidad al prompt. Este artículo aísla un modo de fallo de fiabilidad específico: la invarianza de cambio de lenguaje (language-switching invariance). Específicamente, investiga si un juez preserva su preferencia cuando una comparación por pares se presenta en inglés, chino o una variante de cambio de lenguaje chino-inglés, asumiendo que la relación de calidad subyacente (la "etiqueta de oro" o gold label) permanece inalterada.

2. Metodología: El Protocolo Judge-LS

Los autores proponen Judge-LS, un protocolo de meta-evaluación ligero y sin necesidad de entrenamiento, diseñado para probar la invarianza de cambio de lenguaje utilizando únicamente llamadas a API.

2.1 Datos Base y Transformación

Dataset: El estudio utiliza el benchmark completo LLMBar, que consta de 419 ítems por pares (un subconjunto natural y cuatro subconjuntos adversarios) con etiquetas de oro objetivas que indican qué respuesta sigue mejor una instrucción.
Variantes de Lenguaje: Para cada ítem, se generan tres versiones:
1. EN: La versión original en inglés.
2. ZH: Una traducción natural al chino simplificado de la instrucción y de ambas salidas candidatas.
3. LS: Una variante de cambio de lenguaje chino-inglés natural, que preserva términos técnicos, entidades con nombre y términos de tareas en inglés donde sea apropiado.
Modelo de Transformación: Se utiliza gpt-4.1-mini para la traducción. El prompt instruye explícitamente al modelo para preservar todos los errores factuales, matemáticos, de formato y de seguimiento de instrucciones para asegurar que la validez de la etiqueta de oro no se vea comprometida por "reparaciones silenciosas".
Auditoría: Una auditoría automática verifica la integridad de los campos y señala variantes de alto riesgo (por ejemplo, reducción severa de longitud o desajustes de tokens numéricos). 19 ítems (4.5%) fueron señalados, y un análisis de sensibilidad los excluye.

2.2 Diseño Experimental

Jueces: Se evaluaron cuatro modelos accesibles vía API:
- GPT-4.1 Mini
- Claude Haiku 4.5
- Gemini 2.5 Flash
- DeepSeek V4 Flash
Construcción del Juicio: Cada ítem es evaluado bajo las tres condiciones de lenguaje. Para cada condición, el juez recibe tanto el orden original como el orden intercambiado de las respuestas (A vs. B). Además, se crean sondas de empate equivalentes de traducción comparando la respuesta de oro en inglés contra su traducción al chino para probar la preferencia de lenguaje en escenarios de "Empate" (Tie).
Volumen Total: El experimento generó 13,408 juicios únicos por pares exitosos.

2.3 Métricas

El estudio reporta varias métricas de diagnóstico más allá de la simple precisión:

Precisión Estricta y de Mitad de Empate (Strict and Tie-Half Accuracy): Mide el acuerdo con las etiquetas de oro, otorgando crédito parcial a las predicciones de "Empate".
Tasa de Inversión de Invarianza de Lenguaje (Language-Invariance Flip Rate): El porcentaje de juicios donde la preferencia cambia únicamente debido a la transformación del lenguaje (EN vs. ZH/LS).
Tasa de Inversión de Corrección de Oro (Gold-Correctness Flip Rate): El porcentaje de casos donde un juicio correcto se vuelve incorrecto (o viceversa) tras la traducción.
Inconsistencia de Posición: La tasa en la que el ganador cambia cuando se intercamba el orden de las respuestas.
Preferencia de Lenguaje en Sondas de Empate: La distribución de victorias entre el inglés y el chino en las sondas de empate equivalentes de traducción.
Rigor Estadístico: El documento emplea intervalos de confianza de Wilson del 95% y pruebas exactas bilaterales de McNemar/binomiales para comparaciones por pares.

3. Resultados Clave

3.1 Precisión y Estabilidad

Superioridad del Inglés: Los cuatro jueces alcanzaron su mayor precisión en inglés. Por ejemplo, la precisión de mitad de empate de DeepSeek cayó de 90.5% (EN) a 87.8% (ZH) y 88.9% (LS).
Tasas de Inversión Significativas: Las transformaciones de lenguaje indujeron inversiones de preferencia en el 10.7% al 14.4% de los casos respecto al inglés.
- GPT-4.1 Mini y Claude Haiku fueron los más sensibles a las traducciones al chino (tasas de inversión del 14.4% y 14.2%, respectivamente).
- DeepSeek y Gemini mostraron tasas de inversión menores pero aún sustanciales (~11.1%).
Impacto en la Corrección: Las tasas de inversión de corrección de oro reflejaron estrechamente las tasas de inversión de preferencia, lo que indica que estos no son cambios inocuos entre una respuesta correcta y un empate, sino cambios reales en la alineación del juez con la verdad objetiva. Las pruebas de significancia por pares rechazaron la simetría para todas las comparaciones de modelo-lenguaje ( $p \le 0.011$ ).

3.2 Preferencia de Lenguaje vs. Inestabilidad

Sin Sesgo Sistemático de Inglés en Empates: Contrario a la hipótesis de que los jueces prefieren inherentemente el inglés, las sondas de empate equivalentes de traducción fueron juzgadas como "Empate" en la gran mayoría de los casos (por ejemplo, DeepSeek: 97.5%, GPT-4.1 Mini: 95.6%).
Preferencia por el Chino en No-Empates: Cuando los jueces no declararon un empate, favorecieron con más frecuencia la versión en chino sobre la versión en inglés. Esto sugiere que el problema no es un simple sesgo previo hacia el "inglés primero", sino una inestabilidad en cómo los jueces procesan diferentes presentaciones lingüísticas.

3.3 Interacción con el Sesgo de Posición

El Cambio de Lenguaje Amplifica la Sensibilidad de Posición: La inconsistencia de posición (cambiar al ganador cuando se intercambia el orden) aumentó significativamente en las condiciones de cambio de lenguaje (LS).
- La inconsistencia de posición promedio aumentó de 12.1% (EN) a 18.1% (LS) entre los modelos.
- Gemini Flash mostró el mayor incremento, del 10.3% (EN) al 22.2% (LS).
Dificultad Adversaria: Los subconjuntos adversarios (ej. Adv-GPTOut) exhibieron una menor precisión y mayores tasas de inversión, lo que sugiere que las transformaciones de lenguaje añaden una capa de dificultad a tareas de razonamiento ya de por sí desafiantes.

4. Contribuciones

Protocolo Judge-LS: Introducción de un protocolo simple y de bajos recursos para probar la invarianza de cambio de lenguaje en la evaluación de LLM-como-juez sin necesidad de entrenamiento de modelos.
Benchmarking Exhaustivo: Transformación del benchmark completo de 419 ítems de LLMBar en variantes de inglés, chino y cambio de lenguaje con etiquetas de oro preservadas.
Evaluación a Gran Escala: Evaluación de cuatro jueces de API diversos a través de 13,408 juicios, incluyendo intercambios de orden de respuesta y sondas de empate equivalentes de traducción.
Marco de Diagnóstico: Reporte de un conjunto multidimensional de métricas que incluye tasas de inversión, inconsistencia de posición, estimaciones de incertidumbre y análisis de sensibilidad que excluyen variantes mecánicamente riesgosas.

5. Significado y Reivindicaciones

El documento sostiene que el riesgo central en la evaluación multilingüe de LLM no es necesariamente que los jueces "prefieran el inglés", sino que son sensibles a la presentación del lenguaje de maneras que alteran la corrección e interactúan con el sesgo de posición.

Implicación de Fiabilidad: Una tasa de inversión del 10–14% es lo suficientemente grande como para alterar los rankings de los modelos cuando los sistemas tienen puntuaciones cercanas. Si un leaderboard utiliza un prompt de juez en inglés para evaluar respuestas en chino o con cambio de lenguaje, el rendimiento reportado puede confundir la calidad de la respuesta con la sensibilidad del juez al lenguaje.
Principio de Diseño: Los procesos de evaluación deben tratarse como sistemas bajo prueba. Un juez robusto debe preservar las preferencias centrales bajo transformaciones superficiales que preserven las etiquetas, de manera similar a como los clasificadores robustos deben manejar perturbaciones de entrada irrelevantes.
Flujo de Trabajo Práctico: Los autores recomiendan un flujo de trabajo de cinco etapas para la evaluación multilingüe: (1) evaluación base en inglés con intercambios de orden, (2) transformación a los lenguajes objetivo, (3) auditoría y análisis de sensibilidad, (4) cálculo de inversiones de invarianza con intervalos de confianza, y (5) sondas de empate para distinguir el sesgo de la inestabilidad.

El estudio concluye que los jueces de LLM actuales aún no son invariantes a la presentación del lenguaje, y que confiar en una única condición de lenguaje para la selección de modelos multilingües es una práctica frágil.