Resumen Técnico: BabelJudge

Planteamiento del Problema

La adopción de "LLM-as-a-judge" (LLM como juez) se ha convertido en el enfoque dominante para la evaluación escalable en los procesos de NLP, incluyendo benchmarks, la recolección de preferencias para RLHF y los controles de calidad en producción. Sin embargo, los jueces mismos no son neutrales; conllevan sesgos sistemáticos que las métricas de precisión bruta no logran capturar. Trabajos previos han documentado modos de falla específicos:

• Sesgo de Posición: Los jueces prefieren sistemáticamente las respuestas colocadas en un slot específico (por ejemplo, el slot A).
• Sesgo de Verbosidad: Los jueces recompensan respuestas más largas independientemente de su valor informativo.
• Sesgo de Auto-mejora: Los jueces prefieren salidas de modelos dentro de la misma familia.
• Degradación Cross-Lingual: La fiabilidad del juez colapsa en lenguas de bajos recursos, aunque la mayoría de los benchmarks existentes evalúan exclusivamente en inglés.

Actualmente, estos sesgos están documentados en estudios dispersos con configuraciones experimentales incompatibles, lo que deja a los profesionales sin un instrumento unificado y reutilizable para auditar un modelo de juez arbitrario a través de múltiples idiomas y modos de falla.

Metodología: Etiquetado de Oro por Degradación

BabelJudge introduce un marco para medir la fiabilidad del juez sin requerir etiquetas de preferencia humanas costosas. La idea central es el etiquetado de oro por degradación:

1. Construcción Sintética: Partiendo de una respuesta de referencia de alta calidad ($r$) extraída de un corpus multilingüe, se aplica una función de degradación controlada para generar una respuesta perturbada ($p$).
2. Verdad de Terreno Conocida: Por construcción, la respuesta de referencia es la etiqueta "gold" (la mejor respuesta).
3. Presentación de Orden Dual: Cada ítem de par se presenta al juez en ambos órdenes de slots (primero la referencia y primero la perturbada). Esto permite la medición directa del sesgo de posición y la consistencia de orden.

Tipos de Perturbación

El marco utiliza cinco tipos de perturbación controlados y agnósticos al lenguaje para sondear modos de falla específicos:

• Truncar (Truncate): Elimina oraciones finales para probar la tolerancia a la pérdida de información.
• Barajar (Shuffle): Reordena las oraciones para probar la sensibilidad a la coherencia.
• Corrupción de Números (Number Corrupt): Perturba tokens numéricos para probar la detección de exactitud fáctica.
• Eliminar Entidades (Drop Entities): Elimina tokens similares a entidades para probar la completitud de las entidades.
• Relleno de Repetición (Repeat Pad): Añade oraciones redundantes a la respuesta perturbada. Crucialmente, esto hace que la respuesta perturbada sea más larga pero estrictamente peor, sirviendo como una sonda específica para el sesgo de verbosidad.

El marco se extiende a entornos agénticos (trayectorias de uso de herramientas) mediante nueve perturbaciones a nivel de trayectoria, incluyendo:

• Corrupción de Argumentos: Mutar valores de argumentos.
• Intercambio de Nombres de Herramientas: Reemplazar herramientas con alternativas incorrectas.
• Herramientas Alucinadas: Insertar llamadas a herramientas inexistentes.
• Argumentos Faltantes/Extra: Eliminar argumentos requeridos o añadir claves sin sentido.
• Manipulación de Pasos: Eliminar pasos intermedios, terminación temprana o añadir relleno con pasos redundantes (para sondear el sesgo de longitud de trayectoria).

Métricas de Fiabilidad

BabelJudge va más allá de la simple precisión hacia una Puntuación de Fiabilidad ($R$) compuesta que penaliza el sesgo de forma multiplicativa. La puntuación se calcula como:
$$R = (\text{Base de Competencia}) \times (\text{Penalización de Posición}) \times (\text{Penalización de Verbosidad})$$

Donde:

• Base de Competencia: Un promedio ponderado de la precisión bruta y la consistencia de orden.
• Penalización de Posición: Derivada de la diferencia en la tasa de victorias entre los órdenes de los slots ($\Delta_{pos}$).
• Penalización de Verbosidad: Derivada de la susceptibilidad a preferir respuestas más largas y de menor calidad.

Este filtrado multiplicativo asegura que un juez con alta precisión bruta pero con un sesgo significativo sea penalizado más severamente de lo que sugeriría un promedio aditivo. El artículo propone un umbral de despliegue de $R \geq 0.65$.

Resultados Experimentales

El marco fue evaluado utilizando Qwen2.5-7B-Instruct-4bit a través de cuatro idiomas: inglés, hindi, árabe y suajili.

Hallazgos Clave

1. La Precisión Bruta Sobrestima la Fiabilidad: Mientras que la precisión macro se mantuvo relativamente alta en todos los idiomas (oscilando entre 0.660 y 0.835), la puntuación de fiabilidad compuesta cayó significativamente, particularmente en lenguas de bajos recursos.
2. Colapso Cross-Lingual:
   • Hindi: Alta fiabilidad (0.714) con alta precisión (0.835).
   • Suajili: La fiabilidad colapsó a 0.550 a pesar de tener una precisión de 0.660.
   • Impulsor del Fallo: La causa principal de la baja fiabilidad del suajili fue la consistencia de orden (0.480), indicando que el veredicto del juez era efectivamente aleatorio cuando se intercambiaba el orden de los slots.
3. Susceptibilidad a la Verbosidad: Esta métrica fue altamente dependiente del idioma. El inglés mostró una baja susceptibilidad (0.075), mientras que el hindi mostró una susceptibilidad significativamente mayor (0.250), sugiriendo que el juez es más fácilmente engañado por la longitud en hindi que en inglés.
4. Sesgo de Posición: El sesgo de posición ($\Delta_{pos}$) se mantuvo dentro de rangos aceptables (<0.10) para todos los idiomas en esta muestra, lo que sugiere un debiasing parcial en el modelo.

Significancia y Contribuciones

El artículo reclama las siguientes contribuciones:

1. Metodología: Un enfoque de "etiquetado de oro por degradación" que elimina los costos de anotación al fabricar ítems de pares con etiquetas conocidas.
2. Instrumento Unificado: Un único marco que operacionaliza los sesgos de posición, verbosidad y consistencia de orden en métricas comparables.
3. Métrica Compuesta: Una puntuación de fiabilidad que hace visible la brecha entre la precisión bruta y la calidad real del juez, revelando que la precisión por sí sola es una señal incompleta.
4. Extensión Agéntica: La primera extensión de la auditoría de jueces a trayectorias de agentes, introduciendo métricas para la exactitud de herramientas, detección de alucinaciones y sesgo de longitud de trayectoria.
5. Herramienta de Código Abierto: Un paquete de Python de código abierto (BabelJudge) con adaptadores para 11 backends de jueces, diseñado para servir como un "leaderboard vivo" para la fiabilidad de los jueces.

Los autores concluyen que BabelJudge debe utilizarse como un checkpoint estándar antes de desplegar jueces de LLM en entornos de producción multilingües o agénticos, particularmente para identificar idiomas o escenarios donde la fiabilidad del juez cae por debajo del umbral de 0.65.