Resumen Técnico: Jurado de Guardia: Fallos de Calibración y Orientación en MLLM-como-Juez bajo Ambigüedad Cultural

Planteamiento del Problema

Los paradigios de "LLM-como-Juez" y "MLLM-como-Juez" se utilizan cada vez más para evaluar tareas de generación abierta donde las métricas basadas en referencias son insuficientes. Estos sistemas se validan convencionalmente midiendo su acuerdo con las anotaciones humanas. Sin embargo, este enfoque de validación contiene un fallo crítico: no especifica los juicios de quién está aproximando el modelo. En dominios sensibles a las preferencias (p. ej., plausibilidad, idoneidad, deseabilidad), los juicios humanos no son monolíticos, sino que están situados culturalmente. Cuando un modelo juez es evaluado contra un grupo heterogéneo de culturas, el "acuerdo" resultante resultante se condiciona silenciosamente a la composición cultural específica de ese grupo.

Trabajos previos han documentado sesgos culturales en la generación de modelos (p. ej., la mala representación en sistemas de texto a imagen), pero se ha prestado menos atención a cómo los sesgos culturales moldean la evaluación del modelo. Esto es estructuralmente consecuente porque los resultados del juez suelen servir como señales de entrenamiento para el Aprendizaje por Refuerzo a partir de Retroalimentación de IA (RLAIF) o como base de verdad para tablas de clasificación (leaderboards). Si un juez posee un sesgo cultural no reportado, este propaga dicho seso hacia futuros ciclos de entrenamiento y métricas de evaluación.

Metodología: El Benchmark VOIR DIRE

Para investigar esto, los autores introducen VOIR DIRE, un benchmark multimodal diseñado para cuantificar la divergencia entre la alineación de un MLLM-como-Juez y grupos de referencia humanos culturalmente distintos bajo ambigüedad sensible a la preferencia.

Construcción del Benchmark

• Composición del Dataset: VOIR DIRE consta de 626 ítems emparejados de imagen-prompt culturalmente. Cada ítem empareja un concepto alineado con EE. UU. con un concepto alineado con la China continental que comparte el mismo referente (p. ej., una comida de celebración en ambos contextos).
• Categorías: Los ítems abarcan tres categorías: Alimentos y Bebidas, Moda y Características Humanas, y Arquitectura y Símbolos.
• Obtención de Imágenes: Las imágenes fueron generadas usando Gemini 3 Pro Image con parámetros coincidentes (relación de aspecto, iluminación, composición) para asegurar que las diferencias visuales sean estrictamente pistas culturales y no variaciones estéticas o compositivas. También se creó un subconjunto de 30 pares de fotos naturalistas para verificar que los hallazgos no sean artefactos de la imaginería sintética.
• Diseño de Prompts: Los prompts fueron redactados por anotadores expertos biculturales para provocar juicios evaluativos (no búsquedas fácticas) que sean plausiblemente contestables entre culturas.
• Anotación Humana: Diez anotadores con fluidez bicultural (cinco de EE. UU., cinco de China continental) calificaron los ítems en cuatro dimensiones:
  1. Q1 (Respuesta Evaluativa): Una escala ordinal de 5 puntos que califica la imagen frente al prompt.
  2. Q2 (Alineación Cultural): Calificación del ítem en una escala de 5 puntos de Chino a Americano.
  3. Q3 (Subjetividad): Calificación de la subjetividad del prompt.
  4. Q4 (Reconocibilidad Transcultural): Calificación de qué tan probable es que alguien de la otra cultura entienda la razón de ser.

Configuración Experimental

Los autores evaluaron seis MLLMs (tres de origen estadounidense: Claude Opus 4.7, GPT-5.5, Llama 4 Scout; tres de origen chino: GLM-5, Kimi K2.6, Qwen-3-VL-Flash) bajo diez condiciones de prompt:

• Dos condiciones neutrales (Inglés y Chino Simplificado).
• Ocho condiciones de persona cruzando detalle de persona (básico vs. avanzado), cultura de la persona (Americana vs. China) y lenguaje del prompt.

Adicionalmente, se probaron cuatro condiciones de Aprendizaje en Contexto (ICL), variando la fuente de los ejemplos de demostración (anotadores de EE. UU. vs. China) y la fuente de la imaginería de demostración (Americana vs. China).

Validación de la Ambigüedad Cultural

El benchmark valida que los ítems son fiables dentro del grupo (Krippendorff's $\alpha$ = 0.86 para EE. UU., 0.74 para China) pero divergentes entre grupos (Pearson $r$ = -0.12 entre el consenso de EE. UU. y China sobre Q1). Crucialmente, el desacuerdo es sobre la evaluación (Q1), no sobre el reconocimiento (Q2), confirmando que los grupos están de acuerdo en el contenido pero discrepan en su valor normativo.

Resultados Clave

1. Fallo de Calibración del Suelo de Positividad

Los modelos exhiben un "suelo de positividad", rara vez produciendo calificaciones de 1 o 2 (solo 6–16% de las celdas). En ítems donde el consenso de EE. UU. es bajo (≤2), los modelos fallan al asignar calificaciones bajas, agrupándose en su lugar alrededor de un suelo de ~3.

• Mecanismo: Este suelo valida mecánicamente la lectura cultural más permisiva. En este corpus, el grupo chino es más permisivo en ítems contestados; por lo tanto, la incapacidad del modelo para usar el extremo inferior de la escala resulta en una alineación sistemática con el consenso chino en la imaginería china.
• Asimetría: El sesgo es localizado. En la imaginería americana, los modelos muestran una ligera inclinación hacia EE. UU. En la imaginería china, el sesgo se invierte y se amplía, mostrando una fuerte inclinación hacia los humanos chinos.

2. Fallo de Orientación (El Residuo)

Incluso cuando la calibración se recupera parcialmente (p. ej., mediante el prompting de persona), persiste un residuo de orientación cultural.

• Prompts de Persona: Aunque los prompts de persona (p. ej., "Eres un americano") desplazan la inclinación del juez en la dirección esperada, no corrigen completamente el fallo de calibración. En la imaginería china, cinco de los seis modelos permanecen por debajo del punto medio del eje cultural incluso bajo condiciones de persona estadounidense.
• Demostraciones ICL: Las demostraciones del grupo de referencia no restauran la calibración. En su lugar, amplían la ventana de calificación hacia arriba (aumentando los 5s) sin restaurar el uso del extremo inferior (1s y 2s). Además, el ICL profundiza el residuo de orientación en lugar de corregirlo; añadir demostraciones hace que el juez se alinee más con la norma cultural del grupo de demostración, intercambiando la alineación con un grupo por la desalineación con el otro.

3. El Origen del Modelo como Covariable

El origen del modelo (EE. UU. vs. China) añade una inclinación aditiva pequeña ($\sim$0.10 MAE) que es aproximadamente invariante bajo la demostración.

• No es Competencia Pura: Una hipótesis de "competencia" (que los modelos de origen chino simplemente conocen mejor la cultura china) predeciría simetría (los modelos CN se alinean con humanos CN, los modelos US con US). Los datos no muestran tal simetría: todos los seis sistemas se inclinan hacia los humanos chinos en la imaginería china, independientemente de su origen.
• Jerarquía de Influencia: La varianza en el comportamiento del juez está dominada por el ítem ($R^2$ = 0.57), seguido de la configuración de la persona, con el origen del modelo contribuyendo lo menos.

Contribuciones y Significado

El artículo realiza tres contribuciones primarias:

1. Benchmark VOIR DIRE: Un benchmark multimodal de 626 ítems emparejados culturalmente que establece la ambigüedad cultural como una propiedad de los ítems, validada por la fiabilidad dentro del grupo y la divergencia entre grupos.
2. Descomposición del Sesgo: La identificación de dos modos de fallo distintos en el MLLM-como-Juez:
   • Fallo de Calibración: La incapacidad de producir calificaciones bajas (suelo de positividad).
   • Fallo de Orientación: El retorno por defecto a una norma cultural específica que persiste incluso después de los intentos de calibración.
3. Recomendaciones Metodológicas:
   • R1 (Reporte de Multi-grupo): La alineación debe reportarse contra cada grupo de referencia por separado. Un único puntaje de "acuerdo con humanos" es un error de categoría en entornos culturalmente heterogéneos. La divergencia entre grupos debe tratarse como una propiedad del modelo juez, no como ruido.
   • R2 (Origen como Covariable): El origen del modelo debe reportarse junto con la identidad del modelo en las evaluaciones, ya que introduce una inclinación cultural sistemática, aunque pequeña.

Conclusión

El estudio concluye que los sistemas actuales de MLLM-como-Juez fallan en capturar el espectro completo de la preferencia humana bajo ambigüedad cultural debido a un fallo de calibración del suelo de positividad y un persistente fallo de orientación. Ni el prompting de persona ni las demostraciones en contexto pueden resolver completamente estos problemas; de hecho, las demostraciones a menudo exacerban el residuo de orientación. Los autores argumentan que los marcos de evaluación deben pasar de buscar un único puntaje de "mejor" alineación a reportar un perfil de alineación a través de múltiples grupos de referencia culturales, tratando la divergencia como una característica fundamental del modelo juez.