ValueGround: Evaluating Culture-Conditioned Visual Value Grounding in MLLMs

Resumen Técnico: ValueGround

1. Planteamiento del Problema

Las evaluaciones actuales de los valores culturales en los Modelos de Lenguaje (LLMs) se basan casi exclusivamente en texto. Se presentan al modelo un país, una pregunta de encuesta y opciones de respuesta verbales. Sin embargo, en la vida real, los valores culturales se expresan tanto a través del lenguaje como de escenas visuales y prácticas sociales cotidianas.

El problema central que aborda este trabajo es la inestabilidad de los juicios de valor condicionados por la cultura cuando las opciones de respuesta se visualizan en lugar de verbalizarse. Los autores observan que los Modelos de Lenguaje Multimodales (MLLMs) pueden predecir correctamente una opción basada en texto, pero invertir su predicción cuando las mismas opciones se presentan como imágenes, incluso si el modelo es capaz de alinear correctamente el significado de la imagen con la opción textual. Esto sugiere una falta de "grounding" (anclaje) robusto de los valores culturales en evidencia visual.

2. Metodología

A. El Benchmark: VALUEGROUND
Los autores introducen VALUEGROUND, un nuevo benchmark diseñado para evaluar la capacidad de los MLLMs para realizar juicios de valor condicionados por la cultura cuando las opciones de respuesta son visuales.

• Fuente de Datos: Se basa en preguntas del World Values Survey (WVS).
• Tarea: Dado un país ($c$), una pregunta ($q$) y un par de imágenes contrastantes ($I_A, I_B$), el modelo debe elegir qué imagen mejor representa la tendencia de valor de ese país, sin tener acceso a las opciones de texto originales.
• Diseño de Imágenes: Para evitar que el modelo use atajos (como leer texto en la imagen o reconocer banderas), se construyen pares de imágenes con contraste mínimo. Ambas imágenes comparten la misma escena base, personajes y estilo, diferenciándose únicamente en el atributo visual que define la opción (ej. una acción específica vs. su ausencia).

B. Pipeline de Construcción Agéntica
Para generar estos pares de imágenes controlados, los autores proponen un marco de trabajo agéntico que consta de cuatro componentes:

1. Agente Planificador (Planner): Analiza la pregunta y las opciones, generando un plan estructurado que define una escena base compartida, atributos fijos (locked) y atributos editables para crear el contraste.
2. Generador de Imagen Base: Crea una imagen neutra que establece la escena compartida sin resolver la diferencia de opciones.
3. Agente Editor (Editor): Aplica ediciones controladas a la imagen base para generar las dos variantes ($I_A$ e $I_B$), asegurando que solo cambien los atributos semánticos relevantes.
4. Agente Crítico (Critic): Evalúa el par de imágenes generado contra tres criterios:
   • Alineación Semántica: ¿Cada imagen refleja su opción?
   • Contraste Mínimo: ¿Las imágenes son idénticas excepto por la diferencia clave?
   • Supresión de Atajos: ¿No hay texto visible, banderas o símbolos que revelen la respuesta directamente?
   • Decisión: El crítico acepta el par, pide reedición, regeneración o replanificación.

C. Configuración Experimental

• Modelos Evaluados: 6 MLLMs de última generación (GPT-5 Mini, Claude Haiku 4.5, Gemini 3 Flash, Mistral 3.2, Gemma 3, Qwen3-VL).
• Países: 13 países de diferentes regiones (Australia, Brasil, China, Alemania, etc.).
• Escenarios de Evaluación:
  1. Tarea Principal: (País, Pregunta, Par de Imágenes) $\rightarrow$ Elección de imagen.
  2. Solo Texto: (País, Pregunta, Opciones de Texto) $\rightarrow$ Elección de texto.
  3. Alineación Opción-Imagen: (Pregunta, Opciones, Par de Imágenes) $\rightarrow$ Verificar si el orden de las imágenes coincide con las opciones (sin contexto de país).

3. Contribuciones Clave

1. Formulación del Problema: Definen el "anclaje visual de valores condicionados por la cultura" como un problema de evaluación multimodal controlado, donde solo las opciones de respuesta son visuales.
2. Pipeline de Construcción: Proponen un marco agéntico innovador para crear pares de imágenes de contraste mínimo, validados por humanos, que eliminan atajos visuales y ruido irrelevante.
3. Hallazgo Empírico: Demuestran que, aunque los modelos actuales pueden alinear bien las imágenes con sus significados textuales (92.8% de precisión en alineación), su rendimiento cae drásticamente al integrar el contexto cultural con la evidencia visual (caída del 72.8% en texto al 65.8% en la tarea principal).

4. Resultados Principales

• Caída de Rendimiento: La precisión promedio de los modelos cae de 72.8% en el escenario solo texto a 65.8% en la tarea visual principal.
• Inversión de Predicciones (Reversals): Se observa un fenómeno crítico donde los modelos invierten su respuesta al cambiar de texto a imagen.
  • La tasa de inversión "perjudicial" (donde el modelo acertaba en texto pero falla en imagen) es significativamente mayor que la "beneficiosa".
  • Esto indica que la visualización no solo añade dificultad, sino que desestabiliza los juicios culturales previamente aprendidos.
• Rendimiento por Modelo:
  • Gemini 3 Flash obtuvo el mejor rendimiento general (75.6%), seguido por GPT-5 Mini (70.4%).
  • Claude Haiku 4.5 tuvo el peor rendimiento (57.8%).
  • Los modelos más fuertes son más robustos, pero todos sufren de inestabilidad.
• Dificultad por País: La dificultad varía según el contexto cultural. Reino Unido y EE. UU. fueron los más fáciles, mientras que Rusia, México y Brasil fueron los más difíciles, sugiriendo que la representación visual de ciertos valores culturales es más compleja o ambigua.
• Análisis de Alineación: Los modelos tienen un rendimiento muy alto (92.8%) en la tarea de alineación (saber qué imagen corresponde a qué opción), lo que confirma que el problema no es la percepción visual, sino la integración multimodal del contexto cultural con la evidencia visual.

5. Significado e Implicaciones

• Limitaciones de los MLLMs: El estudio revela que los MLLMs actuales no logran un "grounding" cultural robusto. Sus juicios de valor son frágiles y dependen en exceso de los priores textuales, colapsando cuando deben fundamentarse en evidencia visual concreta.
• Necesidad de Evaluación Multimodal: Las evaluaciones puramente textuales son insuficientes para medir la comprensión cultural real de los modelos. Se requiere un enfoque multimodal para detectar estas incoherencias.
• Herramienta de Diagnóstico: VALUEGROUND proporciona un entorno controlado para desentrañar si un modelo falla por falta de conocimiento cultural, por incapacidad de percepción visual o por fallos en la integración de ambas modalidades.
• Ética y Sesgo: Los autores enfatizan que las etiquetas de valor son tendencias agregadas de encuestas y no definiciones absolutas de una cultura, advirtiendo sobre los riesgos de esencialización cultural al visualizar estos conceptos.

En conclusión, ValueGround demuestra que la capacidad de los modelos para reflejar valores culturales es significativamente más débil cuando se les exige razonar sobre imágenes que sobre texto, señalando una brecha crítica en la comprensión multimodal y cultural de la IA actual.