Resumen Técnico: CULTURESCORE: Evaluando la Fidelidad Cultural en Modelos de Generación de Video

Declaración del Problema

A medida que los modelos de generación de video (por ejemplo, Veo 3.1, LTX-2, Sora) avanzan en la simulación del mundo físico, su capacidad para representar con precisión diversas culturas globales sigue siendo una frontera crítica y poco estudiada. Las métricas de evaluación actuales, como VideoScore y UnifiedReward, se centran en la calidad visual, la consistencia temporal y la fundamentación fáctica, pero no logran evaluar la fidelidad cultural. Estas métricas holísticas pueden ser engañosas; por ejemplo, un modelo que reemplaza un saludo culturalmente específico (como Namaste o Salam) por un apretón de manos occidental genérico puede recibir la misma puntuación alta que uno que genera el gesto correcto.

Los benchmarks existentes para la representación cultural (por ejemplo, CulturalFrames, CuRE, CUBE) se han centrado principalmente en modelos estáticos de texto a imagen (T2I). Sin embargo, la cultura suele expresarse a través de acciones, gestos y ritmos secuenciales que los fotogramas estáticos no pueden capturar. En consecuencia, existe una falta de marcos capaces de razonar sobre secuencias de movimiento para evaluar si los videos generados se adhieren a normas culturales específicas respecto a la identidad, el comportamiento y el contexto.

Metodología: El Marco CULTURESCORE

Los autores proponen CULTURESCORE, un marco de evaluación composicional que descompone la fidelidad cultural en tres dimensiones granulares:

1. Identidad: ¿Quién es representado y cómo? Esto cubre la apariencia física, la vestimenta y los marcadores demográficos (por ejemplo, ropa tradicional específica o normas de vestimenta profesional).
2. Comportamiento: ¿Qué están haciendo las personas? Esto se centra en gestos, prosodia y expresividad culturalmente normativos, lo que requiere la evaluación de secuencias específicas de movimiento y postura (por ejemplo, el ritmo de una reverencia o la colocación de las manos en un saludo).
3. Contexto: El trasfondo culturalmente localizado. Esto incluye entornos físicos, detalles ambientales (por ejemplo, caligrafía islámica, alfombras persas) y convenciones sociales (por ejemplo, disposiciones de asientos).

Curación de Datos y Pipeline de Evaluación

El marco se operacionaliza a través de un conjunto de datos basado en CulturalFrames, adaptado para la generación de video:

• Prompts: Los autores construyeron una suite de evaluación de 2,943 prompts validados culturalmente que abarcan 10 países y 5 dominios socioculturales.
• Aumentación de Prompts: Para sondear el comportamiento del modelo, los prompts se expandieron en tres variantes:
  • Prompt Base: Prompt original validado culturalmente.
  • Prompt Extendido: Aumentado con descripciones explícitas de Identidad, Comportamiento y Contexto derivadas de definiciones de diccionario.
  • Eliminación de Restricción Geográfica: Se eliminan los nombres de los países (por ejemplo, "Familia india musulmana" $\to$ "Familia musulmana") para probar si los modelos dependen de tokens geográficos explícitos o si han internalizado conceptos culturales.
• Generación de Video: Se evaluaron tres modelos de vanguardia: Veo 3.1 Fast (Google DeepMind), LTX-2 y Wan 2.2.
• Puntuación Automatizada (VLM-as-Judge):
  • Generación de Preguntas: Utilizando Gemini-3-Flash, el sistema generó 9,289 pares de pregunta-respuesta (QA) culturalmente fundamentados para cada video, integrando detalles visuales y temporales específicos para evitar la dependencia del conocimiento implícito.
  • Evaluación: Un Modelo de Lenguaje de Visión (Qwen3-VL-235B) analizó los videos generados frente a estos pares QA para determinar la exactitud binaria para cada dimensión.
  • Puntuación: El CULTURESCORE final es el promedio de la exactitud a través de las dimensiones de Identidad, Comportamiento y Contexto.

Evaluación Humana

Para validar las métricas automatizadas, los autores realizaron un estudio con N=45 residentes nativos (5 por país en 9 naciones) en Prolific. Los participantes realizaron:

1. Relevancia de la Pregunta: Juzgar si los pares QA generados eran sondas significativas.
2. Exactitud Perceptual: Responder a los pares QA basándose estrictamente en la evidencia visual.
3. Ranking de Preferencia: Clasificar los tres modelos según su fidelidad cultural general.

Resultados Clave

1. Fallo Sistemático de los Modelos Actuales

Ningún modelo actual logra una alta fidelidad cultural. El modelo con mejor desempeño, Wan 2.2, alcanzó un CULTURESCORE general de solo 56.8%.

• El Comportamiento es la dimensión más desafiante: En todos los modelos, las puntuaciones de Comportamiento se mantuvieron por debajo del 52% (Wan 2.2: 49.8%, LTX-2: 47.0%, Veo 3.1: 51.9%).
• El Contexto es el que mejor desempeña: Las puntuaciones de Contexto fueron las más altas, con Wan 2.2 alcanzando un 69.3%.

2. Correlación Inversa con Métricas Perceptuales

Un hallazgo sorprendente es la relación inversa entre las métricas estándar de calidad de video y la fidelidad cultural:

• LTX-2 logró el VideoScore más alto (promedio 3.34, percibido como el más "cinematográfico") pero ocupó el penúltimo lugar en CULTURESCORE (51.4%).
• Wan 2.2 logró el CULTURESCORE más alto (56.8%) pero recibió el VideoScore más bajo (2.72).
• Esto sugiere que optimizar la calidad perceptual (suavidad del movimiento, fidelidad visual) no se traduce en exactitud cultural y puede incluso estar inversamente correlacionado.

3. Sensibilidad al Prompt y Dependencia Geográfica

• Prompts Extendidos: Proporcionar guía cultural explícita (Prompts Extendidos) mejoró las puntuaciones en todas las dimensiones, particularmente para el Contexto (+18% a +25% de ganancias). Sin embargo, el Comportamiento se mantuvo obstinadamente bajo, indicando que la enriquecimiento de prompts por sí solo no puede resolver los fallos de movimiento temporal.
• Disparadores Geográficos: Eliminar los nombres de los países de los prompts causó una caída sustancial en la exactitud (por ejemplo, la exactitud de Contexto de LTX-2 cayó de 62.1% a 28.6%). Esto indica que los modelos dependen fuertemente de tokens geográficos explícitos para activar asociaciones culturales en lugar de tener conceptos culturales internalizados como conocimiento de mundo abierto.

4. Alineación con la Preferencia Humana

Los rankings de preferencia humana se alinearon direccionalmente con CULTURESCORE pero fueron invertidos respecto a VideoScore:

• Los evaluadores nativos clasificaron a Veo 3.1 Fast como el más preferido (rango promedio 1.66), seguido de Wan 2.2, con LTX-2 en último lugar.
• VideoScore favoreció incorrectamente a LTX-2.
• CULTURESCORE identificó correctamente a Wan 2.2 como el más fiel culturalmente entre los principales contendientes, validando su utilidad como herramienta de diagnóstico.

Contribuciones y Significado

El artículo realiza tres contribuciones primarias:

1. Propuesta de Marco: Introducción de CULTURESCORE, un marco composicional que descompone la fidelidad cultural en Identidad, Comportamiento y Contexto, permitiendo un diagnóstico detallado de los fallos de los modelos.
2. Lanzamiento de Benchmark: Construcción y lanzamiento público de una suite de evaluación culturalmente fundamentada que contiene 2,943 prompts, 6,180 videos generados y 9,289 pares de razonamiento/QA a través de 10 países.
3. Análisis Empírico: Un análisis exhaustivo que revela que los modelos actuales de generación de video exhiben modos de fallo cultural sistemáticos, específicamente una correlación inversa entre la calidad perceptual y la fidelidad cultural.

Significado:
Los autores argumentan que la fidelidad cultural es un criterio esencial para el acceso equitativo a la IA generativa, con implicaciones para la educación, los medios y las políticas. El estudio demuestra que las métricas existentes pueden "engañar activamente" en la selección de modelos cuando la exactitud cultural es la prioridad. Al proporcionar una herramienta de diagnóstico que expone dónde y cómo los modelos divergen de la representación auténtica (por ejemplo, entorno correcto pero gesto erróneo), CULTURESCORE ofrece una base para auditar y mejorar la representación cultural en los sistemas de video generativo.

Limitaciones y Ética

Los autores reconocen varias limitaciones:

• Cobertura Asimétrica: Debido a los costos de API, Veo 3.1 fue evaluado en una muestra estratificada (294 videos) en lugar de la suite completa.
• Alcance Geográfico: La evaluación humana excluyó a Irán debido a restricciones geopolíticas.
• Sesgo de VLM: La puntuación automatizada depende de VLMs (Qwen3-VL, Gemini) que pueden tener sus propios sesgos culturales.
• Definición de Identidad: La operacionalización de la "Identidad" depende de marcadores visuales (vestimenta, apariencia), lo que conlleva el riesgo de reforzar estereotipos y no puede capturar plenamente conceptos complejos como la experiencia vivida o la historia.

Los autores posicionan a CULTURESCORE como una métrica complementaria al juicio humano, no como una verdad absoluta por sí sola, y enfatizan que el conjunto de datos debe usarse para permitir la replicación y extensión en lugar de como un relato definitivo de cualquier cultura.