Resumen Técnico: VIDEONORMS

Planteamiento del Problema

A medida que los Modelos de Lenguaje de Gran Escala para Video (VideoLLMs) se despliegan globalmente, surge una necesidad crítica de evaluar su capacidad para razonar a través de diferentes contextos culturales. Mientras que el reconocimiento general de objetos, el razonamiento temporal y la comprensión narrativa han sido evaluados extensamente, la competencia cultural de los VideoLLMs —específicamente su comprensión de las normas socioculturales— sigue siendo poco explorada. Las normas socioculturales se definen como reglas sociales que delinean el comportamiento aceptado y apropiado dentro de una cultura. Evaluar esto en un contexto multimodal es particularmente desafiante porque requiere la interpretación correcta del significado implícito expresado tanto a través de claves no verbales (p. ej., mirada, gestos) como de características verbales (p. ej., sarcasmo), al tiempo que se tiene en cuenta las diferencias documentadas en valores y normas entre culturas. Los benchmarks existentes se centran principalmente en normas sociales textuales o en la generación de imágenes culturalmente alineadas, careciendo de un marco sistemático para la comprensión de normas culturales basadas en video.

Metodología

Construcción del Conjunto de Datos: VIDEONORMS

Los autores presentan VIDEONORMS, un conjunto de datos que comprende más de 3,000 anotaciones de normas socioculturales derivadas de programas de televisión populares de EE. UU. y China. El proceso de construcción utiliza un marco de colaboración humano-IA que consta de tres etapas:

1. Selección de Video: Se seleccionaron ocho programas de televisión populares (cuatro de EE. UU., cuatro de China), cubriendo entornos sociales tanto formales (laborales) como informales en géneros de drama y comedia. La selección se basa en investigaciones sociológicas que indican que la televisión guionizada refleja las expectativas culturales del mundo real. De estos, se muestquearon clips de 15 segundos para aislar interacciones sociales distintas.
2. Anotación de Candidatos (Primero la IA): Se utilizó un VideoLLM de gran tamaño (Gemini-2.0-Pro) para generar anotaciones candidatas iniciales. Dado un clip de video, el modelo extrajo categorías de normas candidatas, etiquetas de adherencia/violación y la evidencia verbal y no verbal correspondiente. El modelo fue instruido utilizando una taxonomía de normas sociales (p. ej., Saludo, Disculpa, Acuerdo) adaptada tanto para contextos en inglés como en mandarín.
3. Refinamiento Humano: Cada anotación candidata fue revisada por al menos tres anotadores monoculturales capacitados con una experiencia de vida significativa en la cultura objetivo (EE. UU. o China). Los anotadores verificaron marcas de tiempo, categorías de normas, etiquetas de adherencia y la corrección de la evidencia, editando los errores según fuera necesario.

Para garantizar una alta fiabilidad para el benchmarking, se creó un subconjunto basado en consenso llamado VIDEONORMS-BENCHMARK, que contiene 542 instancias donde los tres anotadores coincidieron en el contexto, la categoría, el sujeto, la norma específica y la etiqueta de adherencia/violación.

Tareas de Evaluación y Métricas

El artículo propone dos tareas de evaluación para VideoLLMs de pesos abiertos:

1. Clasificación Binaria: Predecir si una norma cultural específica se cumple o se viola dado un clip de video, transcripción, categoría de norma y norma específica.
2. Predicción Explicable: Predecir la etiqueta de adherencia/violación y generar evidencia verbal y no verbal de apoyo.

El rendimiento se mide utilizando puntuaciones Macro F1 para la clasificación. Para la tarea de explicación, un protocolo de LLM-como-Juez (usando GPT-5) evalúa la calidad de la evidencia generada contra las anotaciones de referencia utilizando una rúbrica de 5 puntos que distingue entre la percepción de contenido y el razonamiento cultural. Además, se emplea el Modelado Lineal Jerárquico (HLM) para analizar las disparidades de rendimiento entre modelos, contextos culturales y categorías de normas, controlando variables como la dificultad del programa y el tipo de ítem.

Estudios de Ablación

Los autores realizan estudios de ablación para aislar las contribuciones de la modalidad de entrada (video vs. transcripción), el tamaño del modelo y el número de fotogramas muestreados al rendimiento de la tarea.

Contribuciones Clave

1. Marco de Colaboración Humano-IA: Un novedoso marco de dos etapas para anotar normas socioculturales en videos, aprovechando un modelo multimodal fuerte para la generación inicial y expertos monoculturales para el refinamiento. Este enfoque aborda la ineficiencia de la anotación manual desde cero.
2. Conjunto de Datos VIDEONORMS: Un conjunto de datos de alta calidad con más de 3,000 anotaciones y un benchmark filtrado de 542 instancias que cubren contextos culturales de EE. UU. y China, incluyendo evidencia verbal y no verbal detallada.
3. Análisis Empírico de VideoLLMs: La primera comparación sistemática de VideoLLMs de pesos abiertos con respecto a la comprensión de normas transculturales, revelando disparidades de rendimiento específicas y cuellos de botella en el razonamiento.

Resultados y Hallazgos

La evaluación de siete VideoLLMs de pesos abiertos (incluyendo la familia LLaVA, InternVL, Qwen-VL y VideoChatR1) arrojó los siguientes hallazgos:

• Disparidad de Rendimiento Cultural: Los modelos desempeñan consistentemente peor en contextos culturales chinos en comparación con los contextos de EE. UU. El modelado lineal jerárquico indica que las probabilidades de predicción correcta para la adherencia a la norma son un 57% más altas para los contextos de EE. UU. que para los contextos chinos (OR=1.57, p=0.006). Esto sugiere que la predicción de la adherencia a las normas requiere un razonamiento culturalmente específico que los modelos actuales carecen.
• Cuello de Botella de la Evidencia No Verbal: Los modelos tienen dificultades significativamente mayores para generar evidencia no verbal en comparación con la evidencia verbal. Mientras que los backbones de lenguaje pueden analizar transcripciones de manera efectiva, las capacidades multimodales para interpretar claves sociales visuales (mirada, gestos) siguen siendo un cuello de botella.
• Necesidad de la Modalidad: Los estudios de ablación confirman que la modalidad de video es necesaria para un alto rendimiento. Las entradas de solo transcripción resultan en puntuaciones de clasificación significativamente más bajas, particularmente para los contextos chinos donde el significado se transmite a menudo a través de claves no verbales (cultura de alto contexto).
• Limitaciones de Escalamiento: Aumentar el tamaño del modelo (de 4B a 14B parámetros) no mejora de manera confiable las puntuaciones de clasificación. Si bien los modelos más grandes pueden mostrar ligeras mejoras en la calidad de la evidencia, la brecha de rendimiento en el razonamiento cultural persiste, lo que sugiere que el cuello de botella reside en la falta de datos de entrenamiento culturalmente informados más que en la capacidad bruta del modelo.
• Disparidad de Anotación: La verificación humana reveló una alta tasa de ediciones a las anotaciones generadas por IA para el contenido chino (tasa de cambio del 42–53%) en comparación con el contenido de EE. UU. (18–26%), lo que advierte contra los enfoques totalmente automáticos para culturas subrepresentadas en los datos de entrenamiento.

Significado y Limitaciones

El artículo posiciona a VIDEONORMS como un punto de partida práctico para el benchmarking de normas transculturales en videos, una tarea previamente no abordada. Los autores argumentan que sus hallazgos resaltan la necesidad de datos culturales más diversos en el entrenamiento de modelos de video para lograr una verdadera competencia cultural.

Los autores reconocen explícitamente las limitaciones:

• Alcance: El estudio se limita a dos países (EE. UU. y China) y no pretende medir la competencia cultural general ni capturar la plena diversidad intracultural de estas naciones.
• Fuente de Datos: La dependencia de programas de televisión guionizados como "espejos culturales" en lugar de interacciones naturales es una simplificación necesaria, aunque trabajos previos sugieren que la familiaridad con los guiones no sustituye el razonamiento requerido en esta tarea.
• Representación de Anotadores: Debido a restricciones presupuestarias, solo se utilizaron tres anotadores por país, lo que puede no representar plenamente a poblaciones heterogéneas.
• Riesgos de Sesgo: Los autores advierten sobre el uso del benchmark para la estigmatización (falacia ecológica) y señalan el potencial de sobre-optimización para la métrica, donde las puntuaciones altas no equivalen necesariamente a una competencia cultural genuina.

En última instancia, el trabajo sirve como un paso fundacional hacia la comprensión y mejora de la competencia cultural de los modelos de video a través de una evaluación rigurosa y verificada por humanos.