Resumo Técnico: VIDEONORMS

Definição do Problema

À medida que os Modelos de Linguagem de Grande Escala para Vídeo (VideoLLMs) são implementados globalmente, surge uma necessidade crítica de avaliar sua capacidade de raciocinar em diferentes contextos culturais. Enquanto o reconhecimento de objetos gerais, o raciocínio temporal e a compreensão narrativa foram amplamente testados, a competência cultural dos VideoLLMs — especificamente sua compreensão de normas socioculturais — permanece subexplorada. As normas socioculturais são definidas como regras sociais que delineiam comportamentos aceitos e apropriados dentro de uma cultura. Avaliar isso em um contexto multimodal é particularmente desafiador porque requer a interpretação correta de significados implícitos expressos tanto por pistas não verbais (ex: olhar, gestos) quanto por características verbais (ex: sarcasmo), ao mesmo tempo em que se considera as diferenças documentadas em valores e normas entre as culturas. Os benchmarks existentes focam majoritariamente em normas sociais textuais ou geração de imagens culturalmente alinhadas, carecendo de um framework sistemático para a compreensão de normas culturais baseada em vídeo.

Metodologia

Construção do Dataset: VIDEONORMS

Os autores introduzem o VIDEONORMS, um dataset composto por mais de 3.000 anotações de normas socioculturais derivadas de programas de televisão populares dos EUA e da China. O processo de construção utiliza um framework de colaboração humano-IA consistindo em três estágios:

1. Seleção de Vídeos: Oito programas de TV populares foram selecionados (quatro dos EUA, quatro da China), cobrindo ambientes sociais tanto formais (ambiente de trabalho) quanto informais, abrangendo os gêneros de drama e comédia. A seleção baseia-se em pesquisas sociológicas que indicam que a televisão roteirizada reflete expectativas culturais do mundo real. A partir disso, clipes de 15 segundos foram amostrados para isolar interações sociais distintas.
2. Anotação de Candidatos (Foco em IA): Um grande VideoLLM (Gemini-2.0-Pro) foi utilizado para gerar anotações candidatas iniciais. Dado um clipe de vídeo, o modelo extraiu categorias de normas candidatas, rótulos de adesão/violação e as evidências verbais e não verbais correspondentes. O modelo foi instruído utilizando uma taxonomia de normas sociais (ex: Saudação, Desculpas, Concordância) adaptada para contextos tanto em inglês quanto em mandarim.
3. Refinamento Humano: Cada anotação candidata foi revisada por pelo menos três anotadores monoculturais treinados com experiência de vida significativa na cultura alvo (EUA ou China). Os anotadores verificaram timestamps, categorias de normas, rótulos de adesão e a correção das evidências, editando erros conforme necessário.

Para garantir alta confiabilidade para benchmarking, um subconjunto baseado em consenso chamado VIDEONORMS-BENCHMARK foi criado, contendo 542 instâncias onde todos os três anotadores concordaram sobre o contexto, categoria, sujeito, norma específica e o rótulo de adesão/violação.

Tarefas de Avaliação e Métricas

O artigo propõe duas tarefas de avaliação para VideoLLMs de pesos abertos:

1. Classificação Binária: Prever se uma norma cultural específica é aderida ou violada dado um clipe de vídeo, transcrição, categoria de norma e norma específica.
2. Previsão Explicável: Prever o rótulo de adesão/violação e gerar evidências verbais e não verbais de suporte.

O desempenho é medido usando escores Macro F1 para classificação. Para a tarefa de explicação, um protocolo de LLM-como-Juiz (utilizando GPT-5) avalia a qualidade das evidências geradas contra as anotações de referência usando uma rubrica de 5 pontos que distingue entre percepção de conteúdo e raciocínio cultural. Adicionalmente, o Modelo Linear Hierárquico (HLM) é empregado para analisar disparidades de desempenho entre modelos, contextos culturais e categorias de normas, controlando variáveis como dificuldade do programa e tipo de item.

Estudos de Ablação

Os autores realizam estudos de ablação para isolar as contribuições da modalidade de entrada (vídeo vs. transcrição), tamanho do modelo e número de frames amostrados para o desempenho da tarefa.

Principais Contribuições

1. Framework de Colaboração Humano-IA: Um novo framework de dois estágios para anotar normas socioculturais em vídeos, aproveitando um modelo multimodal forte para a geração inicial e especialistas monoculturais para o refinamento. Esta abordagem aborda a ineficiência da anotação manual do zero.
2. Dataset VIDEONORMS: Um dataset de alta qualidade com mais de 3.000 anotações e um benchmark filtrado de 542 instâncias cobrindo contextos culturais dos EUA e da China, incluindo evidências verbais e não verbais detalhadas.
3. Análise Empírica de VideoLLMs: A primeira comparação sistemática de VideoLLMs de pesos abertos em relação à compreensão de normas transculturais, revelando disparidades específicas de desempenho e gargalos de raciocínio.

Resultados e Descobertas

A avaliação de sete VideoLLMs de pesos abertos (incluindo a família LLaVA, InternVL, Qwen-VL e VideoChatR1) gerou as seguintes descobertas:

• Disparidade de Desempenho Cultural: Os modelos performam consistentemente pior em contextos culturais chineses em comparação aos contextos dos EUA. O modelo linear hierárquico indica que as chances de previsão correta para adesão à norma são 57% maiores para contextos dos EUA do que para contextos chineses (OR=1,57, p=0,006). Isso sugere que a previsão de adesão à norma exige um raciocínio culturalmente específico que os modelos atuais não possuem.
• Gargalo de Evidência Não Verbal: Os modelos têm muito mais dificuldade em gerar evidências não verbais do que evidências verbais. Enquanto os backbones de linguagem conseguem analisar transcrições de forma eficaz, as capacidades multimodais para interpretar pistas sociais visuais (olhar, gestos) permanecem um gargalo.
• Necessidade de Modalidade: Estudos de ablação confirmam que a modalidade de vídeo é necessária para alto desempenho. Entradas apenas com transcrição resultam em pontuações de classificação significativamente menores, particularmente para contextos chineses, onde o significado é frequentemente transmitido através de pistas não verbais (cultura de alto contexto).
• Limitações de Escala: Aumentar o tamanho do modelo (de 4B para 14B parâmetros) não melhora de forma confiável as pontuações de classificação. Embora modelos maiores possam mostrar ganhos leves na qualidade da evidência, a lacuna de desempenho no raciocínio cultural persiste, sugerindo que o gargalo reside na falta de dados de treinamento culturalmente informados, e não na capacidade bruta do modelo.
• Disparidade de Anotação: A verificação humana revelou uma alta taxa de edições nas anotações geradas por IA para conteúdo chinês (taxa de mudança de 42–53%) em comparação ao conteúdo dos EUA (18–26%), alertando contra abordagens totalmente automáticas para culturas sub-representadas nos dados de treinamento.

Significância e Limitações

O artigo posiciona o VIDEONORMS como um ponto de partida prático para o benchmarking de normas transculturais em vídeos, uma tarefa anteriormente não abordada. Os autores argumentam que suas descobertas destacam a necessidade de dados culturais mais diversos no treinamento de modelos de vídeo para alcançar verdadeira competência cultural.

Os autores reconhecem explicitamente as limitações:

• Escopo: O estudo é limitado a dois países (EUA e China) e não pretende medir a competência cultural geral ou capturar toda a diversidade intra-cultural dessas nações.
• Fonte de Dados: A dependência de programas de TV roteirizados como "espelhos culturais", em vez de interações naturais, é uma simplificação necessária, embora trabalhos anteriores sugiram que a familiaridade com roteiros não substitui o raciocínio exigido nesta tarefa.
• Representação de Anotadores: Devido a restrições orçamentárias, apenas três anotadores por país foram utilizados, o que pode não representar plenamente populações heterogêneas.
• Riscos de Viés: Os autores alertam contra o uso do benchmark para estereotipagem (falácia ecológica) e observam o potencial de otimização excessiva da métrica, onde pontuações altas não equivalem necessariamente a uma competência cultural genuína.

Em última análise, o trabalho serve como um passo fundamental para compreender e melhorar a competência cultural de modelos de vídeo através de uma avaliação rigorosa e verificada por humanos.