Technische Samenvatting: VIDEONORMS

Probleemstelling

Nu Video Large Language Models (VideoLLMs) wereldwijd worden ingezet, is er een kritieke behoefte aan het beoordelen van hun vermogen om te redeneren over verschillende culturele contexten. Terwijl algemene objectherkenning, temporele redenering en narratief begrip uitgebreid zijn getest, blijft de culturele competentie van VideoLLMs—specifiek hun begrip van sociaal-culturele normen—onderbelicht. Sociaal-culturele normen worden gedefinieerd als maatschappelijke regels die geaccepteerd en gepast gedrag binnen een cultuur afbakenen. Het evalueren hiervan in een multimodale context is bijzonder uitdagend omdat het de correcte interpretatie vereist van impliciete betekenis, uitgedrukt via zowel non-verbale signalen (bijv. blikrichting, gebaren) als verbale kenmerken (bijv. sarcasme), terwijl rekening moet worden gehouden met gedocumenteerde verschillen in waarden en normen over culturen heen. Bestaande benchmarks richten zich grotendeels op tekstuele sociale normen of cultureel afgestemde beeldgeneratie, en missen een systematisch kader voor video-gebaseerd begrip van cross-culturele normen.

Methodologie

Dataset Constructie: VIDEONORMS

De auteurs introduceren VIDEONORMS, een dataset bestaande uit meer dan 3.000 annotaties van sociaal-culturele normen afkomstig van populaire Amerikaanse en Chinese televisieseries. Het constructieproces maakt gebruik van een human-AI samenwerkingsframework bestaande uit drie stadia:

1. Videoselectie: Acht populaire tv-series werden geselecteerd (vier Amerikaans, vier Chinees), variërend van formele (werkplek) tot informele sociale settings binnen drama- en komediegenres. De selectie rust op sociologisch onderzoek dat aangeeft dat geschreven televisie echte culturele verwachtingen weerspiegelt. Hiervan werden clips van 15 seconden gesampled om onderscheidende sociale interacties te isoleren.
2. Kandidaat-annotatie (AI-First): Een grote VideoLLM (Gemini-2.0-Pro) werd gebruikt om initiële kandidaat-annotaties te genereren. Gegeven een videoclip extraheerde het model kandidaat-normcategorieën, labels voor naleving/schending en bijbehorende verbale en non-verbale bewijslast. Het model werd geprompt met een taxonomie van sociale normen (bijv. Groet, Verontschuldiging, Instemming) aangepast voor zowel Engelse als Mandarijnse contexten.
3. Menselijke Verfijning: Elke kandidaat-annotatie werd beoordeeld door ten minste drie getrainde monoculturele annotatoren met aanzienlijke geleefde ervaring in de doelcultuur (VS of China). Annotatoren verifieerden tijdstempels, normcategorieën, nalevings-/schendingslabels en de juistheid van de bewijslast, waarbij zij fouten corrigeerden.

Om een hoge betrouwbaarheid voor benchmarking te garanderen, werd een op consensus gebaseerde subset genaamd VIDEONORMS-BENCHMARK gemaakt, die 542 instanties bevat waarbij alle drie de annotatoren het eens waren over de context, categorie, subject, specifieke norm en het nalevings-/schendingslabel.

Evaluatietaken en Metrieken

Het artikel stelt twee evaluatietaken voor open-weight VideoLLMs:

1. Binaire Classificatie: Het voorspellen of een specifieke culturele norm wordt nageleefd of geschonden, gegeven een videoclip, transcript, normcategorie en specifieke norm.
2. Verklarende Voorspelling: Het voorspellen van het nalevings-/schendingslabel en het genereren van ondersteunend verbaal en non-verbaal bewijs.

Prestaties worden gemeten met Macro F1-scores voor classificatie. Voor de verklaringstaak wordt een LLM-as-a-Judge protocol (gebruikmakend van GPT-5) gebruikt om de kwaliteit van de gegenereerde bewijslast te evalueren tegenover referentie-annotaties aan de hand van een 5-punts rubric die onderscheid maakt tussen inhoudelijke perceptie en culturele redenering. Daarnaast wordt Hierarchical Linear Modeling (HLM) ingezet om prestatieverschillen tussen modellen, culturele contexten en normcategorieën te analyseren, waarbij variabelen zoals de moeilijkheidsgraad van de show en het type item worden gecontroleerd.

Ablatieonderzoeken

De auteurs voeren ablatieonderzoeken uit om de bijdragen van inputmodaliteit (video versus transcript), modelgrootte en het aantal gesamplede frames aan de taakprestaties te isoleren.

Belangrijkste Bijdragen

1. Human-AI Samenwerkingsframework: Een nieuw tweestapsframework voor het annoteren van sociaal-culturele normen in video's, waarbij gebruik wordt gemaakt van een sterk multimodaal model voor de initiële generatie en monoculturele experts voor verfijning. Deze aanpak adresseert de inefficiëntie van handmatige annotatie vanaf nul.
2. VIDEONORMS Dataset: Een hoogwaardige dataset van meer dan 3.000 annotaties en een gefilterde benchmark van 542 instanties die Amerikaanse en Chinese culturele contexten beslaat, inclusief gedetailleerd verbaal en non-verbaal bewijs.
3. Empirische Analyse van VideoLLMs: De eerste systematische vergelijking van open-weight VideoLLMs met betrekking tot cross-cultureel begrip van normen, die specifieke prestatieverschillen en redeneer-bottlenecks blootlegt.

Resultaten en Bevindingen

De evaluatie van zeven open-weight VideoLLMs (waaronder de LLaVA-familie, InternVL, Qwen-VL en VideoChatR1) leverde de volgende bevindingen op:

• Culturele Prestatieverschillen: Modellen presteren consistent slechter in Chinese culturele contexten vergeleken met Amerikaanse contexten. Hierarchical linear modeling geeft aan dat de kans op een correcte voorspelling van normnaleving 57% hoger is in Amerikaanse contexten dan in Chinese contexten (OR=1.57, p=0.006). Dit suggereert dat de voorspelling van normnaleving een specifieke culturele redenering vereist die huidige modellen missen.
• Non-verbaal Bewijs Bottleneck: Modellen hebben aanzienlijk meer moeite met het genereren van non-verbaal bewijs vergeleken met verbaal bewijs. Hoewel taal-backbones transcripten effectief kunnen analyseren, blijven de multimodale capaciteiten voor het interpreteren van visuele sociale signalen (blikrichting, gebaren) een bottleneck.
• Noodzaak van Modaliteit: Ablatieonderzoeken bevestigen dat de video-modaliteit noodzakelijk is voor hoge prestaties. Inputs met enkel een transcript resulteren in aanzienlijk lagere classificatiescores, vooral voor Chinese contexten waar betekenis vaak via non-verbale signalen wordt overgebracht (high-context cultuur).
• Schaalbeperkingen: Het vergroten van de modelgrootte (van 4B naar 14B parameters) leidt niet betrouwbaar tot verbeterde classificatiescores. Hoewel grotere modellen lichte winst kunnen laten zien in de kwaliteit van de bewijsvoering, blijft de prestatiekloof in culturele redenering bestaan, wat suggereert dat de bottleneck ligt in het gebrek aan cultureel geïnformeerde trainingsdata in plaats van de ruwe modelcapaciteit.
• Annotatieverschillen: Menselijke verificatie onthulde een hoog percentage wijzigingen in AI-gegenereerde annotaties voor Chinese content (42–53% wijzigingspercentage) vergeleken met Amerikaanse content (18–26%), wat waarschuwt tegen volledig automatische benaderingen voor culturen die ondervertegenwoordigd zijn in de trainingsdata.

Betekenis en Beperkingen

Het artikel positioneert VIDEONORMS als een praktisch startpunt voor cross-culturele norm-benchmarking in video, een taak die voorheen onbehandeld bleef. De auteurs stellen dat hun bevindingen de noodzaak benadrukken van diversere culturele data in de training van videomodellen om werkelijke culturele competentie te bereiken.

De auteurs erkennen expliciet de volgende beperkingen:

• Omvang: De studie is beperkt tot twee landen (VS en China) en claimt geen algemene culturele competentie te meten of de volledige intra-culturele diversiteit van deze naties te vatten.
• Databron: Het vertrouwen op geschreven tv-series als "culturele spiegels" in plaats van natuurlijke interacties is een noodzakelijke vereenvoudiging, hoewel eerder werk suggereert dat bekendheid met scripts geen vervanging is voor de vereiste redenering in deze taak.
• Representatie van Annotatoren: Vanwege budgetbeperkingen werden slechts drie annotatoren per land gebruikt, wat de heterogene populaties mogelijk niet volledig vertegenwoordigt.
• Risico op Bias: De auteurs waarschuwen voor het gebruik van de benchmark voor stereotypering (ecologische drogreden) en merken op dat er een risico bestaat op overoptimalisatie voor de metriek, waarbij hoge scores niet noodzakelijkerwijs gelijkstaan aan werkelijke culturele competentie.

Uiteindelijk dient dit werk als een fundamentele stap naar het begrijpen en verbeteren van de culturele competentie van videomodellen door middel van rigoureuze, door mensen geverifieerde evaluatie.