VideoNorms: Benchmarking Cultural Awareness of Video Language Models
Questo articolo introduce VideoNorms, un dataset di oltre 3.000 annotazioni di norme culturali da programmi televisivi statunitensi e cinesi create attraverso la collaborazione uomo-IA, il quale rivela che gli attuali VideoLLM faticano maggiormente con i contesti culturali cinesi e le prove non verbali, evidenziando la necessità di un addestramento e di una valutazione culturalmente radicati.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di insegnare a un robot a comprendere il comportamento umano. Gli mostri un video di due persone che si incontrano e gli chiedi: "Si stanno comportando in modo educato?". Nel mondo dell'Intelligenza Artificiale, questa è una sfida enorme. Abbiamo costruito i "Video Large Language Models" (VideoLLM): computer super intelligenti capaci di guardare video e parlare di ciò che vedono. Ma la maggior parte di questi robot è stata addestrata solo su dati provenienti da un angolo specifico del mondo, principalmente gli Stati Uniti. Sono bravissimi nel riconoscere un gatto o un'auto, ma spesso inciampano quando si tratta delle regole invisibili della società: gli script non scritti che seguiamo quando stringiamo la mano, ci scusiamo o diciamo addio. Proprio come un turista che non sa che in alcuni paesi è maleducazione indicare con la mano sinistra, questi modelli di IA potrebbero pensare che un comportamento sia normale quando, in un'altra cultura, è in realtà un grave errore sociale. Questo articolo pone una domanda critica: i robot che guardano i video possono comprendere la "vibrazione" culturale di diverse società, o stanno solo tirando a indovinare basandosi su ciò che hanno visto nei film americani?
Per rispondere a questo, un team di ricercatori ha creato un nuovo test chiamato VIDEONORMS. Pensa a questo dataset come a un gigantesco gioco globale del "trova le differenze", ma invece di trovare oggetti nascosti, l'IA deve individuare se le persone seguono o infrangono le regole sociali. I ricercatori non si sono limitati a chiedere all'IA di indovinare; hanno costruito un "Team Uomo-IA". Per prima cosa, un'IA super potente (chiamata Gemini) ha guardato migliaia di clip di 15 secondi da popolari programmi televisivi degli Stati Uniti e della Cina e ha scritto ciò che pensava fossero le regole sociali. Poi, esperti umani — persone cresciute in quelle specifiche culture — sono intervenuti per agire come editor. Hanno controllato il lavoro dell'IA, correggendo gli errori e aggiungendo dettagli sul linguaggio del corpo e sul tono che il robot avrebbe potuto perdere. Questo processo ha portato a una vasta libreria di oltre 3.000 giudizi verificati dagli esseri umani sul fatto che i personaggi nelle serie TV stessero essendo educati o maleducati.
Quando i ricercatori hanno testato sette diversi modelli di IA video open-source su questo nuovo dataset, hanno riscontrato alcune lacune sorprendenti nell'intelligenza culturale dei robot. In primo luogo, i modelli erano molto più bravi a comprendere le norme sociali americane rispetto a quelle cinesi. È come se i robot avessero studiato sodo per un test sulla cultura statunitense ma avessero appena sfogliato i libri di testo per la Cina. Nello specifico, i modelli faticavano a prevedere quando un personaggio cinese stava seguendo una regola, confondendosi spesso su cosa significasse essere "educato" in quel contesto. In secondo luogo, i robot avevano molta più difficoltà a spiegare il perché qualcosa fosse maleducato o educato se l'indizio era non verbale. Se un personaggio incrociava le braccia o evitava il contatto visivo, l'IA spesso perdeva il segnale, mentre era molto più brava a cogliere gli indizi verbali come le parole "scusa" o "grazie".
Lo studio ha anche testato se rendere l'IA semplicemente più "grande" o più intelligente avrebbe risolto questi problemi. Hanno provato a usare modelli più grandi e a fornirgli più fotogrammi video, ma i risultati non sono migliorati molto. Ciò suggerisce che il problema non è solo quanto dato il robot abbia memorizzato; riguarda il tipo di dati che possiede. I ricercatori hanno anche dimostrato che non si può semplicemente leggere la sceneggiatura (le parole pronunciate) per comprendere la scena; è necessario effettivamente guardare il video. Gli indizi visivi sono essenziali per comprendere correttamente il contesto culturale.
In breve, l'articolo rivela che, sebbene la nostra IA capace di guardare i video stia diventando più brava a vedere il mondo, ha ancora molta strada da fare prima di poter comprendere davvero i diversi modi in cui gli esseri umani si comportano attraverso le varie culture. I robot sono attualmente come turisti che conoscono il dizionario ma non hanno imparato i costumi locali, e renderli semplicemente più grandi non insegnerà loro le regole del gioco. Per costruire un'IA davvero consapevole della cultura, dobbiamo addestrarla su una varietà molto più ampia di storie umane, non solo su quelle di Hollywood.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.