VideoNorms: Benchmarking Cultural Awareness of Video Language Models
Dieses Paper führt VideoNorms ein, einen Datensatz mit über 3.000 Annotationen zu kulturellen Normen aus US-amerikanischen und chinesischen Fernsehsendungen, der durch Mensch-KI-Kollaboration erstellt wurde und aufzeigt, dass aktuelle VideoLLMs stärker mit chinesischen kulturellen Kontexten und nonverbalen Belegen zu kämpfen haben, was die Notwendigkeit eines kulturell fundierten Trainings und einer fundierten Evaluierung unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, menschliches Verhalten zu verstehen. Sie zeigen ihm ein Video von zwei Menschen, die sich begegnen, und fragen ihn: „Sind sie höflich?“ In der Welt der Künstlichen Intelligenz ist dies eine riesige Herausung. Wir haben „Video Large Language Models“ (VideoLLMs) entwickelt – superintelligente Computer, die Videos ansehen und über das sprechen können, was sie sehen. Aber die meisten dieser Roboter wurden nur mit Daten aus einer ganz bestimmten Ecke der Welt trainiert, hauptsächlich aus den USA. Sie sind großartig darin, eine Katze oder ein Auto zu erkennen, aber sie stolpern oft über die unsichtbaren Regeln der Gesellschaft: die ungeschriebenen Skripte, denen wir beim Händeschütteln, Entschuldigen oder Verabschieden folgen. Genau wie ein Tourist, der nicht weiß, dass es in einigen Ländern unhöflich ist, mit der linken Hand auf etwas zu zeigen, könnten diese KI-Modelle denken, dass ein Verhalten normal ist, obwohl es in einer anderen Kultur tatsächlich ein schwerer Fauxpas ist. Dieses Paper stellt eine kritische Frage: Können diese video-beobachtenden Roboter den kulturellen „Vibe“ verschiedener Gesellschaften verstehen, oder raten sie nur basierend auf dem, was sie in amerikanischen Filmen gesehen haben?
Um dies zu beantworten, hat ein Forscherteam einen neuen Test namens VIDEONORMS entwickelt. Betrachten Sie diesen Datensatz als ein riesiges, globales „Finde den Unterschied“-Spiel, aber anstatt versteckte Objekte zu finden, muss die KI erkennen, ob Menschen soziale Regeln befolgen oder brechen. Die Forscher haben die KI nicht einfach nur raten lassen; sie haben ein „Mensch-KI-Team“ aufgebaut. Zuerst schaute eine superstarke KI (genannt Gemini) tausende von 15-sekündigen Clips aus populären US-amerikanischen und chinesischen Fernsehserien an und schrieb auf, was sie für die sozialen Regeln hielt. Dann traten echte menschliche Experten – Menschen, die in diesen spezifischen Kulturen aufgewachsen sind – auf den Plan, um als Editoren zu fungieren. Sie überprüften die Arbeit der KI, korrigierten Fehler und fügten Details über Körpersprache und Tonfall hinzu, die der Roboter vielleicht übersehen hätte. Dieser Prozess resultierte in einer massiven Bibliothek von über 3.000 menschlich verifizierten Urteilen darüber, ob Charaktere in Fernsehserien höflich oder unhöflich waren.
Als die Forscher sieben verschiedene Open-Source-Video-KI-Modelle mit diesem neuen Datensatz testeten, fanden sie einige überraschende Lücken in der kulturellen Intelligenz der Roboter. Erstens waren die Modelle viel besser darin, amerikanische soziale Normen zu verstehen als chinesische. Es ist, als hätten die Roboter intensiv für eine Prüfung über die US-Kultur gelernt, aber ihre Lehrbücher für China kaum aufgeschlagen. Speziell hatten die Modelle Schwierigkeiten vorherzusagen, wenn ein chinesischer Charakter eine Regel befolgte, da sie oft verwirrt darüber waren, wie „Höflichkeit“ in diesem Kontext aussah. Zweitens hatten die Roboter viel größere Mühe zu erklären, warum etwas unhöflich oder höflich war, wenn der Hinweis nicht-verbal war. Wenn ein Charakter die Arme verschränkte oder den Blick vermied, übersah die KI das Signal oft, während sie bei verbalen Hinweisen wie den Worten „Entschuldigung“ oder „Danke“ viel besser war.
Die Studie untersuchte auch, ob es die Probleme lösen würde, die KI einfach nur „größer“ oder schlauer zu machen. Sie testeten größere Modelle und fütterten sie mit mehr Videoframes, aber die Ergebnisse verbesserten sich nicht wesentlich. Dies deutet darauf hin, dass das Problem nicht nur darin liegt, wie viel Daten der Roboter auswendig gelernt hat, sondern darum, welche Art von Daten er hat. Die Forscher konnten zudem beweisen, dass man nicht einfach nur das Skript (die gesprochenen Worte) lesen kann, um die Szene zu verstehen; man muss tatsächlich das Video ansehen. Die visuellen Hinweise sind essenziell, um den kulturellen Kontext richtig zu erfassen.
Kurz gesagt zeigt das Paper, dass unsere video-beobachtenden KIs zwar immer besser darin werden, die Welt zu sehen, aber sie noch einen weiten Weg vor sich haben, bevor sie das vielfältige Verhalten von Menschen über verschiedene Kulturen hinweg wirklich verstehen können. Die Roboter sind derzeit wie Touristen, die das Wörterbuch kennen, aber die lokalen Bräuche noch nicht gelernt haben, und sie einfach nur größer zu machen, wird ihnen nicht die Verkehrsregeln lehren. Um wirklich kulturell bewusste KI zu bauen, müssen wir sie mit einer viel größeren Vielfalt an menschlichen Geschichten trainieren, nicht nur mit denen aus Hollywood.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.