MultivationBench: A Benchmark for Multimodal Sequential Motivation Reasoning
Das Papier stellt MultivationBench vor, einen neuen Benchmark, der auf psychologischen Frameworks basiert und die Fähigkeit multimodaler großer Sprachmodelle bewertet, sequentielle Motivations-Argumentation in geschichtenbasierten visuellen Narrativen durchzuführen, wobei aufgezeigt wird, dass aktuelle Modelle trotz ihrer statischen Erkennungsfähigkeiten Schwierigkeiten haben, eine konsistente Argumentation über dynamische Kontexte hinweg aufrechtzuerhalten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schauen einen Film, aber anstatt nur zu sehen, was passiert, versuchen Sie zu erraten, warum die Charaktere es tun. Dies ist der Kern der „sozialen Intelligenz“, einer Superkraft, die Menschen besitzen und die es uns ermöglicht, die verborgenen Gefühle und Ziele hinter unseren Handlungen zu verstehen. Wissenschaftler nennen dies „Motivationsschlussfolgerung“ (Motivation Reasoning). Es geht nicht nur darum zu sehen, dass jemand ein Telefon in die Hand nimmt; es geht darum herauszufinden, ob er um Hilfe ruft, die Zeit prüft oder ein Foto eines verstorbenen geliebten Menschen betrachtet. Normallich erraten wir dies nicht aus einem einzigen eingefrorenen Bild. Wir beobachten, wie sich die Geschichte entfaltet, und sammeln im Laufe der Zeit Hinweise. Wenn eine Figur in Szene eins traurig aussieht und dann in Szene zwei ein Foto sieht, ändert sich unsere Vermutung über ihre Motivation. Diese Arbeit untersucht, ob die neuesten, superintelligenten Computergehirne (genannt Multimodale Large Language Models) diese Art von „Detektivarbeit in Geschichten“ leisten können. Während diese Computer großartig darin sind, ein Bild anzusehen und zu beschreiben oder eine Geschichte zu lesen und Fragen zu beantworten, stellt diese Forschung eine schwierigere Frage: Können sie die sich ändernden Gefühle eines Charakters als Ganzes einer Geschichte verfolgen, genau wie ein Mensch es tut?
Die Forscher hinter dieser Studie, angeführt von einem Team der Hong Kong University of Science and Technology und Amazon, beschlossen, einen riesigen Test zu entwickeln, um dies herauszufinden. Sie erschufen etwas namens MultivationBench. Betrachten Sie dies als eine massive Bibliothek von 1.000 kurzen visuellen Geschichten, wie eine Mischung aus Filmclips und Social-Media-Posts, die über 4.000 spezifische Momente enthalten, in denen ein Charakter etwas tut. Aber dies ist nicht nur ein Test dessen, „was passiert ist“; es ist ein Test dessen, „warum es passiert ist“. Um den Test fair und wissenschaftlich zu gestalten, nutzte das Team zwei berühmte psychologische Regelwerke: Maslows Bedürfnishierarchie (die menschliche Bedürfnisse von grundlegender Überlebenssicherung wie Nahrung und Sicherheit bis hin zu höheren Zielen wie Liebe und Selbstverwirklichung sortiert) und Reiss's 16 Grundbedürfnisse (die nach spezifischen persönlichen Antrieben wie Neugier, Ehre oder Familie sucht).
Das Team bat die Computermodelle, diese Geschichten Bild für Bild zu beobachten. Bei jedem Schritt mussten die Modelle die Motivation des Charakters basierend nur auf dem erraten, was sie bisher gesehen hatten. Der knifflige Teil? Während die Geschichte fortschreitet, tauchen neue Informationen auf, die den Grund für eine frühere Handlung komplett verändern. Zum Beispiel greift eine Figur nach einem Telefon, und zuerst sieht es so aus, als würde sie nur eine Nachricht prüfen (ein „kognitives“ Bedürfnis). Später offenbart die Geschichte jedoch, dass sie ein Foto ihrer Familie betrachtet, während sie sich auf einer Party einsam fühlt, was bedeutet, dass der wahre Grund eigentlich „Liebe und Zugehörigkeit“ war. Der Computer musste klug genug sein zu sagen: „Warte, ich lag vorher falsch; jetzt kenne ich den wahren Grund.“
Die Ergebnisse waren ein kleiner Weckruf für die Tech-Welt. Die Arbeit fand heraus, dass diese fortgeschrittenen KI-Modelle zwar ganz gut darin sind, Motivationen in kurzen, einfachen Geschichten zu erraten, aber wirklich Schwierigkeiten haben, wenn die Geschichte länger wird. Von den 1.000 getesteten Geschichten gelang es den Modellen selten, ihre Argumentation von Anfang bis Ende konsistent zu halten. Tatsächlich, wenn sie gefragt wurden, jede einzelne Motivation in einer ganzen Geschichte richtig zu benennen, waren selbst die besten Modelle in weniger als 1 % der Fälle erfolgreich. Die Studie legt nahe, dass diese KI-Gehirne wie Schüler sind, die groß darin sind, Fakten auswendig zu lernen, aber schrecklich darin, dem Fluss einer Handlung zu folgen. Sie neigen dazu, bei der ersten Sache hängen zu bleiben, die sie sehen, und versäumen es, ihr Denken anzupassen, wenn neue Beweise eintreffen. Sie „halluzinieren“ oft Gründe, die plausibel klingen, aber nicht durch die Geschichte gestützt werden, oder sie übersehen die tieferen, komplexeren emotionalen Gründe, die das Verknüpfen von Punkten über die gesamte Erzählung hinweg erfordern.
Die Forscher verglichen die KI auch mit echten Menschen. Die Menschen, bei denen es sich um Doktoranden handelte, waren bei dieser Aufgabe signifikant besser, insbesondere wenn die Geschichten lang und komplex waren. Diese Lücke zeigt, dass KI zwar besser darin wird zu sehen und zu lesen, aber immer noch das „soziale Gehirn“ vermisst, das nötig ist, um zu verstehen, wie sich unsere Motivationen im Laufe der Zeit verschieben und entwickeln. Die Arbeit kommt zu dem Schluss, dass wir noch weit davon entfernt sind, Computer zu haben, die die chaotischen, wechselhaften Gründe hinter menschlichem Verhalten in einer Geschichte wirklich verstehen können. Es ist eine Erinnerung daran, dass das Verständnis dafür, warum Menschen das tun, was sie tun, viel schwieriger ist als nur zu wissen, was sie getan haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.