FriendBench: Benchmarking Dyadic Familiarity Inference in Humans and Multimodal Large Language Models
Das Paper stellt FriendBench vor, einen Benchmark zur Inferenz dyadischer Vertrautheit aus 20-sekündigen Ice-Breaker-Clips, der aufzeigt, dass, während führende multimodale Modelle die menschliche Genauigkeit erreichen, diese auf unterschiedliche Merkmale zurückgreifen und eine Tendenz aufweisen, Paare als Fremde einzustufen, wohingegen Menschen in einzigartiger Weise sichtbare Verhaltenshinweise über die Sprache hinaus nutzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten einen Raum, in dem zwei Personen sich unterhalten. Sie kennen ihre Namen nicht und Sie haben nicht gehört, was sie sagen. Dennoch können Sie oft innerhalb von Sekunden erkennen, ob es sich um beste Freunde handelt, die sich austauschen, oder um zwei Fremde, die mühsam das Eis brechen. Diese Superkraft nennt man soziale Intelligenz. Es ist die Fähigkeit, die „Vibe“ einer Situation zu erfassen, indem man beobachtet, wie Menschen sich bewegen, Pausen machen und einander ansehen, anstatt nur auf ihre Worte zu hören. Seit Jahrzehnten untersuchen Wissenschaftler, wie Menschen dies tun, aber jetzt stellen wir eine große Frage: Können Computer das auch? Da wir beginnen, KI-Begleiter, Meeting-Assistenten und Pflege-Roboter zu bauen, müssen diese Maschinen menschliche Beziehungen ebenso gut verstehen wie wir. Aber um sie zu lehren, brauchen wir zuerst einen fairen Test, um zu sehen, ob sie den Raum tatsächlich „lesen“ oder nur raten.
Hier kommt FriendBench ins Spiel, ein neues Experiment, das genau dies testen soll. Die Forscher entwickelten eine digitale „Eisbrecher“-Herausforderung. Sie nahmen 96 Paare von Menschen auf, die jeweils einen 20-sekündigen Clip beantworteten, in dem sie dieselbe alberne Frage stellten: „Würdest du lieber fliegen können oder unsichtbar sein?“ Einige Paare waren bereits Freunde oder Familienmitglieder (vertraut), während andere sich zum ersten Mal trafen (Fremde). Da alle dieselbe Frage beantworteten, ließen die Worte, die sie verwendeten, keinen Rückschluss auf die Antwort zu. Die einzigen Hinweise lagen darin, wie sie sprachen und handelten.
Die Forscher baten dann zwei Gruppen, das Rätsel zu lösen: eine große Gruppe menschlicher Freiwilliger und 26 verschiedene KI-Modelle von sieben großen Technologieunternehmen. Sie testeten die KI und die Menschen auf drei Arten: durch das Lesen des reinen Text-Transkripts, durch das Hören der Audioaufnahme und durch das Ansehen des Videos.
Dies ist das Ergebnis. Erstens war die Text-Version eine Sackgasse für alle. Ohne die Menschen zu sehen oder zu hören, konnten weder Menschen noch KI viel besser als durch bloßes Raten agieren. Das ergibt Sinn, da das Gesprächsthema kontrolliert wurde, um die Beziehung zu verbergen.
Als sie den Ton hinzufügten, verbesserte sich alles. Sowohl Menschen als auch die besten KI-Modelle wurden besser, was zeigt, dass Tonfall und Pausen echte Hinweise liefern. Doch die wahre Magie geschah, als sie das Video hinzufügten. Menschen wurden signifikant klüger, wenn sie die Gesichter und die Körpersprache der Menschen sehen konnten. Sie nutzten diese visuellen Hinweise, um ihre Genauigkeit weiter zu steigen. Die KI-Modelle hingegen stießen an eine Grenze. Obwohl die besten KI-Modelle in den Videoclips eine ebenso hohe Genauigkeit wie die menschliche Menge erreichten, kamen sie nicht auf dieselbe Weise dorthin.
Die KI-Modelle „sahen“ die Freundschaft nicht so, wie es Menschen taten. Stattdessen stützten sie sich stark auf ein Muster: Sie tippten fast immer auf „Fremde“. Da es im Test eine gleiche Anzahl an Freunden und Fremden gab, hielt dieses Bias (Voreingenommenheit) ihre Gesamtpunktzahl versehentlich hoch, aber es bedeutete, dass sie daran scheiterten, die Freunde zu erkennen. Menschen hingegen blieben ausgewogen und identifizierten sowohl Freunde als auch Fremde korrekt.
Kurz gesagt: Die besten KI-Modelle können nun die menschliche Genauigkeit bei dieser Aufgabe erreichen, aber sie tun dies, indem sie sich auf eine Strategie verlassen, die davon ausgeht, dass jeder ein Fremder ist, anstatt den sozialen Tanz wirklich zu verstehen. Sie hören die Stimme, aber sie können die Körpersprache noch nicht wirklich lesen. Dies deutet darauf hin, dass die KI zwar gut in sozialen Aufgaben wird, aber noch einen weiten Weg vor sich hat, bis sie menschliche Beziehungen so verstehen kann, wie wir es tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.