Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
Dieses Paper führt MOSAIC ein, einen multimodalen Benchmark, der aufzeigt, dass aktuelle Vision-Language-Modelle daran scheitern, Theory-of-Mind-Schlussfolgerungen in koordinierte soziale Handlungen zu übersetzen, was auf Engpässen bei der Generierung kohärenter nonverbaler Signale und der Interpretation des Verhaltens anderer beruht, während Modelle mit expliziter Kopplung von Überzeugung und Handlung erfolgreich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Menschliche Verbindung beruht auf einem stillen, schnellen Austausch, der weit über Worte hinausgeht. Wenn wir sprechen, verändern wir auch unseren Blick, passen unsere Körperhaltung an und verändern unsere Mimik, während wir gleichzeitig versuchen zu erahnen, was der andere Mensch denkt und fühelt. Die Fähigkeit, den Geist eines anderen Menschen zu verstehen und dieses Verständnis dann zu nutzen, um das eigene Handeln zu steuern, wird als Theory of Mind bezeichnet. Jahrzehntelang haben Wissenschaftler diese Kapazität untersucht, oft indem sie Menschen baten, Fragen zu Geschichten zu beantworten oder indem sie beobachteten, wie sie auf einfache soziale Rätsel reagierten. Das Ziel war es zu sehen, ob künstliche Intelligenz dasselbe leisten kann. Doch eine kritische Lücke blieb bestehen: zu wissen, was jemand denkt, ist etwas anderes, als auf dieses Wissen in Echtzeit zu reagieren. Ein System mag korrekt erraten, dass eine Person ein Geheimnis verbirgt, aber kann es dann auch entscheiden, wegzusehen, zu lächeln oder den Körper so zu bewegen, dass es die Person subtil dazu ermutigt, es preiszugeben? Bis jetzt konnte kein Test messen, ob eine KI in der Lage ist, eine mentale Vermutung in ein koordiniertes, physisches soziales Signal zu übersetzen.
Forscher der Université Paris-Saclay und der Sorbonne Université wollten diese Lücke mit einem neuen Experiment namens MOSIC schließen. Sie erschufen eine virtuelle Welt, in der zwei digitale Agenten in einem Spiel der Schatzsuche interagierten. In diesem Szenario wusste ein Agent, der Proband, wo sich eine versteckte Belohnung befand, während der andere, der Teilnehmer, dies nicht wusste. Die Aufgabe des Probanden war es, entweder dem Teilnehmer beim Finden des Schatzes zu helfen oder, je nach den Regeln der Runde, ihn dazu zu bringen, sich für die falsche Box zu entscheiden. Das Spiel war darauf ausgelegt, ein strenger Test für soziale Intelligenz zu sein. Über zehn Interaktionsrunden mussten die Agenten unter Verwendung einer Mischung aus gesprochenen Worten, Körperbewegungen, Blickrichtung und Mimik kommunizieren. Die Forscher variierten den Schwierigkeitsgrad durch die Änderung der Regeln: Manchmal sollte der Proband ehrlich sein, und ein anderes Mal sollte er täuschen. Entscheidend war auch, dass sie die internen Anweisungen des Probanden änderten, indem sie einige baten, nach eigenen Wünschen zu handeln, ohne an die andere Person zu denken, während sie andere explizit dazu aufforderten, die Überzeugungen des Teilnehmers zu modellieren und zu versuchen, diese zu beeinflussen.
Die Forscher testeten dreizehn verschiedene Modelle künstlicher Intelligenz in dieser Umgebung, darunter elf Vision-Language-Modelle, die sehen und sprechen können, sowie ein rein textbasiertes Modell. Sie führten zweihundert Versuche für jedes Modell durch, um genügend Daten zu sammeln, um klare Muster zu erkennen. Die Ergebnisse waren drastisch. Die meisten fortgeschrittenen KI-Systeme scheiterten daran, das erforderliche koordinierte Verhalten zu erzeugen, um erfolgreich zu sein. Wenn sie aufgefordert wurden zu täuschen, konnten die Modelle nicht die notwendige Mischung aus irreführenden Worten und widersprüchlicher Körpersprache generieren. Wenn sie aufgefordert wurden zu helfen, versäumten sie es oft, sich so zu bewegen oder hinzusehen, dass sie den anderen Agenten leiteten. Die Studie identifizierte zwei spezifische Bruchstellen im Prozess. Erstens konnten die meisten Modelle keine nichtverbalen Signale erzeugen, die in der Richtung Sinn ergaben; ihre Bewegungen und ihr Blick waren oft zufällig oder zeigten in die falsche Richtung. Zweitens, selbst wenn ein Modell ein klares Signal erzeugte, bemerkte oder reagierte der andere Agent in der Simulation nicht darauf. Die KI-Agenten schienen zwar zu sprechen und sich zu bewegen, aber sie kommunizierten nicht wirklich.
Ein Modell stach als vollständige Ausnahme hervor. Ein Hybridsystem namens PCM-LLM, das mit einem speziellen, strukturierten Modul ausgestattet war, das darauf ausgelegt ist, Überzeugungen und Intentionen zu verarbeiten, war in jeder Bedingung erfolgreich. Es konnte den Teilnehmer erfolgreich zum Schatz führen, wenn es angewiesen wurde zu helfen, und es konnte ihn erfolgreich in die Irre führen, wenn es angewiesen wurde zu täuschen. Dieser Erfolg deutet darauf hin, dass das Scheitern der anderen Modelle nicht an der Schwierigkeit der Aufgabe selbst lag, sondern vielmehr an einem fehlenden Teil in ihrer Architektur. Die Standardmodelle, die Sprache und Bilder gemeinsam verarbeiten, schienen nicht über den internen Mechanismus zu verfügen, eine Überzeugung über eine andere Person direkt mit einer physischen Handlung zu verknüpfen. Die Forscher fanden heraus, dass der visuelle Input, den die meisten Modelle erhielten, eher als Ablenkung denn als hilfreicher Hinweis wirkte. In einigen Fällen verbesserte das Entfernen des visuellen Bildes sogar die Fähigkeit des Modells, ein klares Richtungssignal zu senden, was darauf hindeutet, dass die visuellen Daten eher ihr Denken störten als es zu unterstützen.
Die Studie untersuchte auch, ob diese Modelle durch Übung besser werden könnten. Die Forscher nahmen eines der scheiternden Modelle und trainierten es mit Beispielen erfolgreichen Verhaltens, die vom leistungsstarken Hybridsystem generiert wurden. Obwohl dieses Training das Verhalten des Modells leicht veränderte, behob es das grundlegende Problem nicht. Das Modell konnte immer noch nicht seine Worte, Augen und seinen Körper zu einem einzigen, kohärenten sozialen Signal koordinieren. Dies deutet darauf hin, dass es nicht ausreicht, einer KI lediglich das Bewegen beizubringen; sie benötigt eine tiefere architektonische Änderung, um zu verstehen, dass ihre Handlungen darauf abzielen, einen anderen Geist zu beeinflussen. Die Ergebnisse zeigen, dass aktuelle KI-Systeme trotz ihrer Fähigkeit, komplexe soziale Szenarien in Textform zu diskutieren, noch nicht gelernt haben, diese Ideen zu verkörpern. Sie können über Theory of Mind sprechen, aber sie können sie noch nicht leben. Die Lücke zwischen dem Erschließen dessen, was jemand denkt, und dem Handeln auf Basis dieser Schlussfolgerung in einer koordinierten, physischen Weise bleibt eine deutliche und messbare Einschränkung der aktuellen Technologie.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.