CARD: Diagnosing Belief to Action Routing Failures in Vision Language Models
Dieses Paper führt CARD ein, eine Diagnosemethode, die aufzeigt, dass Vision-Language-Modelle daran scheitern, interne Überzeugungsrepräsentationen effektiv in ihre Aktionsvorhersagen zu leiten, eine Einschränkung, die durch einen neuen kooperativen Grid-World-Benchmark namens Relay Chain identifiziert wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Im wachsenden Feld der künstlichen Intelligenz sind Forscher zunehmend daran interessiert, ob Maschinen die Köpfe anderer verstehen können. Diese Fähigkeit, bekannt als „Theory of Mind“ (Theorie des Geistes), ermöglicht es einem Menschen, zu schlussfolgern, was jemand anderes sieht, weiß oder will, selbst wenn diese Information für die eigene Sicht verborgen bleibt. Sie ist der mentale Klebstoff, der Kooperation ermöglicht, indem sie uns erlaubt, den nächsten Zug eines Partners basierend auf dessen Perspektive statt nur auf unserer eigenen vorherzusagen. Da KI-Systeme zunehmend eingesetzt werden, um neben Menschen zu arbeiten – als robotische Assistenten, Fahr-Co-Piloten oder Teammitglieder –, müssen Wissenschaftler wissen, ob diese Systeme über dieselbe Kapazität verfügen. Wenn eine KI nicht wirklich erfassen kann, was ihr Partner weiß, kann sie nicht effektiv kooperieren, egal wie intelligent sie in anderen Bereichen auch erscheinen mag.
Um dies zu untersuchen, entwickelte ein Forschungsteam der Universität Stuttgart eine neue Methode, um in das „Gehirn“ moderner Vision-Language-Modelle zu blicken. Dabei handelt es sich um fortschrittliche Computerprogramme, die Bilder sehen und Sprache gleichzeitig verstehen können. Die Forscher wollten wissen, ob diese Modelle tatsächlich ihr internes Verständnis des mentalen Zustands eines Partners nutzen, wenn sie entscheiden, welche Aktion sie als Nächstes ausführen sollen. Sie schufen eine neue Testumgebung namens „Relay Chain“, ein kooperatives Spiel auf einem digitalen Gitter. In diesem Spiel halten zwei Agenten Hebel, die Tore öffnen, damit ein dritter Agent passieren kann. Der Erfolg hängt vollständig davon ab, dass die Agenten wissen, ob ihr Partner sieht, wie der Reisende die Strecke überquert. Wenn ein Agent die Überquerung nicht sehen kann, muss er den Hebel halten; wenn er die Überquerung sehen kann, muss er den Hebel loslassen. Dieser Aufbau zwingt die KI, Entscheidungen basierend auf dem zu treffen, was sie glaubt, dass ihr Partner sieht, anstatt nur auf das, was in der Welt geschieht.
Die Forscher nutzten eine Technik namens „Activation Steering“ (Aktivierungssteuerung), um die Modelle zu untersuchen. Stellen Sie sich die internen Gedanken der KI als eine weite Landschaft von Signalen vor. Das Team identifizierte spezifische Signale, die „Überzeugung“ (Belief) repräsentierten – die interne Aufzeichnung der KI darüber, was der Partner sieht. Sie verstärkten oder schwächten diese Überzeugungssignale dann künstlich, während die KI das Spiel spielte, und beeinflussten im Wesentlichen den internen Zustand des Modells, um es sich sicherer oder unsicherer über die Sichtweise des Partners zu sein. Wenn die KI tatsächlich ihr Verständnis des Geistes des Partners zur Entscheidungsfindung nutzen würde, sollte die Änderung dieser internen Überzeugung die Handlung ändern, die die KI wählt. Wenn das Modell beispielsweise dazu bewegt wurde, zu glauben, dass der Partner den Reisenden sehen konnte, sollte es den Hebel loslassen. Wenn es dazu bewegt wurde, zu glauben, dass der Partner nicht sehen konnte, sollte es am Hebel festhalten.
Die Ergebnisse offenbarten ein kritisches Versagen in der Funktionsweise dieser Modelle. Die Experimente zeigten, dass die Modelle tatsächlich über eine klare, lesbare Repräsentation der Überzeugung des Partners verfügten. Wenn man sie direkt fragte: „Sieht dein Partner den Reisenden?“, antworteten die Modelle korrekt, und die Forscher konnten die Antwort sogar ändern, indem sie die internen Signale steuerten. Doch als die Modelle gebeten wurden, die kooperative Handlung auszuführen – also zu entscheiden, ob sie den Hebel loslassen oder halten sollten –, wurden ihre internen Überzeugungssignale völlig ignoriert. Selbst wenn die Forscher die interne Überzeugung des Modells über die Sichtweise des Partners gewaltsam änderten, blieb die Entscheidung der KI, was zu tun sei, exakt dieselbe. Es agierte so, als besäße es ein perfektes Gedächtnis für die Sichtweise des Partners, aber sich schlichtweg entschied, dieses Gedächtnis bei der Ausführung eines Schrittes nicht zu verwenden.
Diese Diskrepanz war konsistent über vier verschiedene Arten von Open-Source-Modellen hinweg, die von kleineren bis hin zu größeren Systemen reichten. Die Modelle scheiterten nicht daran, dass ihnen die Informationen fehlten; sie scheiterten daran, dass sie diese Informationen nicht an den Teil des Systems weiterleiteten, der über Handlungen entscheidet. Die Forscher schlossen mehrere andere Möglichkeiten aus, wie etwa, dass die Modelle durch die Formulierung der Fragen verwirrt wurden oder die Steuerungsmethode zu schwach war, um Wirkung zu zeigen. Sie testeten Dutzende von Möglichkeiten, die Anweisungen unterschiedlich zu formulieren, und fanden heraus, dass kein Maß an Prompting die Modelle dazu bringen konnte, ihre internen Überzeugungen zur Steuerung ihrer Handlungen zu nutzen. Die Modelle waren effektiv „blind“ gegenüber ihrem eigenen Wissen, wenn es darum ging, einen Schritt zu machen.
Die Studie kommt zu dem Schluss, dass diese KI-Systeme zwar darauf trainiert werden können, den mentalen Zustand eines Partners zu beschreiben, sie aber nicht automatisch diese Beschreibung mit ihrem eigenen Verhalten verknüpfen. Sie können darüber sprechen, was jemand anderes weiß, aber sie nutzen dieses Wissen nicht, um zu entscheiden, was zu tun ist. Dies deutet darauf hin, dass es nicht ausreicht, ein Modell lediglich darauf zu trainieren, Fragen über Überzeugungen zu beantworten, um einen wahrhaft kooperativen Agenten zu erschaffen. Damit KI nahtlos mit Menschen zusammenarbeiten kann, muss das interne Verständnis anderer direkt in den Entscheidungsprozess eingebunden werden – eine Verbindung, die aktuellen Modellen offenbar fehlt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.