Stellen Sie sich einen Roboterarm vor, der nach einer Kaffeetasse greift. Um erfolgreich zu sein, muss die Maschine drei verschiedene Rätsel gleichzeitig lösen: Sie muss entscheiden, welcher Teil der Tasse relevant ist (der Henkel, nicht der Rand), genau lokalisieren, wo sich dieser Teil in der visuellen Welt befindet, und verstehen, welche Handlung dieser Teil einlädt (Greifen statt Drücken). Jahrelang haben Forscher KI-Systeme bei diesen Aufgaben getestet, indem sie sie baten, zu beschreiben, was ein Roboter mit einem Objekt tun sollte. Eine kürzlich erschienene Begleitstudie deutete darauf an, dass die Leistung des Systems drastisch steigt, wenn man der KI einfach den Namen des Zielteils nennt – etwa „greife den Henkel“ statt nur „greife die Tasse“. Dies führte zu dem hoffnungsvollen Schluss: Die KI lerne endlich, auf das Bild zu schauen und über die physikalische Mechanik des Objekts zu urteilen.

Eine neue Untersuchung namens GroundBench legt jedoch nahe, dass diese Schlussfolgerung verfrüht sein könnte. Die Forscher hinter dieser Studie, unter der Leitung von Sattigeri an der Manipal University Jaipur, vermuteten, dass die KI nicht tatsächlich lernte, das Objekt besser zu sehen. Stattdessen stellten sie die Hypothese auf, dass das System sich auf eine Abkürzung verlassen könnte: schlichtweg zu memorieren, dass bestimmte Wörter wie „Henkel“ fast immer mit der Aktion „greifen“ gepaart sind, unabhängig davon, was das Bild tatsächlich zeigt. Um dies zu testen, entwickelten sie einen strengen neuen Benchmark, der die Fähigkeit, einen Teil in einem Bild zu finden, von der Fähigkeit zu trennen, eine Aktion basierend auf einem Wort zu erraten. Sie fragten die KI nicht nur, eine Aufgabe auszuführen; sie entfernten systematisch Informationen, Stück für Stück, um zu sehen, welcher spezifische Hinweis den Erfolg tatsächlich vorantrieb.

Die Forscher konstruierten eine Reihe von sechs verschiedenen Szenarien oder Bedingungen, um drei verschiedene Versionen eines führenden KI-Modells zu testen. Im ersten Szenario sah die KI nur das Bild eines Objekts, wie eine Tastatur oder eine Tür, ohne Textanweisungen. Im zweiten fügten sie den Namen des Objekts hinzu, wie zum Beispiel „Tastatur“. Im dritten benannten sie den spezifischen Teil, wie etwa „die Leertaste“. Im vierten gaben sie den exakten Ort des Teils auf dem Bildschirm an – einen spezifischen Punkt und ein umschließendes Rechteck –, hielten aber den Namen des Teils bewusst zurück. Im fünften gaben sie sowohl den Namen als auch den Ort an. Schließlich fügten sie im sechsten Szenario technische Details darüber hinzu, wie sich das Objekt bewegt, etwa ob ein Gelenk ein Scharnier oder ein Schieber ist.

Die Ergebnisse waren auffallend und kontraintuitiv. Als die Forscher der KI den exakten Ort des Zielteils gaben, aber sich weigerten, zu sagen, wie das Teil heißt, brach die Leistung des Systems zusammen. Über die drei getesteten Modelle hinweg sank die Genauigkeit bei der Wahl der korrekten Aktion auf das Niveau eines bloßen Zufallsrates oder sogar darunter. Ein Modell, dem der Ort einer Taste gezeigt wurde, ohne deren Namen zu nennen, erreichte lediglich 0,26, während eine einfache Baseline, die das Bild völlig ignorierte, 0,53 erzielte. Die KI konnte den gezeigten Ort perfekt reproduzieren und setzte ihren „Finger“ exakt dort platziert, wo die Forscher hinzeigten, doch sie versäumte es, zu verstehen, was mit diesem Ort zu tun ist. Es war, als könne der Roboter die Taste sehen, habe aber keine Vorstellung davon, dass Knöpfe zum Drücken gedacht sind.

Im krassen Gegensatz dazu stieg die Leistung sprunghaft an, wenn die Forscher der KI den Namen des Teils gaben, aber den Ort zurückhielten. Dieselben Modelle, die mit reinen Standortdaten versagten, erreichten Genauigkeitsraten zwischen 0,68 und 0,74, wenn man ihnen sagte, dass der Teil eine „Taste“ oder eine „Tür“ sei, selbst ohne zu wissen, wo sie sich befand. Dieses Muster hielt durchgehend stand: Soblich der KI der Kategoriename des Teils gegeben wurde, konnte sie fast immer die korrekte Aktion erraten. Die Forscher fanden heraus, dass in ihrem sorgfältig kuratierten Objektsatz der Name des Teils allein ausreichte, um die Antwort zu bestimmen. Die KI betrachtete das Bild nicht, um die Physik zu ergründen; sie las das Wort und rief eine vorab gelernte Assoziation ab.

Um diesen Verdacht zu bestätigen, führten die Forscher einen Kontrolltest durch, bei dem sie das Bild vollständig entfernten und die Modelle baten, allein auf Basis des Textes zu antworten. Für das fortschrittlichste getestte Modell machte das Entfernen des Bildes keinen Unterschied in der Leistung bei den Bedingungen, bei denen der Teilname angegeben wurde. Das Modell erzielte bei Abwesenheit des Objekts genauso gut oder sogar etwas besser als mit dem Bild. Dies lieferte starke Beweise dafür, dass das System nicht auf visuelle Erdung (Visual Grounding) setzte – dem Prozess, Wörter mit spezifischen Pixeln in einem Bild zu verknüpfen – sondern stattdessen auf eine textbasierte Abkürzung vertraute. Die KI wusste, dass „Scharniertür“ „ziehen“ impliziert und „Schiebetaste“ „drücken“ impliziert, weil sie diese Paarungen in ihren Trainingsdaten gesehen hatte, und nicht, weil sie die Mechanik der spezifischen Tür oder Taste vor sich verstand.

Die Studie testete auch, ob die KI einer Fangfrage folgen konnte. Die Forscher nahmen ein Bild eines Objekts mit mehreren Teilen, wie eine Tastatur mit vielen Tasten, und baten die KI, eine Aktion an einem unüblichen Teil auszuführen, etwa einer spezifischen Taste, die selten verwendet wird. Sie wollten sehen, ob die KI tatsächlich auf diese spezifische Taste schauen würde oder ob sie zur Standardaktion des gesamten Objekts zurückkehren würde. Während die Modelle der neuen Anweisung im Allgemeinen folgten, hatten sie signifikante Schwierigkeiten, wenn die angeforderte Aktion ungewöhnlich war, wie etwa das vertikale Anheben eines Teils. In diesen Fällen kehrten die Modelle oft zur Standardaktion zurück, was darauf hindeutet, dass sie sich immer noch auf ihre gängigsten Assoziationen stützten, anstatt die visuelle Szene wirklich zu analysieren.

Vielleicht war die überraschendste Erkenntnis, dass mehr Informationen nicht immer halfen. Als die Forscher der KI den Ort und den Namen des Teils gaben und dann detaillierte mechanische Beschreibungen darüber hinzufügten, wie sich das Objekt bewegt, sank die Leistung tatsächlich. Die Modelle verbesserten sich nicht; sie wurden ungenauer. Dies deutet darauf hin, dass die zusätzlichen Informationen das System verwirrten oder es von der einfachen, effektiven Abkürzung des bloßen Namens des Teils ablenkten. Die Forscher kamen zu dem Schluss, dass bei diesen spezifischen Aufgaben mehr Daten nicht gleich bessere Argumentation bedeuteten.

Die Implikationen dieser Arbeit sind bedeutend für das Feld der Robotik und der künstlichen Intelligenz. Sie zeigen auf, dass hohe Punktzahlen in bestimmten Tests irreführend sein können. Eine KI kann wie ein Meister des physikalischen Denkens erscheinen, während sie in Wirklichskeit nur ein Meister der Wortassoziationen ist. Die Forscher fanden heraus, dass die dramatische Verbesserung, die in früheren Studien beobachtet wurde, als die Benennung eines Teils die Genauigkeit um eine große Spanne steigerte, wahrscheinlich nicht darauf zurückzuführen war, dass die KI plötzlich lernte, besser zu sehen. Stattdessen lag es daran, dass der Name selbst die Antwort enthielt. Die Studie behauptet nicht, dass diese Modelle unfähig zu visuellem Denken sind, aber sie zeigt, dass sie dies unter diesen spezifischen Bedingungen nicht taten.

GroundBench dient als diagnostisches Werkzeug, um die Schichten der Leistung einer KI abzutragen und zu sehen, was sich tatsächlich darunter verbirgt. Indem sie den visuellen Ort von der semantischen Bezeichnung trennten, legten die Forscher eine Lücke zwischen dem, was die Modelle zu tun schienen, und dem, was sie tatsächlich taten, offen. Sie fanden heraus, dass die Modelle, wenn der Name des Teils entfernt wurde, die Aktion nicht finden konnten, selbst wenn der Ort perfekt klar war. Dies deutet darauf hin, dass der Weg zu wahrem mechanischem Denken für diese Systeme länger ist als bisher angenommen. Sie haben noch nicht gelernt, ein Objekt anzusehen und seine Funktion zu verstehen; sie haben gelernt, einem Wort zuzuhören und die Funktion zu erraten. Die Studie endet nicht mit einer Erklärung des Scheiterns, sondern mit einer klareren Karte dessen, wohin die Arbeit führen muss: Systeme zu bauen, die die Wörter, die sie hören, wirklich mit der physischen Welt verknüpfen können, anstatt sich auf die Abkürzungen zu verlassen, die ihnen bisher so gut gedient haben.