ROSE: Benchmarking the Perception-to-Action Gap in Multimodal Models
Das Paper führt ROSE ein, einen kontrollierten Benchmark, der zeigt, dass multimodale große Sprachmodelle eine signifikante Leistungsdifferenz zwischen visuellem Zählen und kontextabhängigen Aktionen aufweisen, was einen deutlichen Engpass bei der Übersetzung gemeinsam genutzter visueller Evidenz in aufgabenspezifische Verhaltensweisen offenbart, ungeachtet hoher menschlicher Leistungsfähigkeit.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie blicken auf ein riesiges Gitter aus 100 identisch aussehenden Aufklebern an einer Wand. Plötzlich bemerken Sie, dass drei von ihnen etwas anders sind – vielleicht ist einer verkehrt herum oder hat einen winzigen Kratzer.
Stellen Sie sich nun vor, ein Roboter steht neben Ihnen. Sie stellen dem Roboter drei verschiedene Fragen zu genau derselben Wand:
- Die Zählung: „Wie viele seltsame Aufkleber gibt es insgesamt?“
- Die Zone: „Wie viele seltsame Aufkleber befinden sich in der oberen linken Ecke?“
- Die Aktion: „Zeige mit deinem Finger auf jeden seltsamen Aufkleber in der oberen linken Ecke.“
Laut dem Papier ROSE sind viele der heutigen intelligentesten KI-Modelle sehr gut bei den ersten beiden Fragen, aber schrecklich bei der dritten. Sie können die seltsamen Aufkleber perfekt zählen, aber wenn man sie bittet, physisch auf die richtigen zu zeigen, basierend auf einer spezifischen Regel, werden sie verwirrt und zeigen auf die falschen oder zeigen auf Aufkleber außerhalb der Zone.
Hier ist eine Aufschlüsselung dessen, was das Papier entdeckt hat, unter Verwendung einfacher Analogien:
1. Das Problem: „Ich sehe es, aber ich kann nicht danach handeln“
Die Forscher nennen dies die „Perception-to-Action Gap“ (Wahrnehmungs-zu-Aktions-Lücke).
Stellen Sie sich eine KI wie einen sehr klugen Bibliothekar vor, der Ihnen sofort sagen kann, wie viele rote Bücher in einem Regal stehen. Aber wenn Sie ihn bitten: „Gehen Sie zum dritten Regal, suchen Sie die roten Bücher und ziehen Sie diese heraus“, könnte er einfrieren. Er weiß, wonach er suchen muss, aber er hat Schwierigkeiten, dieses Wissen in eine spezifische, präzise Handlung unter einem neuen Satz von Regeln zu übersetzen.
Das Papier fand heraus, dass selbst die besten KI-Modelle (wie GPT-5.5 oder Gemini) ihre Leistung signifikant einbüßen, wenn sie vom reinen „Zählen“ zum „Anklicken spezifischer Punkte“ wechseln. Einige Modelle brachen ihre Genauigkeit um fast 45 % ein, nur weil sich die Aufgabe änderte von „nenne mir die Anzahl“ zu „zeige mir den Ort an“.
2. Der Test: Das „Odd-One-Out“-Gitterspiel
Um dies zu beweisen, entwickelte das Team einen Benchmark namens ROSE.
- Das Setup: Sie erstellten tausende von Gitterbildern, die mit fast identischen Objekten gefüllt sind (wie chinesische Schriftzeichen, die sich sehr ähnlich sehen, oder Emojis, die in leicht unterschiedlichen Stilen gerendert wurden).
- Der Clou: In jedem Bild gibt es ein „Mehrheits“-Objekt (das normale) und ein paar „Ausnahmen“ (die seltsamen).
- Die Herausforderung: Die KI muss ein Spiel spielen, bei dem sich die Regeln jedes Mal ändern, aber das Bild gleich bleibt.
- Runde 1: Zähle alle seltsamen Objekte.
- Runde 2: Zähle nur die seltsamen Objekte innerhalb eines bestimmten Kastens.
- Runde 3: Klicke die seltsamen Objekte innerhalb dieses Kastens an.
- Runde 4: Klicke die seltsamen Objekte außerhalb dieses Kastens an.
Es ist wie ein Spiel von „Wo ist Waldo?“, bei dem sich die Regeln ändern von „Finde Waldo“ zu „Finde Waldo nur in der Küche“ zu „Berühre Waldo in der Küche“. Das Bild ändert sich nicht, aber die Anweisungen an die KI tun es.
3. Die Ergebnisse: Die „Zählen vs. Klicken“-Lücke
Die Ergebnisse waren überraschend:
- Menschen: Fast perfekt. Wenn man einem Menschen das Gitter zeigen würde und ihn bitten würde zu zählen, und ihn dann bitten würde zu klicken, könnte er beides mit einer Genauigkeit von fast 100 % bewältigen.
- KI-Modelle: Sie konnten meistens korrekt zählen (Wahrnehmung). Aber als sie gebeten wurden, die spezifischen Stellen anzuklicken (Aktion), scheiterten sie oft.
- Beispiel: Ein Modell könnte korrekt sagen: „Es gibt 3 seltsame Aufkleber.“ Aber wenn es gebeten wird, die in der oberen linken Ecke anzuklicken, klickt es vielleicht 3 Aufkleber an, einschließlich eines, der eigentlich außerhalb der Ecke liegt, oder es klickt die falschen 3 an.
Das Papier zeigt, dass zu wissen, was die Antwort ist, nicht dasselbe ist wie die Fähigkeit, die Antwort auszuführen. Die KI bleibt „stecken“ beim globalen Bild und vergisst, die lokale Regel (wie den spezifischen Kasten oder die Ausschlusszone) anzuwenden.
4. Warum passiert das?
Die Forscher sind der Frage nachgegangen, warum die KI scheitert. Es liegt nicht nur daran, dass die KI schlecht in Mathe ist oder die Pixel nicht sehen kann.
- Es ist kein Formatierungsfehler: Die KI schreibt nicht einfach nur die falschen Wörter. Sie wählt tatsächlich die falschen Koordinaten aus.
- Es ist ein „Kontext“-Problem: Die KI hat Schwierigkeiten, ein globales Verständnis („Ich sehe 3 seltsame Dinge“) zu gewinnen und es für einen spezifischen Kontext neu zu kalibrieren („Aber ich möchte nur die in diesem blauen Kasten“).
- Das „Anchoring“-Versagen (Verankerung): Manchmal ist die KI an die Gesamtzahl „verankert“. Wenn sie sieht, dass es insgesamt 3 seltsame Dinge gibt, und man sie nach den Dingen in einem Kasten fragt, versucht sie vielleicht immer noch, 3 Dinge anzuklicken, selbst wenn nur 2 in dem Kasten sind. Sie kann die ursprüngliche Zahl nicht loslassen.
5. Das Fazlement
Das Papier kommt zu dem Schluss, dass KIs zwar sehr gut darin werden, die Welt zu sehen und zu beschreiben, aber immer noch Schwierigkeiten haben, in der Welt mit Präzision zu handeln, wenn sich die Regeln ändern.
Denken Sie an einen Fahrer, der exzellent darin ist, ein rotes Licht aus einer Meile Entfernung zu erkennen (Wahrnehmung), aber Schwierigkeiten hat, genau in dem Moment zu bremsen, wenn das Licht rot wird, besonders wenn andere Autos oder Schilder die Sicht verwirren (Aktion).
Der ROSE-Benchmark ist ein neues Werkzeug, das genau dazu dient, diese Lücke zu messen. Er hilft Forschern zu sehen, dass eine KI, um in realen Aufgaben wirklich nützlich zu sein (wie das Klicken auf Schaltflächen auf einem Bildschirm oder das Navigieren in einem Raum), besser darin werden muss, das, was sie sieht, in den exakt richtigen Schritt für die aktuelle Situation zu verwandeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.