The Cartesian Shortcut: Re-evaluate Vision Reasoning in Polar Coordinate Space
Dieser Beitrag stellt Polaris-Bench vor, einen Benchmark, der visuelle推理-Aufgaben in Polarkoordinaten neu formuliert, um die Anfälligkeit für den „kartesischen Shortcut" in aktuellen multimodalen großen Sprachmodellen aufzudecken und zu zeigen, dass deren hohe Leistung auf herkömmlichen gitterbasierten Benchmarks darauf zurückzuführen ist, dass sie textuelle Koordinatenmuster ausnutzen, anstatt auf einer robusten, topologie-invarianten visuellen Verständigung zu beruhen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Sehen KI-Modelle wirklich „hin", oder lesen sie nur?
Stellen Sie sich vor, Sie schreiben einen Mathe-Test. In einer Version sind die Zahlen in einem ordentlichen, quadratischen Raster angeordnet (wie in einer Tabellenkalkulation). In der anderen Version sind die Zahlen kreisförmig angeordnet, wie Pizzastücke.
Die Forscher von Google DeepMind und der Stanford University haben herausgefunden, dass die weltweit intelligentesten KI-Vision-Modelle wie Schüler sind, die einen Trick für das quadratische Raster auswendig gelernt haben, aber die Mathematik eigentlich nicht verstehen. Wenn Sie den Test in die Pizzaf orm umwandeln, scheitern sie kläglich.
Sie nennen diesen Trick den „kartesischen Shortcut".
Der „kartesische Shortcut" erklärt
Die meisten visuellen Reasoning-Tests für KI verwenden kartesische Koordinaten. Das ist nur eine ausgefallene Bezeichnung für „Zeilen und Spalten" (wie auf einem Schachbrett oder in einer Tabellenkalkulation).
- Zeile 1, Spalte 2.
- Zeile 3, Spalte 5.
Das Paper stellte fest, dass KI-Modelle, wenn sie diese quadratischen Raster betrachten, das Bild nicht wirklich „sehen". Stattdessen wandeln sie das Bild in ihrem „Gehirn" (ihrem Chain-of-Thought) schnell in eine Liste von Textkoordinaten um. Sie hören auf, die visuellen Formen zu betrachten, und beginnen, das Problem mit Textlogik zu lösen, wie ein Mensch, der eine Karte liest.
Die Analogie:
Stellen Sie sich eine KI vor, die einen Test auf einem quadratischen Raster macht, wie eine Person, die ein Labyrinth löst, indem sie eine Liste von Anweisungen liest: „Gehen Sie 3 Schritte nach unten, drehen Sie sich nach rechts, gehen Sie 2 Schritte." Sie visualisieren das Labyrinth nicht; sie folgen einfach den Textanweisungen.
Das Experiment: Der „Pizza"-Test
Um zu beweisen, dass die KI bei diesem Texttrick schummelt, erstellten die Forscher einen neuen Benchmark namens Polaris-Bench.
Sie nahmen 53 verschiedene visuelle Rätsel (wie Sudoku, Labyrinthe und Mustererkennung) und verwandelten sie von quadratischen Rastern in Polarkoordinaten.
- Polarkoordinaten sind wie ein Dartbrett oder eine Pizza. Anstelle von „Zeilen und Spalten" haben Sie Ringe (Entfernung vom Zentrum) und Stücke (Winkel).
Das Ergebnis:
- Auf dem quadratischen Raster (Kartesisch): Die besten KI-Modelle erzielten extrem hohe Punktzahlen (70 % bis 83 %). Sie wirkten wie Genies.
- Auf dem Pizzaraster (Polarkoordinaten): Die Punktzahlen brachen ein. Dieselben Modelle fielen auf 31 % bis 39 %.
Es ist, als würde der Schüler, der den Mathe-Test gemeistert hatte, als die Zahlen in einer Tabellenkalkulation standen, denselben Mathe-Test plötzlich kläglich bestehen, als die Zahlen in einem Kreis geschrieben waren.
Warum ist das passiert?
Die Forscher argumentieren, dass die KI-Modelle nicht deshalb scheitern, weil die Pizzaf orm „schwieriger" ist. Die Logik des Rätsels ist exakt dieselbe. Sie scheitern, weil:
- Sie sich auf das Raster verlassen: Die Modelle haben gelernt, quadratische Bilder in Textlisten umzuwandeln (Zeile 1, Spalte 2), um Probleme zu lösen.
- Sie das Gleiche mit Kreisen nicht können: Wenn das Bild ein Kreis ist, kann die KI es nicht einfach in eine einfache „Zeilen-/Spalten"-Textliste umwandeln. Der „Shortcut" ist kaputt.
- Sie die Topologie nicht „sehen" können: Den Modellen fehlt eine topologieinvariante Reasoning-Fähigkeit. Das ist eine ausgefallene Bezeichnung dafür, dass sie nicht verstehen können, dass ein quadratisches Raster und ein kreisförmiges Raster nur zwei verschiedene Arten sind, dieselbe Karte zu zeichnen. Sie stecken in der spezifischen Form des Rasters fest.
Wichtige Erkenntnisse in einfachen Worten
- Der „Text"-Krummstock: Die KI-Modelle nutzten stark textbasierte Deduktion, um visuelle Probleme zu lösen. Wenn das visuelle Layout sich in etwas veränderte, das nicht in eine Textliste passte, verloren die Modelle die Orientierung.
- Nachdenken hilft nicht: Selbst wenn die Forscher der KI sagten, sie solle „intensiver nachdenken" (unter Verwendung eines High-Reasoning-Modus), löste das das Problem nicht. Die KI dachte nur mehr über das Falsche nach (die Rasterstruktur), anstatt das Bild tatsächlich zu verstehen.
- Es ist ein universelles Problem: Dies war nicht nur ein Problem für ein bestimmtes KI-Modell. Sie testeten 14 verschiedene State-of-the-Art-Modelle (von Google, OpenAI, Anthropic und anderen), und alle fielen auf denselben Trick herein.
- Die „Labyrinth"-Ausnahme: Das Paper erwähnte eine interessante Ausnahme: Wenn in einem Labyrinth Zahlen in den Räumen stehen (wie „Raum 1, Raum 2"), macht die KI auch in der kreisförmigen Version gute Arbeit. Warum? Weil die Zahlen einen neuen „Text-Shortcut" darstellen. Die KI ignoriert die Form und folgt einfach den Zahlen. Aber wenn das Labyrinth keine Zahlen hat, scheitert die KI.
Das Fazit
Das Paper kommt zu dem Schluss, dass aktuelle KI-Modelle nicht so gut im visuellen Reasoning sind, wie wir dachten. Ihre hohen Punktzahlen bei Standardtests sind eine Illusion, die dadurch entsteht, dass diese Tests quadratische Raster verwenden. Die Modelle nutzen die Rasterstruktur aus, um zu schummeln, anstatt die visuelle Welt wirklich zu verstehen.
Um wirklich intelligente KI zu entwickeln, müssen wir aufhören, sie auf quadratischen Rastern zu testen, und anfangen, sie auf Formen zu testen, die sie zwingen, tatsächlich zu „sehen" und zu reasoning, anstatt nur Koordinaten zu lesen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.