From Pixels to BFS: High Maze Accuracy Does Not Imply Visual Planning
Die Studie zeigt anhand des neu eingeführten \textsc{MazeBench}-Benchmarks, dass hohe Erfolgsquoten multimodaler Modelle bei visuellen Labyrinthaufgaben nicht auf echtes räumliches Planen hindeuten, sondern auf eine ineffiziente Strategie der Umwandlung von Bildern in Textgitter gefolgt von einer tokenbasierten Breitensuche (BFS) zurückzuführen sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Enttäuschung: Der kluge Roboter, der eigentlich nur zählt
Stell dir vor, du gibst einem sehr intelligenten Roboter ein Bild eines Labyrinths und sagst: „Finde den kürzesten Weg vom Start zum Schatz!"
Ein Mensch würde das Bild ansehen, mit den Augen den Weg abtasten und in wenigen Sekunden die Lösung finden. Es fühlt sich für uns natürlich an, wie ein Bild im Kopf zu sehen.
Die Studie von Alberto Rodriguez Salgado hat jedoch etwas Schockierendes herausgefunden: Die besten KI-Modelle (wie GPT-5.4 oder Gemini) lösen die Labyrinthe zwar oft richtig, aber auf eine völlig andere, viel ineffizientere Weise.
Die Analogie: Der Übersetzer und der Zähler
Stell dir die KI nicht als einen Menschen vor, der das Bild sieht, sondern als einen Übersetzer, der das Bild in eine Textliste verwandelt.
- Der erste Schritt (Der Übersetzer): Die KI schaut auf das Bild und versucht, jedes einzelne Pixel in Wörter zu verwandeln. Sie schreibt sich eine Tabelle auf: „Zeile 1: Wand, Weg, Wand... Zeile 2: Start, Weg, Wand...".
- Das Problem: Manche KIs (wie Claude) sind bei dieser Übersetzung schlecht. Sie schreiben die Tabelle falsch ab (z. B. eine 8x8-Tabelle als 10x10). Sie halluzinieren Wände, die gar nicht da sind, oder übersehen Lücken.
- Der zweite Schritt (Der Zähler): Sobald die Tabelle steht, beginnt die KI nicht, den Weg visuell zu sehen. Stattdessen fängt sie an, blind zu raten und zu zählen.
- Sie denkt: „Wenn ich nach rechts gehe, ist da eine Wand? Ja. Okay, dann probiere ich unten. Ist da eine Wand? Nein. Gut, ich gehe weiter. Jetzt rechts... oh, Wand. Zurück. Jetzt oben..."
- Sie probiert jeden einzelnen Schritt in Worten aus, bis sie den Weg findet. Das nennt man im Fachjargon „BFS" (Breitensuche), aber für uns ist es einfach brutales Ausprobieren.
Warum ist das ein Problem?
Stell dir vor, du musst einen Weg durch ein riesiges Labyrinth finden.
- Der Mensch: Schaut auf das Bild, sieht den Weg sofort und geht ihn. Das kostet kaum Energie.
- Die KI: Schreibt erst eine 50-seitige Liste aller Wände auf (das kostet viel Zeit und Speicherplatz). Dann fängt sie an, jeden möglichen Pfad Wort für Wort durchzugehen.
Die Ergebnisse der Studie:
- Die KI kann 91 % der Labyrinthe lösen (das klingt toll!).
- Aber dafür verbraucht sie tausende von „Gedanken-Tokens" (Stelle dir das wie Wörter in einem Notizbuch vor). Ein Mensch braucht dafür keine Notizen.
- Wenn das Labyrinth zu groß wird (z. B. 20x20), wird die Liste so lang, dass das Notizbuch voll ist. Die KI gibt auf, nicht weil sie den Weg nicht sieht, sondern weil ihr die Platz für ihre Gedanken ausgeht.
Die wichtigsten Erkenntnisse in Metaphern
Die „Falsche Landkarte":
Manche KIs (wie die Claude-Modelle) zeichnen die Landkarte so falsch, dass sie gar nicht erst anfangen können. Wenn man ihnen aber die richtige Landkarte (den Text statt des Bildes) gibt, werden sie plötzlich super gut. Das zeigt: Ihr Problem ist nicht das Denken, sondern das Sehen.Größe hilft nicht:
Man könnte denken: „Je größer und teurer das KI-Modell, desto besser kann es räumlich denken."
Falsch! Das größte Modell (Opus) war genauso schlecht wie das kleinste (Haiku). Größe bringt keine bessere räumliche Intelligenz mit sich. Sie sind alle nur besser im Ausprobieren, nicht im Verstehen.Der „Versteckte Denker":
Die Google-KI (Gemini) scheint auf den ersten Blick besser zu sein. Aber sie denkt im Verborgenen weiter. Sie rechnet im Hintergrund viel mehr nach, bevor sie antwortet. Sie ist effizienter im Ausprobieren, aber immer noch kein echter „Denker" wie ein Mensch.
Das Fazit: Ein falscher Eindruck
Die Studie warnt uns: Eine hohe Punktzahl in Tests bedeutet nicht, dass die KI wirklich versteht, wie die Welt funktioniert.
Die KIs sind wie Schüler, die eine Matheaufgabe lösen, indem sie jede Zahl einzeln addieren, anstatt die Formel zu verstehen. Sie kommen auf das richtige Ergebnis, aber der Weg dorthin ist extrem teuer, langsam und bricht zusammen, sobald die Aufgabe zu groß wird.
Kurz gesagt: Die KIs sind keine räumlichen Genies. Sie sind nur sehr fleißige Übersetzer und Zähler, die versuchen, ein Bild in Worte zu verwandeln und dann jedes Wort durchzuprobieren, bis sie Glück haben. Das ist nicht menschliches Denken – es ist nur sehr, sehr viel Rechnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.