On the Out-of-Distribution Generalization of Reasoning in Multimodal LLMs for Simple Visual Planning Tasks

Die Studie zeigt, dass Chain-of-Thought-Methoden zwar die In-Distribution-Generalisierung multimodaler LLMs bei einfachen visuellen Planungsaufgaben verbessern, die Out-of-Distribution-Generalisierung jedoch begrenzt bleibt, wobei textbasierte Modelle und hybride Textformate für die Reasoning-Traces die besten Ergebnisse erzielen.

Das Wesentliche

Das große Problem: Der "Bürokraten"-Effekt bei KI

Stell dir vor, du hast einen sehr schlauen KI-Assistenten, der wie ein genialer Schüler ist. Wenn du ihm eine Aufgabe gibst, die er in der Schule schon tausendmal geübt hat (z. B. einen Weg durch ein kleines Labyrinth zu finden), ist er super. Er findet den Weg fast immer.

Aber das Problem ist: Dieser Schüler hat nicht wirklich verstanden, wie man durch ein Labyrinth läuft. Er hat sich nur die Muster der alten Aufgaben gemerkt. Wenn du ihn nun vor ein riesiges, neues Labyrinth stellst, das er noch nie gesehen hat, kommt er völlig durcheinander. Er versucht, die alten Muster auf die neue Situation anzuwenden, und scheitert kläglich.

Die Forscher wollen herausfinden: Können wir diesen KI-Schüler so trainieren, dass er wirklich denkt und nicht nur auswendig lernt?

Der Test: Das "Eissee"-Labyrinth

Um das zu testen, haben die Forscher ein einfaches Spiel namens FrozenLake (Eissee) benutzt.

• Die Aufgabe: Ein Spieler muss über ein Gitter aus Eisstücken laufen, um einen Schatz zu finden. Manche Felder sind Löcher (Eis bricht), in die man nicht fallen darf.
• Der Clou: Die Forscher haben das Spiel so gebaut, dass sie die Schwierigkeit genau steuern können. Sie können das Labyrinth größer machen oder den Schatz weiter weg setzen. Das ist wie beim Lernen: Erst übt man kleine Aufgaben, dann prüft man, ob der Schüler auch die großen, neuen Aufgaben schafft.

Die Entdeckung: Es kommt auf die "Sprache" an

Die Forscher haben verschiedene Methoden ausprobiert, um dem KI-Modell beizubringen, wie es "nachdenkt" (dieses Nachdenken nennt man im Fachjargon Chain-of-Thought oder "Gedankenkette").

Stell dir vor, du musst jemandem den Weg durch ein Labyrinth erklären. Wie machst du das?

1. Nur Bilder: Du zeigst nur Fotos vom Labyrinth.
   • Ergebnis: Die KI kommt damit nicht gut zurecht. Sie wirkt wie jemand, der versucht, eine Landkarte zu lesen, aber die Symbole nicht versteht.
2. Nur Text: Du schreibst nur Sätze wie "Gehe nach links, dann nach oben".
   • Ergebnis: Besser, aber bei sehr großen Labyrinthen vergisst die KI oft, wo sie gerade ist.
3. Die Mischung (Der Gewinner): Du kombinierst beides! Du schreibst einen Satz, der erklärt, warum du einen Schritt machst ("Ich gehe nach rechts, weil links ein Loch ist"), und zeigst gleichzeitig eine kleine, klare Skizze (ein Raster/Gitter), wie das Labyrinth nach diesem Schritt aussieht.
   • Ergebnis: Boom! Das ist der Durchbruch. Diese KI konnte sogar Labyrinthe lösen, die doppelt so groß waren wie alles, was sie vorher gesehen hatte.

Die Metapher: Der Architekt vs. der Maler

Man könnte sagen:

• Die KI, die nur mit Bilder arbeitet, ist wie ein Maler, der versucht, ein Haus zu bauen, indem er nur Bilder von Häusern anschaut. Er weiß nicht, wie die Steine zusammenpassen.
• Die KI mit der Text-Beschreibung ist wie ein Architekt, der Pläne liest, aber manchmal vergisst, wie die Wände nach dem nächsten Schritt aussehen.
• Die kombinierte Methode (Text + Raster) ist wie ein Baumeister, der sagt: "Ich baue jetzt hier eine Wand" (Text) und zeigt dir sofort den neuen Grundriss (Raster). Er behält den Überblick, auch wenn das Haus riesig wird.

Was bedeutet das für die Zukunft?

Die Studie zeigt zwei wichtige Dinge:

1. KI lernt oft nur auswendig: Wenn wir KI-Modelle nur mit Bildern füttern oder sie nur einfache Anweisungen geben, lernen sie oft nur die Muster der Trainingsdaten. Sie sind nicht wirklich "intelligent" im Sinne von logischem Denken.
2. Die Form ist entscheidend: Wie wir Informationen präsentieren, ist genauso wichtig wie die Informationen selbst. Wenn wir KI-Modellen helfen, ihre Gedanken strukturiert (wie ein Raster) und begründet (wie ein Text) zu formulieren, werden sie viel besser darin, neue, unbekannte Probleme zu lösen.

Zusammenfassend: Um KI wirklich schlau zu machen, reicht es nicht, ihr mehr Daten zu geben. Wir müssen ihr beibringen, wie sie denkt. Und das beste Werkzeug dafür ist eine Mischung aus klaren Erklärungen und strukturierten Übersichten – genau wie ein guter Lehrer, der einem Schüler nicht nur die Lösung zeigt, sondern den Weg dorthin Schritt für Schritt erklärt und skizziert.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert das unzureichende Verständnis der Out-of-Distribution (OOD) Generalisierung von Chain-of-Thought (CoT) Reasoning in großen Sprachmodellen (LLMs) und multimodalen Modellen (LVLMs). Obwohl CoT die Leistung bei komplexen Aufgaben im In-Distribution (ID) Bereich verbessert, ist unklar, ob Modelle echte algorithmische Fähigkeiten erlernen oder lediglich statistische Muster der Trainingsdaten memorisieren.

Als Testumgebung dient die FROZENLAKE-Aufgabe: Ein Agent muss auf einem Raster (Grid) von einem Startpunkt zu einem Ziel navigieren und dabei Hindernisse (Seen/Löcher) vermeiden.

• Herausforderung: Selbst kleine Karten sind für State-of-the-Art-LLMs ohne Feinabstimmung schwierig.
• Ziel: Unterscheidung zwischen echtem algorithmischem Lernen und bloßer Mustererkennung durch systematische Tests unter OOD-Bedingungen (z. B. größere Karten, größere Distanzen zwischen Start und Ziel).

2. Methodik

Die Autoren entwickelten ein kontrolliertes Evaluierungsframework, das es erlaubt, Eingabeformate und Reasoning-Strategien unabhängig voneinander zu variieren.

• Datensatz & Aufgaben:

  • Training auf Karten bis 6x6.
  • OOD-Tests auf Karten bis 10x10 und mit Start-Ziel-Distanzen ($d_\infty$), die im Training nicht vorkamen.
  • Drei Dimensionen der OOD-Prüfung: Kartengröße, Start-Ziel-Distanz und Länge der optimalen Lösung.

• Eingabeformate (Input):

  • Bild: Visuelle Darstellung des Labyrinths.
  • Text: Beschreibungen, Tabellen (Markdown-ähnlich) und ASCII-Grids.
  • Hinweis: Das Paper führt ein kompaktes ASCII-Grid-Format ein, das weniger Tokens benötigt als unstrukturierte Beschreibungen.

• Reasoning-Traces (CoT-Formate):

  • Kein CoT: Nur direkte Antwort.
  • Beschreibung (Description): Natürlichsprachliche Begründung des nächsten Schritts.
  • Tabelle/Grid: Visuelle Darstellung des Kartenzustands nach dem nächsten Zug.
  • Kombiniert: Eine Kombination aus natürlicher Sprache (Beschreibung) und einer strukturierten Darstellung (Grid oder Tabelle) des neuen Zustands.

• Modell:

  • Basismodell: Qwen2.5-VL-7B-Instruct.
  • Training: Supervised Fine-Tuning (SFT) über 10 Epochen mit verschiedenen Kombinationen aus Eingabe- und CoT-Formaten.

3. Wichtige Beiträge

1. Evaluierungsframework: Schaffung eines standardisierten Benchmarks, der ID- und OOD-Generalisierung für einfache visuelle Planungsaufgaben rigoros trennt.
2. Format-Abhängigkeit der Generalisierung: Nachweis, dass die Generalisierungsfähigkeit stark vom Format der Reasoning-Traces abhängt.
3. Überlegenheit von Text-basierten Ansätzen: Entgegen der Intuition schneiden rein textbasierte Modelle (mit Grid/Tabellen-Eingabe) besser ab als multimodale Modelle mit Bild-Eingabe.
4. Optimale CoT-Strategie: Identifikation, dass kombinierte Reasoning-Traces (natürliche Sprache + strukturierte Kartenansicht) die beste OOD-Generalisierung ermöglichen.

4. Ergebnisse

• In-Distribution (ID) Leistung:

  • CoT verbessert die Leistung im Vergleich zu reinem SFT (ohne CoT) signifikant.
  • Textbasierte Eingaben (Grid/Tabellen) übertreffen Bild-Eingaben konsistent.
  • Die beste ID-Leistung (91% Genauigkeit) wird mit Grid/Table-Eingabe + Grid/Table + Description CoT erreicht.

• Out-of-Distribution (OOD) Leistung:

  • Allgemeines Versagen: Die meisten Modelle scheitern bei größeren Karten (7x7 bis 10x10) oder größeren Distanzen, sobald die Trainingsverteilung verlassen wird. Die Genauigkeit fällt oft auf nahe 0%.
  • Der Durchbruch: Nur Modelle, die Grid- oder Tabelleneingaben mit kombinierten CoT-Traces (Grid + Description) verwenden, zeigen nicht-triviale OOD-Generalisierung.
    • Diese Modelle erreichen bis zu 41% Genauigkeit auf Karten mit $d_\infty \ge 6$ und behalten bis zu 20% Genauigkeit auf 10x10-Karten bei.
    • Reine Bild-Eingaben oder reine Textbeschreibungen ohne strukturierte Kartenansicht versagen bei OOD-Bedingungen fast vollständig.

• Vergleich mit anderen Methoden:

  • Mirage (Yang et al., 2025): Das Paper vergleicht ihre Ergebnisse mit „Mirage", das latente Raum-Reasoning (kontinuierliche Bilder) verwendet. Die Autoren zeigen, dass ihr einfacherer Ansatz (SFT ohne CoT oder mit Description-CoT) bereits besser abschneidet als Mirage Direct. Die kontinuierliche Reasoning-Methode von Mirage bringt in diesem Szenario keinen Vorteil.
  • Spezialisierte Modelle: Die Leistung ihrer Modelle (91% ID) entspricht oder übertrifft spezialisierte Vision-only-Modelle, die mit Reinforcement Learning trainiert wurden, obwohl sie nur ein allgemeines Multimodal-Modell (Qwen) verwenden.

• Analyse der Reasoning-Länge:

  • Kombinierte Formate erzeugen längere Ausgaben, aber die Länge korreliert nicht direkt mit besserer Leistung. Das kompakte Grid-Format ist effizienter als große Tabellen.

5. Bedeutung und Schlussfolgerung

Das Paper liefert starke Evidenz dafür, dass aktuelle Reasoning-Modelle oft nur Mustererkennung betreiben und keine robusten algorithmischen Lösungen lernen, wenn sie auf OOD-Daten getestet werden.

• Kerninsight: Die Fähigkeit zur Generalisierung hängt weniger von der bloßen Existenz von CoT ab, sondern entscheidend von der Darstellungsform (Format).
• Empfehlung: Die Kombination aus natürlichsprachlicher Begründung (für die logische Planung) und einer strukturierten visuellen Repräsentation (Grid/Tabellen für den Zustand) ist der Schlüssel zur Überwindung von OOD-Hürden bei Planungsaufgaben.
• Zukunft: Dies eröffnet neue Forschungsrichtungen, wie multimodale Modelle durch gezielte Datenformate trainiert werden können, um echte algorithmische Fähigkeiten zu erlernen, anstatt nur Trainingsdaten zu memorieren. Das vorgestellte Framework dient als wichtiger Benchmark für zukünftige Modelle.