🤖 AI

When to Re-Commit: Temporal Abstraction Discovery for Long-Horizon Vision-Language Reasoning

Dieser Beitrag stellt einen lernbaren, zustandsabhängigen Commitment-Tiefenmechanismus innerhalb einer Vision-Sprache-Richtlinie vor, der dynamisch bestimmt, wie viele primitive Aktionen vor einer Neuplanung auszuführen sind, und übertrifft damit signifikant Baseline-Modelle mit fester Tiefe sowie führende geschlossene Modelle bei Langzeit-Planungsaufgaben, indem er den Kompromiss zwischen Neuplanungskosten und Ausführungsfehler optimiert.

Ursprüngliche Autoren: Chen Li, Zhantao Yang, Fangyi Chen, Han Zhang, Anudeepsekhar Bolimera, Marios Savvides

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chen Li, Zhantao Yang, Fangyi Chen, Han Zhang, Anudeepsekhar Bolimera, Marios Savvides

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Das Dilemma „Zu viel, zu früh"

Stellen Sie sich vor, Sie versuchen, ein komplexes Puzzle zu lösen, wie ein Schiebepuzzle oder ein Sokoban-Spiel, bei dem Sie Kisten schieben müssen. Sie haben einen intelligenten KI-Assistenten (ein Vision-Language-Modell), der das Bild betrachtet und Ihnen sagt, was zu tun ist.

In der Vergangenheit arbeiteten diese KI-Assistenten auf sehr starre Weise. Sie mussten eine feste Anzahl von Schritten im Voraus planen, bevor sie erneut auf das Spielfeld schauten.

Wenn sie zu wenige Schritte planten (z. B. 1 Zug): Sie würden auf das Brett schauen, sagen „nach links", auf das Ergebnis warten, erneut schauen, sagen „nach rechts" und so weiter. Das ist sicher, aber langsam und ermüdend, da sie ständig „um Hilfe bitten" (neu planen) müssen.
Wenn sie zu viele Schritte planten (z. B. 8 Züge): Sie würden sagen: „Okay, ich gehe nach links, dann nach oben, dann nach rechts, dann nach unten..." und einfach alles ohne Kontrolle durchführen. Das ist schnell, aber wenn sie einen winzigen Fehler im Schritt 3 machen, könnten sie eine Kiste in eine Ecke schieben, wo sie für immer stecken bleibt, und sie würden es erst bemerken, wenn es zu spät ist.

Das Paper fragt: Warum muss die KI für das gesamte Spiel nur eine Zahl (wie 4) wählen? Warum kann sie nicht im laufenden Betrieb entscheiden, ob sie 1 Schritt oder 8 Schritte plant, je nachdem, wie knifflig die aktuelle Situation ist?

Die Lösung: Die Strategie der „Adaptiven Verpflichtung"

Die Forscher entwickelten eine neue Art von KI, die lernt, die Frage zu beantworten: „Wie tief sollte ich mich auf meinen Plan festlegen, bevor ich erneut auf das Brett schaue?"

Stellen Sie sich das wie Autofahren vor:

Auf einer geraden, leeren Autobahn (einfacher Zustand): Sie können sich darauf festlegen, 10 Minuten lang zu fahren, ohne Ihre Spiegel oder die Straße zu genau zu prüfen. Sie sind zuversichtlich, dass der Weg frei ist.
Beim Annähern an eine belebte Kreuzung mit Fußgängern (schwieriger Zustand): Sie verpflichten sich nur auf die nächsten 5 Sekunden. Sie müssen ständig schauen, reagieren und neu planen, weil die Situation gefährlich und unvorhersehbar ist.

Die KI des Papers lernt, dieser „intelligente Fahrer" zu sein. Sie verwendet keine feste Regel. Stattdessen betrachtet sie den aktuellen Puzzle-Zustand und entscheidet: „Dieser Teil ist einfach, ich verpflichte mich auf 4 Züge. Oh, dieser Teil ist knifflig, ich verpflichte mich nur auf 1 Zug und prüfe erneut."

Wie sie die KI beibrachten

Sie sagten der KI nicht einfach, sie solle dies tun; sie trainierten sie in einem zweistufigen Prozess:

Die „Hausaufgaben"-Phase (Supervised Fine-Tuning): Zuerst zeigten sie der KI Tausende von Beispielen, wie man diese Puzzles perfekt löst. Sie lehrten sie, wie man Züge unterschiedlicher Länge ausführt (1 Schritt, 2 Schritte, 4 Schritte usw.), damit sie wusste, wie man die Aktionen ausführt.
Die „Übungsspiel"-Phase (Reinforcement Learning): Dann ließen sie die KI das Spiel spielen. Jedes Mal, wenn sie ein Puzzle erfolgreich löste, erhielt sie einen „Goldstern" (Belohnung). Wenn sie stecken blieb oder Züge verschwendete, erhielt sie ein „Daumen runter". Mit der Zeit erkannte die KI: „Hey, wenn ich nahe am Ziel bin, sollte ich weniger Schritte planen, um sicher zu sein. Wenn ich weit entfernt bin, kann ich mehr Schritte planen, um schneller voranzukommen."

Die Ergebnisse: Die Riesen schlagen

Die Forscher testeten diese neue KI an zwei klassischen Puzzles: Schiebepuzzle und Sokoban.

Der Wettbewerb: Sie verglichen ihre KI mit:
- Älteren KIs, die bei einer festen Anzahl von Schritten blieben (wie immer 4 Züge planen).
- Den weltweit berühmtesten, massiven KI-Modellen (wie GPT-5.5, Claude Sonnet und Gemini), die einfach gebeten wurden, das Spiel zu spielen, ohne spezielle Ausbildung.
Das Ergebnis:
- Die massiven, berühmten KIs versagten völlig (0 % Erfolgsrate), wenn sie gebeten wurden, diese Puzzles ohne spezielle Ausbildung zu spielen. Sie waren von den Regeln zu verwirrt.
- Die „Feste-Schritt"-KIs waren okay, aber ineffizient.
- Die neue adaptive KI war die Gewinnerin. Sie löste die Puzzles öfter (höhere Erfolgsrate) und benötigte weniger Gesamtzüge (effizienter) als alle festen Schritt-Konkurrenten.

Obwohl ihre KI viel kleiner war (7 Milliarden Parameter) als die Riesenmodelle, performte sie besser, weil sie wusste, wann sie anhalten und erneut schauen musste.

Das „Warum" hinter dem Erfolg

Das Paper beweist mathematisch, dass eine feste Strategie immer suboptimal ist.

Die Analogie: Stellen Sie sich einen Wanderer vor. Wenn der Pfad flach und sonnig ist, kann er 10 Meilen laufen, ohne die Karte zu prüfen. Wenn der Pfad neblig und felsig ist, sollte er alle 100 Fuß die Karte prüfen.
Die Erkenntnis: Die „beste" Distanz, die man läuft, ohne die Karte zu prüfen, ändert sich je nach Gelände. Indem man die KI zwingt, in einem festen Intervall die Karte zu prüfen, verschwendet man entweder Zeit (zu häufiges Prüfen auf leichten Pfaden) oder verirrt man sich (nicht häufig genuges Prüfen auf schwierigen Pfaden). Die neue KI lernt, die Karte genau dann zu prüfen, wenn sie es braucht.

Zusammenfassung

Dieses Paper stellt eine intelligentere Methode vor, mit der KI lange Sequenzen von Aktionen plant. Anstatt blind einer starren Regel wie „plane 5 Schritte und stoppe dann" zu folgen, lernt die KI dynamisch zu entscheiden, wie lange sie sich auf einen Plan festlegen soll, basierend darauf, wie schwierig die aktuelle Situation ist. Dies macht sie schneller, genauer und deutlich besser darin, komplexe, langfristige Probleme zu lösen als frühere Methoden oder sogar massive, untrainierte KI-Modelle.

Technische Zusammenfassung: Wann neu zu verpflichten ist: Entdeckung zeitlicher Abstraktion für Vision-Language-Reasoning mit langem Horizont

Problemdefinition

Reasoning-Aufgaben mit langem Horizont (z. B. das Lösen komplexer Rätsel, das Navigieren in überfüllten Umgebungen) erfordern von Agenten, wiederholt Entscheidungen über Aktionen zu treffen, diese auszuführen, Ergebnisse zu beobachten und neu zu planen. Eine kritische Designentscheidung in diesen Systemen ist die Verpflichtungstiefe ( $h$ ): die Anzahl der primitiven Aktionen, die ein Agent offen-loop (ohne erneute Beobachtung der Umgebung) zwischen den Neuplanungsschritten ausführt.

Aktuelle Systeme fixieren $h$ typischerweise als handabgestimmten skalaren Hyperparameter. Dies erzeugt einen fundamentalen Zielkonflikt:

Kleines $h$ : Häufiges Neuplanen reduziert kumulative Ausführungsfehler, verursacht jedoch hohe Rechenkosten (mehr Vorwärtsdurchläufe) und Entscheidungs-Latenz.
Großes $h$ : Reduziert den Overhead durch Neuplanung, erhöht aber das Risiko kumulativer Fehler, da der imaginierte Zustand vom realisierten Zustand abweicht.

Die Arbeit argumentiert, dass ein festes $h$ suboptimal ist, da die lokal optimale Verpflichtungstiefe je nach aktuellem Zustand, Aufgabendynamik und verfügbarem Entscheidungsbudget variiert. Das Kernproblem wird als budgetbeschränkte Optimierung formuliert: Maximierung des Aufgabenerfolgs (Lösen des Rätsels) unter einer Obergrenze ( $K$ ) für die Anzahl der Entscheidungspunkte (Neuplanungen) pro Episode, wobei die Policy an jedem Entscheidungsschritt $k$ sowohl die Verpflichtungstiefe $h_k$ als auch die Aktionssequenz $a_k$ gemeinsam auswählen muss.

Methodik

Die Autoren schlagen eine einheitliche, modellnative Vision-Language-Model (VLM)-Policy vor, die lernt, die Verpflichtungstiefe adaptiv zu bestimmen.

1. Architektur

Die Policy basiert auf einem gemeinsamen Backbone (Qwen2.5-VL-7B) mit zwei unterschiedlichen Köpfen:

Tiefen-Kopf ( $\pi_h$ ): Ein kategorischer Kopf, der die Verpflichtungstiefe $h_k \in \{1, 2, 4, 8\}$ basierend auf der aktuellen Zustandsrepräsentation vorhersagt.
Aktions-Kopf ( $\pi_a$ ): Ein autoregressiver Decoder, der eine Sequenz primitiver Aktionen der Länge $h_k$ generiert, konditioniert auf den Zustand und die vorhergesagte Tiefe.
Open-Loop-Ausführung: Sobald $h_k$ und $a_k$ vorhergesagt sind, führt der Agent die Sequenz aus, ohne das VLM erneut abzufragen oder Zwischenzustände neu zu kodieren.

2. Trainingspipeline

Das Modell wird in einem zweistufigen Prozess trainiert:

Stufe 1: Supervised Fine-Tuning (SFT): Der Aktions-Kopf wird auf Daten „kontrafaktischer Makro-Aktionen" trainiert. Für jeden Zustand auf einer Experten-Trajektorie wird das Modell trainiert, Aktionspräfixe aller zulässigen Längen ( $h \in \{1, 2, 4, 8\}$ ) vorherzusagen. Entscheidend ist, dass der Tiefen-Kopf in dieser Stufe nicht trainiert wird; er bleibt untrainiert (flache Prior), um eine Verzerrung der Policy zugunsten einer bestimmten Tiefe vor dem Reinforcement Learning zu vermeiden.
Stufe 2: Reinforcement Learning (RL): Beide Köpfe werden gemeinsam mittels GRPO (Group Relative Policy Optimization) feinabgestimmt. Die Belohnungsfunktion kombiniert ein binäres Erfolgssignal (gelöst/nicht gelöst) mit einer dichten Belohnung basierend auf der Reduktion der optimalen Lösungsdistanz (abgeleitet von einem exakten Solver, der nur für das Training verwendet wird). Das Ziel ist es, die Policy zu ermutigen, die Tiefe zu wählen, die den Erfolg maximiert und gleichzeitig verschwendete Aktionen minimiert.

3. Theoretische Grundlage

Die Arbeit liefert ein theoretisches Modell, das zeigt, dass, wenn die lokal optimale Verpflichtungstiefe $h^*(s)$ über die Zustände hinweg variiert (was empirisch via einer Orakel-Verteilung verifiziert wurde), eine zustandskonditionierte adaptive Policy jede fest-tiefe Policy in Bezug auf den erwarteten Log-Erfolg strikt dominiert. Dies gilt, sofern der Fehler auf Verpflichtungsebene sublinear mit der Tiefe wächst.

Hauptbeiträge

Problemformulierung: Die Autoren formalisieren „Wann neu zu verpflichten ist" als ein budgetbeschränktes Optimierungsproblem und beweisen theoretisch, dass fest-tiefe Strategien suboptimal sind, sobald die optimale Tiefe über die Zustände hinweg variiert.
Einheitliche adaptive Policy: Sie führen eine einzelne VLM-Architektur mit einem lernbaren Tiefen-Kopf und Aktions-Kopf ein, die end-to-end ohne auxiliary Planner oder separate Tiefen-Prädiktoren trainiert wird.
Infrastruktur: Sie veröffentlichen eine Vision-Language-Rätsel-Umgebung mit einer solver-verankerten Datengenerierungspipeline für Sliding Puzzle und Sokoban, die eine kontrollierte Messung von Reasoning mit langem Horizont ermöglicht.

Experimentelle Ergebnisse

Die Methode wurde auf Sliding Puzzle und Sokoban evaluiert, zwei Aufgaben mit bekannten Dynamiken, aber variierenden Fehlercharakteristika (reversibel vs. irreversibel).

Pareto-Dominanz: Die adaptive Policy dominiert strikt jede nicht-degenerierte fest-tiefe Baseline ( $h \in \{1, 2, 4, 8\}$ $h \in {1, 2, 4, 8}$ ) im Pareto-Sinne. Sie erreicht höhere Lösraten mit weniger primitiven Aktionen pro Episode.
- Sliding Puzzle: 56,3 % Lösraten (vs. 43,8 % beste feste Tiefe) mit ca. 25 % weniger Aktionen.
- Sokoban: 35,9 % Lösraten (vs. 32,8 % beste feste Tiefe) mit ca. 25 % weniger Aktionen.
Vergleich mit Frontier-Modellen: Trotz Verwendung eines 7B-Parameter-Backbones übertrifft die feinabgestimmte adaptive Policy führende geschlossene Modelle (GPT-5.5, Claude Sonnet, Gemini 3.1 Pro) und übertrifft signifikant alle getesteten Open-Weight-VLMs (8B–78B), die in Zero-Shot-Szenarien 0 % erreichten.
Mechanismusanalyse:
- Zustandskonditionierung: Die Policy lernt, kürzere Verpflichtungen ( $h \approx 1-4$ ) in „rauschbehafteten" oder weit vom Ziel entfernten Zuständen zu nutzen, wo der Fortschritt unsicher ist, und längere Verpflichtungen ( $h \approx 6-8$ ) in „sauberen" Zuständen nahe dem Ziel.
- Effizienz: Die Verbesserung resultiert daraus, dass dieselben Instanzen über geradlinigere Trajektorien gelöst werden (weniger verschwendete oder rückwärts gerichtete Aktionen), nicht durch das Lösen einfacherer Instanzen.
- Robustheit: Die Leistungsgewinne bleiben über verschiedene Zufallssamen und Trainingsbudgets hinweg bestehen, und die Tiefenverteilung kollabiert nicht auf einen einzigen festen Wert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass zeitliche Abstraktion als dynamische, zustandskonditionierte Kontrollvariable und nicht als fester architektonischer Hyperparameter behandelt werden sollte.

Suboptimalität fester Tiefe: Die Arbeit zeigt, dass das manuelle Abstimmen einer einzigen Verpflichtungstiefe für Aufgaben mit langem Horizont unzureichend ist, bei denen Zustandsunsicherheit und Fehlerfortpflanzung erheblich variieren.
Lernbare Abstraktion: Indem die Entscheidung „Wann neu zu planen ist" als Teil der Policy selbst behandelt wird, lernt das Modell, die Kosten des Neuplanens gegen das Risiko kumulativer Fehler abzuwägen und erreicht überlegene Effizienz und Lösraten.
Generalisierbarkeit: Die Autoren schlagen vor, dass dieser Ansatz auf breitere Domänen des Reasoning mit langem Horizont anwendbar ist, wie z. B. Web-Agenten (Entscheidung, wie viele Schritte unternommen werden sollen, bevor eine Seite erneut gelesen wird) oder Code-Agenten (Entscheidung, wie viele Änderungen vorgenommen werden sollen, bevor der Puffer neu bewertet wird), obwohl ihre empirische Validierung derzeit auf Rätsel-Domänen beschränkt ist.

Die Arbeit schließt, dass die Fähigkeit zu lernen, wie lange man sich verpflichtet, ebenso kritisch ist wie zu lernen, wofür man sich verpflichtet, und einen Weg zu effizienteren und robusteren autonomen Agenten in komplexen Umgebungen bietet.