Technische Zusammenfassung: Isomorphie der Treffzeit für Mehrstufige Planung mit Fundamentalen Politiken

Problemstellung

Der Artikel adressiert die Herausforderung des offline zielbasierten Reinforcement Learning (RL) für das Lernen fundamentaler Politiken. Das Ziel besteht darin, eine wiederverwendbare, zielagnostische Politik aus einem statischen Datensatz von Trajektorien zu erlernen, die sich in einer Zero-Shot-Manier auf eine offene Menge von Zielen verallgemeinern lässt.

Bestehende Ansätze für das Offline-Lernen von Zustandsrepräsentationen lassen sich in drei Kategorien einteilen, die jeweils kritische Einschränkungen für die Mehrstufige Planung aufweisen:

1. Methoden der Sukzessivmaße: Obwohl unüberwacht, erfüllen sie häufig die Dreiecksungleichung nicht, was die Komposition von Distanzen über Zwischen-Zwischenziele hinweg verhindert.
2. Erreichbarkeitsdistanz-Methoden: Diese verhängen oft metrische oder Quasimetrik-Strukturen, verlassen sich jedoch auf zielbasierte Überwachung für das Politiktraining, was die Anforderung der Zielagnostizität für fundamentale Politiken verletzt.
3. Treffzeit-Methoden: Diese erfüllen die Dreiecksungleichung und unterstützen unüberwachtes Training, verlassen sich jedoch typischerweise auf symmetrische euklidische Distanzen. Dies versagt darin, die gerichtete, irreversible zeitliche Geometrie realer Umgebungen zu erfassen, was zu suboptimaler Planung führt, bei der Routen durch Zwischenziele führen, die in der erforderlichen Richtung nicht erreichbar sind.

Die Autoren identifizieren das fehlende Primitive als gerichtete zeitliche Geometrie, gemessen in diskreten Übergangsschritten. Sie schlagen die erwartete Treffzeit als die fundamentale Größe vor, die wiederhergestellt werden muss, mit dem Ziel, eine Repräsentation zu erlernen, in der Treffzeiten lineare Funktionale latenter Verschiebungen sind und sowohl Richtung als auch Skalierung bewahren.

Methodik: Isomorphe Einbettungslernung (IEL)

Der Kernbeitrag ist ein neues operatortheoretisches Framework und der Algorithmus zur Isomorphen Einbettungslernung (IEL).

1. Theoretisches Framework: Isomorphie der Treffzeit

Die Autoren formalisieren die Umgebung als Gesteuerten Markov-Prozess (CMP) innerhalb eines Hilbertraums. Sie definieren einen $\epsilon$-ausreichenden CMP, bei dem die Übergangsdynamiken in einem latenten Merkmalsraum $\phi$ annähernd linear sind.

• Lineare Repräsentation von Treffzeiten: Unter der Bedingung, dass die latenten Dynamiken linear abgeschlossen sind und eine spezifische adjungierte Bereichsbedingung erfüllt ist, gestattet die erwartete Treffzeit $V^\pi(x, g)$ vom Zustand $x$ zum Ziel $g$ eine exakte lineare Darstellung:
  $$V^\pi(x, g) = \langle \phi(g) - \phi(x), \omega^\pi_g \rangle_H$$
  Hierbei ist $\omega^\pi_g$ ein Vektor zur Aufgabenidentifikation im Hilbertraum. Dies beweist, dass Treffzeit-Funktionale bis auf einen beschränkten linearen Isomorphismus äquivalent zu latenten Verschiebungen sind.
• Identifizierbarkeit: Der Artikel beweist, dass jede Repräsentation, die diese Treffzeit-Geometrie wiederherstellt, bis auf eine beschränkte lineare Koordinatentransformation eindeutig identifizierbar ist (Satz 2.3). Dies stellt sicher, dass die erlernte Geometrie die wahre gerichtete zeitliche Struktur der Umgebung widerspiegelt und nicht ein beliebiges Koordinatensystem.
• Fehlerschranken: Die theoretische Analyse zeigt, dass der globale Treffzeitfehler durch den Ein-Schritt-latenten Übergangsfehler begrenzt ist, der durch den transienten Spektralradius der Umgebung verstärkt wird (Satz 3.3). Finite-Stichproben-Garantien zerlegen den Fehler in Approximations-, statistische Komplexitäts-, Abdeckungs- und Trajektorien-Label-Mismatch-Terme (Satz 3.5).

2. Der IEL-Algorithmus

IEL setzt diese Theorie durch vier Komponenten um:

1. Lernen von Aufgabenidentifikatoren: Ein kontrastiver Lernansatz (InfoNCE-Verlust) lernt eine Abbildung $\omega_\psi(g)$, die einen Zielzustand in einen Aufgabenidentifikator transformiert. Dies etabliert die gerichtete Achse im latenten Raum und ermöglicht asymmetrische Treffzeitberechnungen.
2. Treffzeit-Regression: Der Algorithmus stichprobt Zwischenpunkte aus Offline-Trajektorien und führt eine Expectile-Regression durch, um Fortschritte der Treffzeit vorherzusagen. Dies verzerrt die Geometrie zugunsten kürzerer, in-Verteilung liegender Distanzen.
3. Temporal-Difference (TD)-Lernen: Um die Knappheit von Daten mit langem Horizont zu bewältigen, überbrückt IEL die Treffzeitformel mit HILP-artigen Zielen. Es führt eine gerichtete Verzerrung durch eine Transformation ein:
   $$V^\pi(x, g) \approx \|\phi(g) - \phi(x)\| \exp(\beta(1 - \cos(\xi_{x \to g, g})))$$
   wobei $\xi$ der Winkel zwischen der Einbettungsdifferenz und dem Aufgabenidentifikator ist. Dies bestraft Winkelabweichungen und wirkt als weiche gerichtete Einschränkung, die in symmetrischen Methoden fehlt.
4. Graphbasierte Mehrstufige Planung: Zum Testzeitpunkt konstruiert IEL einen gerichteten Graphen über einen Coresatz latenter Zustände. Kantenkosten werden durch die erlernte asymmetrische Treffzeit-Score definiert. Die Navigation erfolgt mittels Single-Source Shortest Path (SSSP)-Suche auf dem umgekehrten Graphen, wodurch lokale zeitliche Vorhersagen in globale Zero-Shot-Navigationspläne umgewandelt werden.

Hauptbeiträge

• Theoretisch: Beweis der Existenz und Identifizierbarkeit einer verschiebungslinearen Repräsentation für Treffzeiten in ausreichenden CMPs, wodurch eine rigorose Verbindung zwischen Operatortheorie und Treffzeit-Funkionalen hergestellt wird.
• Algorithmisch: Einführung von IEL, dem ersten Algorithmus zum Lernen fundamentaler Politiken, der gleichzeitig unüberwachtes Politiktraining, gerichtete Distanz und die Dreiecksungleichung erfüllt.
• Praktisch: Demonstration, dass die Integration gerichteter Asymmetrie in die Einbettungsgeometrie die Fähigkeiten zur Mehrstufigen Planung im Vergleich zu symmetrischen Baselines signifikant verbessert.

Experimentelle Ergebnisse

Die Autoren evaluieren IEL an sechs Offline-Ziel-basierten RL-Benchmarks aus dem D4RL-Datensatz (AntMaze- und Kitchen-Suiten).

• Baselines: Vergleiche werden mit HILP (der primären Baseline für fundamentale Politiken), GC-IQL und GC-CQL durchgeführt.
• Leistung:
  • IEL mit asymmetrischer Graphplanung erzielt State-of-the-Art-Ergebnisse und übertrifft HILP sowie die rekursive Midpoint-Planung in Umgebungen wie antmaze-ultra-diverse (79,0 vs. 39,8) und antmaze-large-diverse (71,8 vs. 68,0) signifikant.
  • Selbst die symmetrische Variante von IEL (unter Verwendung symmetrischer Distanzen, aber derselben Graphplanung) übertrifft oft die rekursive Midpoint-Strategie von HILP, was die Wirksamkeit des graphbasierten Planungsmechanismus an sich validiert.
  • Die asymmetrische Variante liefert in vier von sechs Umgebungen weitere Gewinne und bestätigt die Notwendigkeit gerichteter Geometrie für komplexe Navigation.
• Effizienz: Die Trainingskosten von IEL sind mit denen von HILP vergleichbar. Die asymmetrische Graphplanung läuft mit Geschwindigkeiten, die mit der rekursiven Midpoint-Planung vergleichbar sind, während die symmetrische Variante aufgrund der Wiederverwendbarkeit des Graphen etwa dreimal schneller ist.

Bedeutung und Behauptungen

Der Artikel behauptet, dass IEL das erste Framework bietet, das die drei kritischen Fähigkeiten erfüllt, die für fundamentale Politiken in der Mehrstufigen Planung erforderlich sind: unüberwachtes Training, gerichtete Distanz und die Dreiecksungleichung.

Die Autoren argumentieren, dass durch den Ersatz symmetrischer Distanz-Heuristiken durch eine gerichtete zeitliche Geometrie, die in der Operatortheorie verankert ist, Agenten komplexe, irreversible Umgebungen mit nachweisbarer Effizienz navigieren können. Sie gehen davon aus, dass diese Arbeit eine mathematische Grundlage für den Übergang der Vision-Language-Action (VLA)-Forschung von der Abhängigkeit vom Imitationslernen hin zum belohnungsbasierten Politiklernen bietet, was potenziell autonomere und vertrauenswürdige Allzweck-Roboter ermöglicht. Das Framework wird als rigorose Alternative zu distanzbasierten Modellen präsentiert, die keine Garantien für globale Konsistenz bieten.