Technische Samenvatting: Isomorfisme van Treftijden voor Meerstapsplanning met Fundamentele Beleidsregels

Probleemstelling

Het artikel behandelt de uitdaging van offline doelgerichte versterkende leerprocessen (RL) voor het leren van fundamentele beleidsregels. Het doel is om een herbruikbaar, doelovertredend beleidsregel te leren uit een statische dataset van trajecten die op een zero-shot manier kan generaliseren naar een open verzameling doelen.

Bestaande benaderingen voor offline representatieleren van toestanden vallen in drie categorieën, die elk kritieke beperkingen hebben voor meerstapsplanning:

1. Methoden voor Opvolgersmaat: Hoewel ze onbewaakt zijn, voldoen ze vaak niet aan de driehoeksongelijkheid, wat het combineren van afstanden over tussenliggende subdoelen verhindert.
2. Methoden voor Bereikbaarheidsafstand: Deze leggen vaak metriek- of kwasi-metriekstructuren op, maar vertrouwen op doelgerichte supervisie voor het trainen van beleidsregels, wat strijdig is met de eis van doelovertreding voor fundamentele beleidsregels.
3. Methoden voor Treftijden: Deze voldoen aan de driehoeksongelijkheid en ondersteunen onbewaakt trainen, maar vertrouwen doorgaans op symmetrische Euclidische afstanden. Dit faalt in het vastleggen van de gerichte, irreversibele temporele geometrie van realistische omgevingen, wat leidt tot suboptimale planning waarbij routes door subdoelen lopen die niet in de vereiste richting bereikbaar zijn.

De auteurs identificeren de ontbrekende primitief als gericht temporele geometrie gemeten in discrete overgangsstappen. Zij stellen de verwachte treftijd voor als de fundamentele grootheid die moet worden hersteld, met als doel een representatie te leren waarbij treftijden lineaire functionalen zijn van latente verplaatsingen, waarbij zowel richting als schaal behouden blijven.

Methodologie: Isomorf Inbeddingsleren (IEL)

De kernbijdrage is een nieuw operator-theoretisch raamwerk en het Isomorf Inbeddingsleren (IEL) algoritme.

1. Theoretisch Raamwerk: Isomorfisme van Treftijden

De auteurs formaliseren de omgeving als een Gestuurde Markov-proces (CMP) binnen een Hilbertruimte. Zij definiëren een $\epsilon$-Voldoende CMP waarbij overgangsdynamica ongeveer lineair zijn in een latente kenmerkruimte $\phi$.

• Lineaire Representatie van Treftijden: Onder de voorwaarde dat de latente dynamica lineair sluiten en aan een specifieke conditie voor het toegevoegde bereik wordt voldaan, staat de verwachte treftijd $V^\pi(x, g)$ van toestand $x$ naar doel $g$ een exacte lineaire representatie toe:
  $$V^\pi(x, g) = \langle \phi(g) - \phi(x), \omega^\pi_g \rangle_H$$
  Hierbij is $\omega^\pi_g$ een vector voor taakidentificatie in de Hilbertruimte. Dit bewijst dat treftijdfunctionalen equivalent zijn aan latente verplaatsingen tot op een begrensde lineaire isomorfisme.
• Identificeerbaarheid: Het artikel bewijst dat elke representatie die deze treftijd-geometrie herstelt, uniek identificeerbaar is tot op een begrensde lineaire verandering van coördinaten (Stelling 2.3). Dit zorgt ervoor dat de geleerde geometrie de ware gerichte temporele structuur van de omgeving weerspiegelt en niet een willekeurig coördinatenstelsel.
• Foutgrenzen: Theoretische analyse toont aan dat de globale treftijdfout wordt begrensd door de één-staps latente overgangsfout, versterkt door de transiënte spectrale straal van de omgeving (Stelling 3.3). Garantiën voor eindige steekproeven ontleden de fout in termen voor benadering, statistische complexiteit, dekking en mismatch tussen trajecten en labels (Stelling 3.5).

2. Het IEL-algoritme

IEL operationaliseert deze theorie via vier componenten:

1. Leren van Taakidentificatie: Een contrastieve leeraanpak (InfoNCE-verlies) leert een mapping $\omega_\psi(g)$ die een doeltoestand transformeert in een taakidentificatie. Dit vestigt de gerichte as in de latente ruimte, waardoor asymmetrische treftijdberekeningen mogelijk worden.
2. Regressie van Treftijden: Het algoritme steekt tussenliggende punten uit offline trajecten en voert expectile-regressie uit om voortgang in treftijden te voorspellen. Dit bevoordeelt de geometrie naar kortere, binnen-distributie afstanden.
3. Temporeel Verschil (TD) Leren: Om om te gaan met de schaarste aan data met lange horizon, verbindt IEL de treftijdformule met HILP-achtige doelstellingen. Het introduceert een gerichte bias via een transformatie:
   $$V^\pi(x, g) \approx \|\phi(g) - \phi(x)\| \exp(\beta(1 - \cos(\xi_{x \to g, g})))$$
   waarbij $\xi$ de hoek is tussen het verschil in inbedding en de taakidentificatie. Dit straalt hoekafwijkingen af, en fungeert als een zachte gerichte beperking die ontbreekt in symmetrische methoden.
4. Grafgebaseerde Meerstapsplanning: Tijdens de testfase construeert IEL een gerichte graaf over een coreset van latente toestanden. Kustkosten worden gedefinieerd door de geleerde asymmetrische treftijd-score. Navigatie wordt uitgevoerd via Single Source Shortest Path (SSSP)-zoekopdracht op de omgekeerde graaf, waardoor lokale temporele voorspellingen worden omgezet in globale zero-shot navigatieplannen.

Belangrijkste Bijdragen

• Theoretisch: Bewijst het bestaan en de identificeerbaarheid van een verplaatsing-lineaire representatie voor treftijden in voldoende CMP's, en legt een rigoureuze link tussen operatortheorie en treftijdfunctionalen.
• Algoritmisch: Introduceert IEL, het eerste algoritme voor het leren van fundamentele beleidsregels dat tegelijkertijd voldoet aan onbewaakt trainen van beleidsregels, gerichte afstand en de driehoeksongelijkheid.
• Praktisch: Demonstreert dat het integreren van gerichte asymmetrie in de inbeddingsgeometrie de mogelijkheden voor meerstapsplanning aanzienlijk verbetert in vergelijking met symmetrische basismethoden.

Experimentele Resultaten

De auteurs evalueren IEL op zes offline doelgerichte RL-benchmarks uit de D4RL-dataset (AntMaze en Kitchen suites).

• Basismethoden: Vergelijkingen worden gemaakt met HILP (de primaire basismethode voor fundamentele beleidsregels), GC-IQL en GC-CQL.
• Prestaties:
  • IEL met asymmetrische grafplanning bereikt state-of-the-art resultaten en presteert aanzienlijk beter dan HILP en recursieve middelpuntplanning in omgevingen zoals antmaze-ultra-diverse (79,0 vs 39,8) en antmaze-large-diverse (71,8 vs 68,0).
  • Zelfs de symmetrische variant van IEL (met gebruik van symmetrische afstanden maar dezelfde grafplanning) presteert vaak beter dan de recursieve middelpuntstrategie van HILP, wat de effectiviteit van het grafgebaseerde planningsmechanisme zelf bevestigt.
  • De asymmetrische variant levert verdere winst op in vier van de zes omgevingen, wat de noodzaak van gerichte geometrie voor complexe navigatie bevestigt.
• Efficiëntie: De trainingskosten van IEL zijn vergelijkbaar met die van HILP. De asymmetrische grafplanning draait met snelheden die vergelijkbaar zijn met recursieve middelpuntplanning, terwijl de symmetrische variant ongeveer drie keer sneller is vanwege herbruikbaarheid van de graaf.

Betekenis en Beweringen

Het artikel beweert dat IEL het eerste raamwerk biedt dat voldoet aan de drie kritieke capaciteiten die vereist zijn voor fundamentele beleidsregels in meerstapsplanning: onbewaakt trainen, gerichte afstand en de driehoeksongelijkheid.

De auteurs betogen dat door symmetrische afstandsheuristieken te vervangen door een gerichte temporele geometrie die is geworteld in operatortheorie, agenten complexe, irreversibele omgevingen kunnen navigeren met bewezen efficiëntie. Zij stellen dat dit werk een wiskundige fundering biedt voor de overgang van Vision-Language-Action (VLA)-onderzoek van afhankelijkheid van imitatielearning naar beloningsgebaseerd beleidsleren, wat potentieel leidt tot autonomere en betrouwbaardere algemene robots. Het raamwerk wordt gepresenteerd als een rigoureus alternatief voor op afstand gebaseerde modellen die geen garanties voor globale consistentie bieden.