Technische Samenvatting: Latente Doelvoorspelling vanuit Taal voor Model-gebaseerde Planning

Probleemstelling

Model-gebaseerd reinforcement learning (RL) dat gebruikmaakt van wereldmodellen (WM's) biedt een veelbelovend paradigma voor steekproefefficiënte controle door toekomstige trajecten te simuleren in een compacte latente ruimte. Deze systemen kampen echter met twee fundamentele knelpunten:

1. Doelspecificatie: Het definiëren van optimaliseerbare doelen is moeilijk. Visuele doelen (beelden) bieden precieze lokale gradiënten maar bieden weinig sturing voor verre doelen en zijn onpraktisch te verkrijgen voor complexe taken. Taal biedt flexibiliteit, maar lijdt onder ruisachtige cross-modale uitlijning in contrastieve modellen of computationele inefficiëntie in grote generatieve modellen, die minder geschikt zijn voor de hoogfrequente sampling die vereist is voor model-gebaseerde planning.
2. Planning over Lange Termijn: Planning over lange horizonten wordt gehinderd door cumulatieve voorspellingsfouten. Kleine onnauwkeurigheden in latente dynamiek stapelen zich op tijdens rollouts, wat de betrouwbaarheid van geïmagineerde trajecten verslechtert. Bestaande methoden omzeilen dit vaak door temporele abstractie te vergroten (frame skips) of de evaluatie te beperken tot korte horizonten, wat hun toepasbaarheid op complexe, temporeel uitgebreide taken beperkt.

Huidige benaderingen worstelen met het combineren van de precisie van beeldgebaseerde doelstellingen met de flexibiliteit van taalgebaseerde specificatie, terwijl ze tegelijkertijd robuustheid moeten behouden tegen voorspellingsfouten over lange horizonten.

Methodologie: LAGO

De auteurs introduceren LAGO (Latent Goal Prediction from Language), een framework ontworpen om sequenties van intermediaire doeltoestanden te voorspellen vanuit taalinstructies en actie-geconditioneerde rollouts binnen dezelfde latente ruimte.

Architectuur

LAGO is gebouwd op een Joint Embedding Predictive Architecture (JEPA) die opereert in een gedeelde latente ruimte. Het ondersteunt twee operationele modi via een enkele voorspeller $\pi(\cdot)$:

1. Next-Step Transition Prediction: Geconditioneerd op lage-niveau acties om de onmiddellijke volgende latente toestand te voorspellen.
2. Subgoal Prediction: Geconditioneerd op taalinstructies en een voltooiingsscalar $\rho$ (die de voortgang van de taak schat) om intermediaire latente subdoelen te voorspellen.

Kerncomponenten:

• Vision Encoder: Gebruikt een bevroren DINOv2 ViT om RGB-observaties te encoderen naar patch-tokens.
• Multi-Modale Conditionering: Taalinstructies worden geëmbed en geprojecteerd in een gedeelde conditioneringsruimte. Een voltooiingsscalar $\rho \in [0, 1]$ wordt eveneens geprojecteerd. Een modus-specifieke embedding onderscheidt tussen actie-conditionering en subgoal-conditionering.
• Uniforme Training: Het model wordt gezamenlijk getraind met een gemiddelde kwadratische fout (MSE) doelstelling. Het minimaliseert de fout tussen voorspelde en werkelijke volgende toestanden (met behulp van actie-conditionering) en tussen voorspelde en werkelijke subgoal-toestanden (met behulp van taal en $\rho$-conditionering).

Planning Strategie

LAGO transformeert planning over lange termijn in een sequentie van lokaal hanteerbare doelstellingen:

1. Subgoal Generatie: Gegeven een huidige toestand en een taalinstructie, genereert LAGO $K$ latente subdoelen bij uniform verdeelde voltooiingsscalars ($\rho_k = k/K$). Cruciaal is dat deze subdoelen onafhankelijk van de huidige toestand worden voorspeld (niet-autoregressief) om cumulatieve fouten te voorkomen.
2. Online Re-predictie: Subdoelen worden bij elke Model Predictive Control (MPC) stap opnieuw voorspeld, waardoor de agent kan adapteren aan zijn evoluerende toestand.
3. Soft Minimum Trajectory Cost (JLAGO): Om kandidaat actiesequenties te evalueren, gebruikt LAGO een soft-minimum kostenfunctie. In plaats van te vereisen dat een traject een specifiek subgoal bereikt op een specifiek tijdstip, meet het de beste uitlijning die bereikt is tussen elk subgoal en elk tijdstip langs de rollout. Dit wordt gecontroleerd door een temperatuurparameter $\tau$, wat zorgt voor een vloeiende convergentie naar subdoelen in plaats van breekbare discrete voltooiingscriteria.

Belangrijkste Bijdragen

1. LAGO Framework: Een wereldmodel getraind om natuurlijke taalinstructies direct te mappen naar doeltoestanden binnen zijn eigen latente ruimte, waarmee de kloof tussen visuele precisie en linguïstische flexibiliteit wordt overbrugd.
2. Dynamische Subgoal Decompositie: Een uitbreiding van doelvoorspelling om sequenties van intermediaire latente subdoelen te genereren. De aanpak maakt gebruik van continue online re-predictie en een soft-min trajectkostenfunctie om robuuste planning over lange termijn mogelijk te maken zonder expliciete detectie van subgoal-voltooiing.
3. Afstand-gebaseerd Evaluatieprotocol: Een systematische evaluatiemethode die de taak moeilijkheid varieert op basis van de afstand tot het doel. Dit onthult dat eerdere methoden sterk degraderen buiten hun effectieve planning-horizont, terwijl LAGO robuust blijft.

Experimentele Resultaten

De auteurs evalueerden LAGO over vier omgevingen: TwoRoom (2D navigatie), Kingdom (2D navigatie met dynamische lay-outs en onomkeerbare gevaren), OGBench Cube (manipulatie) en OGBench Scene (complexe manipulatie).

• Robuustheid over Lange Termijn: In de TwoRoom, Kingdom en OGBench Cube omgevingen faalden image-goal baselines (DINO-WM, Temporal Straightening, LeWM) volledig naarmate de taak moeilijkheid (afstand) toenam (bijv. een daling naar 0% succesrate bij hoge moeilijkheidsgraden). In contrast hiermee behield LAGO hoge succesrates (bijv. 90% bij moeilijkheid 115 in TwoRoom).
• Taal versus Visuele Doelen: LAGO, geconditioneerd op tekstuele doelen, presteerde significant beter dan taal-doel baselines (LIV, PE-Core, Robo-Dopamine). Bijvoorbeeld, in Kingdom behaalde LAGO een succesrate van 96,9% vergeleken met 52,6% voor een gefinetunede LIV baseline.
• Efficiëntie: LAGO demonstreerde een hoge inferentie-efficiëntie (ongeveer 11ms per observatie) vergeleken met grote generatieve reward modellen zoals Robo-Dopamine (ongeveer 451ms), wat het levensvatbaar maakt voor real-time MPC.
• Ablatie Studies: De prestaties bleven stabiel voor $K \ge 4$ subdoelen. De soft-min temperatuur $\tau$ bleek robuust binnen een redelijke range.

Betekenis en Claims

Het artikel claimt dat LAGO erin slaagt de kloof te overbruggen tussen de precisie van beeldgebaseerde doelen en de flexibiliteit van taalgestuurde controle. Door taal te grondvesten in de latente ruimte van het wereldmodel en taken te deconstrueren in intermediaire subdoelen, mitigeert het framework cumulatieve voorspellingsfouten.

De auteurs stellen dat hun werk robuuste en precieze planning over lange termijn puur vanuit taal mogelijk maakt, waarbij de scherpe degradatie die eerder werd waargenomen wanneer de planning-horizonten de directe reikwijdte overschrijden, wordt vermeden. Ze benadrukken dat dit wordt bereikt zonder de noodzaak van actie- of beloningssupervisie tijdens de planning fase, door vertrouwen te bouwen op de gestructureerde begeleiding van voorspelde latente subdoelen. Het werk wordt gepresenteerd als een stap naar het aanpakken van steeds complexere planning uitdagingen door de sterktes van visuele en linguïstische modaliteiten te combineren binnen een enkel, efficiënt planning framework.