Technische Samenvatting: PearlVLA

Probleemstelling

Huidige Vision-Language-Action (VLA) modellen staan voor een fundamentele afweging tussen efficiënte actiegeneratie en expliciete deliberatie.

• Directe Decodering: Standaard benaderingen decoderen acties direct vanuit de visuele-taal backbone-representaties. Hoewel dit lage latentie-controle mogelijk maakt, biedt het beperkte mogelijkheden voor "latente deliberatie", waardoor de policy geen toekomstige toestanden kan vooruitzien of zichzelf kan corrigeren vóór uitvoering.
• Expliciete Redenering: Alternatieve methoden introduceren tussenliggende planningssignalen via tekstuele redeneersporen, pixel-niveau subdoelen of zoekopdrachten in de actieruimte. Hoewel deze het plannen verbeteren, veroorzaken ze aanzienlijke latentie, computationele overhead en representatie-mismatches (bijv. tekstuele redenering staat ver af van continue controle; pixel-niveau toekomsten zijn moeilijk te mappen naar acties).
• De Kloof: Er is een gebrek aan een efficiënt, gesloten-lus mechanisme waarbij toekomstige feedback wordt geproduceerd in de latente ruimte, zich aanpast aan het huidige latente plan en dat plan verfijnt voordat de actie-decodering plaatsvindt, zonder de overhead van tekstgeneratie of pixelreconstructie.

Methodologie: PearlVLA

PearlVLA is een framework dat actie-plan deliberatie verplaatst naar de latente ruimte van een Vision-Language Model (VLM). In plaats van externe redeneerketens, voert het een progressieve verfijning uit van een latent actieplan via een gesloten lus met een bevroren latente Wereldmodel (WM).

Kernarchitectuur

1. Latente Plan Initialisatie:

   • De VLM (OpenVLA-7B backbone) produceert meta-query representaties ($z_{meta}$).
   • Deze worden gesplitst in een vaste visuele grondingstak ($z_{vis}$) en een iteratieve latente planstak ($\tilde{z}_0$).
   • De initiële plan-tokens ($z_0$) worden geïnitialiseerd vanuit $\tilde{z}_0$ met kleine Gaussische ruis om de mapping naar de WM-conditie ruimte te verzachten.

2. Plan-geconditioneerde Wereld Query:

   • Het framework scheidt de query-generatie in een vaste anchor en een dynamisch plan-component:
     • $q_{anchor} = P_{vis}(z_{vis})$ (Vaste visuele gronding).
     • $q_k = q_{anchor} + \beta_k P_{plan}(z_k)$ (Dynamische plan-afhankelijke term).
   • Hierbij is $\beta_k$ een leerbare scalar die controleert hoe ver de query afwijkt van de anchor, wat ervoor zorgt dat de query binnen de gepre-trainde latente WM-conditie distributie blijft.

3. Gesloten-lus Verfijning (K rondes):

   • Toekomstvoorspelling: In elke ronde $k$ genereert het huidige plan $z_k$ een query $q_k$. Een bevroren latent Wereldmodel (UWM) voorspelt een actievrije toekomstige observatie-latent ($o_k$) geconditioneerd op $q_k$. Cruciaal is dat dit een observatie rollout is, geen actie-geconditioneerde rollout.
   • Residuele Update: Een Future-Guided RefineNet neemt het huidige plan $z_k$ en de toekomstige feedback-samenvatting $s_k$ (gecodeerd uit $o_k$) om een residuele correctie $\delta_k$ te berekenen.
   • Write-Back: Het plan wordt bijgewerkt: $z_{k+1} = z_k + w_k \delta_k$.
   • Scheduling: Een afnemend write-back schema ($w_k$) staat grove globale correcties toe in vroege rondes en fijne lokale correcties in latere rondes.

4. Actie Decodering:

   • Na $K$ rondes wordt het verfijnde latente plan $z_K$ parallel gedecodeerd door een lichtgewicht actie-kop naar een $H$-stap continue actie-chunk. Dit behoudt het lage-latentie uitvoeringspad van directe VLA-policies.

Trainingsdoelstellingen

1. Supervised Fine-Tuning (SFT):

   • Minimaliseert de MSE tussen de voorspelde actie-chunk en expert-acties.
   • Bevat een Teacher Alignment Loss: Zorgt ervoor dat de geprojecteerde wereld-queries ($q_k$) dicht bij de conditie-manifold van het bevroren latente WM blijven, wat de lus stabiliseert.
   • Bevat een Discrete Cosine Transform (DCT) loss voor frequentiedomein actie-modellering.

2. Causal Refinement-Grouped Process-Reward RL (CRG-PRL):

   • Een reinforcement learning fase die het verfijningspad optimaliseert.
   • Mechanisme: Het behandelt de verfijningslus als een innerlijke MDP. Voor een gegeven staat worden meerdere "residuele takken" (verschillende edities) gesampled en wordt de verbeelde toekomst geïnduceerd door elke edit gescoord met behulp van een bevroren reward model (Robometer-4B).
   • Group-Relative Advantage: Om het causale effect van de edit te isoleren van de moeilijkheidsgraad van de startstaat, worden rewards gestandaardiseerd binnen een groep takken die dezelfde basisstaat delen. Dit voorkomt de noodzaak voor een geleerde waarde-functie (critic).
   • Guardrails: Bevat KL-divergentie naar de supervised policy, penalties voor de grootte van de edit en behavior cloning anchors om drift te voorkomen.

Belangrijkste Bijdragen

1. Latente Deliberatie Framework: Introduceerde PearlVLA, dat progressieve actie-plan verfijning volledig binnen de VLM-latente ruimte uitvoert, waardoor expliciete tekstuele of pixel-niveau redenering wordt vermeden.
2. Gesloten-lus Toekomstige Feedback: Ontwierp een mechanisme waarbij een plan-geconditioneerde wereld-query een bevroren latent WM bevraagt voor een bijgewerkte verbeelde toekomst, die wordt teruggevoerd om het plan te verfijnen zonder pixelreconstructie of actieruimte-rollout.
3. Stabiel Verfijningsschema: Stelde een geankerd residueel update schema voor. Een anchor-query houdt de wereld-query binnen de gepre-trainde conditie-ruimte, terwijl een gescheduled residual write-back de latente plan-drift controleert, wat zorgt voor een coarse-to-fine verfijning.
4. Reward-Gestuurde Optimalisatie: Ontwikkelde CRG-PRL, een reinforcement learning methode die het verfijningspad optimaliseert met behulp van groep-relatieve rewards uit verbeelde toekomsten, waardoor het causale effect van latente edits wordt geïsoleerd zonder een waarde-functie.
5. State-of-the-Art Prestaties: Demonstreerde dat het combineren van progressieve toekomst-gestuurde verfijning met reward-gestuurde optimalisatie superieure prestaties levert op de LIBERO benchmark.

Experimentele Resultaten

Geëvalueerd op de LIBERO benchmark (Spatial, Object, Goal, en Long-horizon suites):

• Hoofdresultaten: PearlVLA (Supervised) behaalde een gemiddelde succesratio van 98,5%, waarmee het de sterke OpenVLA-OFT baseline (97,1%) en andere flow-matching/diffusie-gebaseerde VLAs overtreft.
• Met CRG-PRL: Het uiteindelijke model bereikte een gemiddelde succesratio van 98,7%, wat een nieuwe state-of-the-art zet.
• Robuustheid: Op LIBERO-Plus (gecontroleerde perturbaties in lay-out, camera, verlichting, etc.) behaalde PearlVLA een succespercentage van 76,3%, wat significant beter is dan OpenVLA-OFT (69,6%).
• Ablaties:
  • Het verhogen van de verfijningsrondes ($K$) van 0 naar 4 verbeterde de prestaties van 96,8% naar 98,5%.
  • Long-Horizon Robuustheid: Met uitgebreide actie-chunks ($H=20$) werd het prestatieverschil tussen verfijnde ($K=4$) en directe decodering ($K=0$) groter. Latente verfijning verminderde de daling in succesratio van 3,2 punten (direct) naar 1,7 punten (verfijnd), wat duidt op verbeterde actie-coherentie en verminderde open-loop drift.

Betekenis en Claims

Het paper claimt dat PearlVLA een concreet gat in VLA-policies opvult door anticiperende planning te internaliseren binnen de latente ruimte van de policy.

• Efficiëntie vs. Redenering: Het demonstreert dat "System 2"-stijl deliberatie kan worden bereikt zonder de latentie van expliciete redeneerketens of de computationele kosten van actieruimte-zoekopdrachten.
• Optimaliseerbare Deliberatie: Het verfijningsproces is niet alleen een vaste architecturale prior maar een optimaliseerbaar mechanisme. Het succes van CRG-PRL bevestigt dat het traject van latente edits kan worden verbeterd via reward-signalen afgeleid van verbeelde toekomsten.
• Generalisatie: Het framework breidt het concept van latente redenering (voorheen onderzocht in taalmodellen) uit naar belichaamde actieplanning, waarbij tussenliggende berekeningen gezamenlijk rekening houden met de huidige scène en de toekomst die door de evoluerende plan wordt geïmpliceerd.

Door de auteurs opgemerkte beperkingen: De huidige implementatie gebruikt een vaste verfijningsdiepte ($K$) voor alle queries, ongeacht de taakcomplexiteit. Toekomstig werk suggereert om deze diepte adaptief te maken op basis van onzekerheid of toekomstige-consistentie signalen.