ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation

Titel: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation (ProgressVLA)

Auteurs: Hongyu Yan, Qiwei Li, Jiaolong Yang, en Yadong Mu (Peking University & Microsoft Research Asia).

---

1. Het Probleem

Bestaande Vision-Language-Action (VLA) modellen voor robotmanipulatie lijden vaak aan een gebrek aan bewustzijn van taakprogressie.

• Afwijking van doelen: Deze modellen genereren vaak lokaal plausibele bewegingen zonder een expliciet, dicht begrip van hoe dicht ze bij het einddoel komen.
• Britse stopcondities: Voor langere taken met meerdere subdoelen (long-horizon tasks) vertrouwen ze op handgemaakte heuristieken om te bepalen wanneer een taak voltooid is. Dit leidt tot onbetrouwbare uitvoering en inefficiëntie.
• Ruis in visuele data: Het direct leren van progressie vanuit ruwe pixels is moeilijk vanwege ruis (camera-trillingen, achtergrondveranderingen, afleidende objecten), wat resulteert in onnauwkeurige signalen.

2. Methodologie: ProgressVLA

ProgressVLA introduceert een raamwerk dat een progressie-schatting integreert in een diffusie-beleid via een differentieerbare "classifier guidance" in de latente actie-ruimte. Het systeem bestaat uit drie hoofdcomponenten:

A. Progressie Schatter (Progress Estimator)

• Dit is een vision-language evaluator die een genormaliseerde score $p \in [0, 1]$ voorspelt, gebaseerd op de taakinstructie ($l$), de startobservatie ($o_0$) en de huidige observatie ($o_t$).
• Training: Het model wordt vooraf getraind op grote, ongelabelde datasets (Open X-Embodiment) en vervolgens gefinetuned op specifieke benchmarks (LIBERO, CALVIN).
• Architectuur: Het gebruikt features van DINOv2 (visueel) en CLIP (tekst) en verwerkt deze via een cross-attention mechanisme om de voortgang te schatten.

B. Wereldmodel (World Model)

• Een compact latent wereldmodel dat de dynamiek van de omgeving simuleert zonder fysieke roll-outs.
• Het werkt in twee richtingen:
  1. Inverse Dynamics: Infereert een latente actie ($a_z$) uit de overgang tussen twee beelden.
  2. Forward Dynamics: Voorspelt de toekomstige visuele toestand ($\hat{o}_{t+N}$) gegeven de huidige toestand en een latente actie.
• Dit model fungeert als een "denker" die de gevolgen van een voorgestelde actie voorspelt voordat deze wordt uitgevoerd.

C. Progressie-Gestuurde Diffusie Beleid (Progress-Guided Diffusion Policy)

Dit is de kern van de innovatie. In plaats van alleen te vertrouwen op de voorwaarde (instructie), wordt het diffusieproces geleid door de progressie-schatting:

1. Generatie: Het beleid genereert een kandidaat-chunk van latente acties via een diffusiemodel.
2. Imaginatie: Het wereldmodel projecteert deze latente actie naar een toekomstige visuele toestand.
3. Evaluatie: De progressie-schatting geeft een score aan deze voorspelde toekomst.
4. Classifier Guidance: Omdat de schatting differentieerbaar is, worden de gradiënten teruggepropageerd door het wereldmodel naar de latente actie.
5. Sturing: Tijdens het denoising-proces van de diffusie worden de updates aangepast om de actie-chunks te sturen die de maximale progressie naar het doel voorspellen.
   • Formule: $x_{\tau-1} = \mu_\theta + s \nabla_{x_\tau} \hat{p}_{t+N} + \sigma_\tau \epsilon$.

D. Reinforcement Learning (RL) Finetuning

Naast inferentie wordt het systeem ook online gefinetuned:

• Monotonie Loss: Zorgt ervoor dat de progressie-schatting monotoon stijgt tijdens succesvolle trajecten.
• KL-gereguleerde optimalisatie: Het beleid wordt bijgesteld om acties met een hogere voorspelde progressie te prefereren, terwijl het dicht bij het oorspronkelijke beleid blijft om stabiliteit te garanderen.

---

3. Belangrijkste Bijdragen

1. Robuuste Progressie Schatting: Een schatter die vooraf getraind is op grote datasets en zero-shot generaliseert naar nieuwe real-world scenario's met een zeer lage residual (0.07 op een schaal van 0-1).
2. Differentieerbare Progressie Guidance: Een nieuwe methode om een wereldmodel en progressie-schatter te combineren om diffusie-acties direct te sturen via gradiënten, wat leidt tot doelgerichtere trajecten.
3. Empirische Validatie: Uitgebreide tests op simulatie-benchmarks (CALVIN, LIBERO) en echte robotdeployments, die aantonen dat de methode de succesratio's en generalisatie significant verbetert ten opzichte van state-of-the-art baselines.

---

4. Resultaten

Simulatie (CALVIN & LIBERO)

• CALVIN: ProgressVLA (Full) bereikte een succesratio van 95.2% voor het voltooien van 1 opeenvolgende taak en 52.0% voor 5 opeenvolgende taken, wat een verbetering is ten opzichte van de beste baselines (zoals GR-MG en Dita). De gemiddelde lengte van succesvolle sequenties steeg naar 3.73.
• LIBERO: Op de lange-horizon taken (LIBERO-LONG) behaalde ProgressVLA een succesratio van 66.2%, een aanzienlijke verbetering ten opzichte van OpenVLA (53.7%).

Real-World Robot Deployments

• Experimenten werden uitgevoerd op een ARX AC-One dual-arm robot met taken zoals "doos openen", "fruit oppakken" en "kommen stapelen".
• Succesratio: Steeg van 23% (Octo baseline) naar 76% met ProgressVLA + Classifier Guidance.
• Efficiëntie: Het aantal benodigde stappen daalde drastisch (van gemiddeld 187.9 stappen naar 53.3) en de afgelegde afstand van de end-effector nam af, wat wijst op minder redundant en meer doelgericht gedrag.

Generalisatie

• De progressie-schatter bleek zeer robuust bij veranderingen in belichting en bij het introduceren van nieuwe objecten die niet in de training zaten, vooral wanneer het model vooraf getraind was en vervolgens gefinetuned.

---

5. Betekenis en Conclusie

ProgressVLA lost een fundamenteel probleem op in robotica: het gebrek aan een intern "kompas" dat de robot vertelt of het op de goede weg is naar het doel.

• Van passief naar actief: In plaats van alleen te reageren op instructies, activeert het model een evaluatiecyclus die de actiegeneratie sturend beïnvloedt.
• Betrouwbare stopcondities: Door een continue progressie-score te hebben, kan de robot de taak betrouwbaar beëindigen zodra de score een drempelwaarde bereikt, zonder handgemaakte heuristieken.
• Toekomstperspectief: De methode toont aan dat het combineren van wereldmodellen, progressie-evaluatie en diffusie-beleid een krachtige route is voor robuuste, langdurige robotmanipulatie in complexe, onvoorspelbare omgevingen.

Kortom, ProgressVLA transformeert robotmanipulatie van "blind genereren van bewegingen" naar "doelgericht plannen met voortgangsbewaking".