Technische Samenvatting: Leren van Robuuste Executie in Robotische Manipulatie met Agentic Reinforcement Learning

1. Probleemstelling

Robotische manipulatie staat voor fundamentele uitdagingen door onzekerheid, contactrijke interacties en langetermijnexecutie (long-horizon execution). Hoewel recente Vision-Language-Action (VLA) modellen sterke generalisatie vertonen door grootschalige pretraining, missen ze doorgaans expliciete mechanismen om de stabiliteit van de uitvoering te beoordelen of te herstellen wanneer de robot afwijkt van zijn nominale traject. Kleine fouten in perceptie of dynamica kunnen zich in de loop van de tijd ophopen, wat leidt tot "executiedegradatie". Dit resulteert in instabiel gedrag, verlies van voortgang in de taak of onomkeerbare fouten (getermineerd als "executie-niveau fouten").

Bestaande mitigatiestrategieën hebben beperkingen:

• Data Scaling: Het uitbreiden van trainingsdata en het finetunen van VLA's is zeer arbeidsintensief en vaak ineffectief tegen 'long-tail' foutgevallen.
• Extern Redeneren: Het introduceren van Vision-Language Models (VLM's) voor foutdetectie en herplanning voegt systeemcomplexiteit, inferentielatentie en gevoeligheid voor verschuivingen in de instructiedistributie toe.
• Imitatie Leren: Standaard policies missen expliciete mechanismen om aan te passen wanneer de uitvoering afwijkt van het verwachte gedrag.

Het kernprobleem dat wordt aangepakt is hoe de executierobustheid kan worden verbeterd zonder de low-level policy te hertrainen of te vertrouwen op zware externe redeneermodules.

2. Methodologie

De auteurs stellen een Agentic Reinforcement Learning (RL) framework voor dat de executiebeheer (execution management) scheidt van de actiegeneratie. Het systeem bestaat uit een bevroren low-level policy (bijv. een VLA) en een high-level agentic policy die het executieproces reguleert.

A. Kwaliteitsmetrieken voor Executie

Om de agentic policy in staat te stellen geïnformeerde beslissingen te nemen, introduceren de auteurs twee complementaire metrieken om de kwaliteit van de uitvoering tijdens runtime te beoordelen:

1. Lokale Executiekwaliteit ($q_{local}$): Monitort kortetermijnstabiliteit door de effectiviteit van beweging te analyseren (de ratio tussen de werkelijke beweging van de end-effector en de gecommandeerde actie-amplitude) en de vloeiendheid van de beweging (inverse coëfficiënt van variatie van snelheden) binnen een sliding window.
2. Globale Executiekwaliteit ($q_{global}$): Legt langetermijndrift vast door het huidige executieprefix te vergelijken met een bibliotheek van succesvolle referentietrajecten. Het codeert recente executievensters naar feature vectoren en berekent de Euclidische afstand tot de $k$-dichtstbijzijnde buren in een stage-aware referentielib.
   Deze metrieken worden geaggregeerd in een enkele scalaire score ($q_{agg}$) om de algehele gezondheid van de executie te evalueren.

B. Herstelmechanismen

De agentic policy selecteert uit een discrete set executiemodi $\mathcal{A} = \{ \text{EXECUTE, RETRY, REPAIR, RESET} \}$:

• EXECUTE: Gaat door met de nominale uitvoering van de low-level policy.
• RETRY: Rol de robot terug naar de meest recente staat met de hoogste geaggregeerde kwaliteit ($q_{agg}$) en hervat de uitvoering. Dit vangt milde degradaties op (bijv. een lichte misalignement bij het grijpen).
• REPAIR: Voert een sterkere rollback uit naar een contactvrije staat met een hoge $q_{agg}$ binnen een langer horizon. Dit vangt obstructies of contactproblemen op door los te laten en te herpositioneren.
• RESET: Beëindigt de huidige episode en start de taak opnieuw vanaf de initiële configuratie voor onherstelbare staten (bijv. gevallen objecten).

Deze mechanismen maken gebruik van een operational space controller (OSC) om de robot terug te drijven naar historische staten zonder nieuwe low-level acties te genereren.

C. Agentic Reinforcement Learning Formulering

Het probleem wordt geformuleerd als een Partially Observable Markov Decision Process (POMDP):

• Observatie: Een sliding window van vaste lengte met recente executiegeschiedenis, inclusief proprioceptie, low-level acties en executiekwaliteitscores.
• Actie: Een categorische distributie over de vier executiemodi.
• Beloningsfunctie: Ontworpen om taakvoltooiing te stimuleren (+1.0) en fouten te bestraffen (-1.0), tijdstappen (-0.02), en het aanroepen van herstelmechanismen (kosten: -0.1 voor RETRY, -0.3 voor REPAIR, -0.5 voor RESET).
• Optimalisatie: De agentic policy wordt getraind met Proximal Policy Optimization (PPO). De actor gebruikt alleen de executiegeschiedenis, terwijl de critic toegang heeft tot geprivilegieerde simulator-statussen om de waarde-estimatie te verbeteren.

3. Belangrijkste Bijdragen

1. Runtime Executiemetrieken: Het voorstel van twee complementaire metrieken (lokale en globale executiekwaliteit) om de stabiliteit en drift van de uitvoering tijdens runtime te beoordelen zonder geprivilegieerde informatie te vereisen.
2. Agentic Executieframework: Een nieuwe formulering waarbij een high-level policy fungeert als een "execution manager", die executiemodi selecteert om een bevroren low-level policy te reguleren. Dit scheidt de executieregulatie van de actiegeneratie.
3. Lichtgewicht Herstel: Het ontwerp van specifieke, niet-lerende herstelmechanismen (RETRY, REPAIR, RESET) die de robot terugbrengen naar eerder bezochte nominale staten, waardoor het niet nodig is om te hertrainen of complexe semantische redenering te gebruiken.
4. Modulaire Integratie: De mogelijkheid om dit framework toe te passen op diverse pre-trained policies (VLA's en Diffusion Policies) zonder hun gewichten te wijzigen.

4. Experimentele Resultaten

De methode werd geëvalueerd op de LIBERO benchmark (dekking van de Spatial, Object, Goal, en Long-horizon subsets) met baselines inclusief OpenVLA, $\pi_0$, $\pi_{0.5}$, en Diffusion Policy.

• Standaard Condities: Het framework verbeterde de succesratio's over alle baselines. De gemiddelde verbetering was +13,7% onder standaardinstellingen, waarbij de Diffusion Policy significante winst liet zien.
• Robuustheid tegen Verstoringen: Onder willekeurige kinematische verstoringen demonstreerde de methode aanzienlijke veerkracht. De gemiddelde verbetering in succesratio was +39,2%. Zo verbeterde OpenVLA op de LIBERO-Long suite van een succesratio van 33,4% naar 67,6% onder verstoring.
• Beslissingsadaptiviteit: Analyse toonde aan dat de agentic policy correct zijn keuze van herstelmechanisme aanpast op basis van de ernst van de degradatie (bijv. het kiezen van RETRY voor milde ruis, REPAIR voor botsingen, en RESET voor onherstelbare staten).
• Efficiëntie: De overhead in episodelengte was bescheiden (variërend van +5% tot +15% afhankelijk van de fragiliteit van de baseline), wat aangeeft dat herstel alleen wordt geactiveerd wanneer dat noodzakelijk is.

5. Betekenis en Claims

Het artikel claimt dat deze aanpak een substantieel verbeterde executierobustheid biedt door direct in te gaan op fouten op executieniveau. Door de executiebeheer te ontkoppelen van de actiegeneratie, evolueert het systeem van een puur conditionele actiegenerator naar een beslissingsgestuurd framework dat in staat is tot exploratie en herstel.

De auteurs benadrukken dat deze methode:

• Geen taakspecifieke vaardigheden of foundation models vereist om te hertrainen.
• De latentie en complexiteit van dual-system architecturen die afhankelijk zijn van VLM's vermijdt.
• Zeer geschikt is voor sim-to-real deployment omdat het enkel steunt op proprioceptieve signalen en low-level acties, en niet op geprivilegieerde simulator-informatie.

Beperkingen: De auteurs merken bescheiden op dat de methode een beperkt vermogen heeft om te herstellen van extreem zware executiedegradatie of scenario's buiten de distributie (out-of-distribution) waar het nominale gedrag van de low-level policy volledig ongeldig is. Toekomstig werk is gepland om deze ernstige gevallen aan te pakken en de aanpak in reële omgevingen te valideren.