Technische Samenvatting: APEX – Adaptieve Beleidsuitvoering voor Precieze Manipulatie

1. Probleemdefinitie: De Executie-kloof tijdens Testtijd

Moderne imitatieleer-systemen, inclusief visuomotorische en Vision-Language-Action (VLA) beleidssystemen (policies), produceren doorgaans hoogwaardige actie-referenties (bijv. gewrichtstargets of end-effector posities) die worden uitgevoerd door laag-niveau controllers, zoals Proportioneel-Afgeleide (PD) schema's. Er bestaat echter een kritieke discrepantie tussen de door het beleid gecommandeerde referentie en de werkelijk gerealiseerde beweging van de robot, wat de executie-kloof tijdens testtijd wordt genoemd.

Deze kloof ontstaat uit twee primaire bronnen:

1. Inadequate Hoog-niveau Outputs: De outputs van het beleid missen vaak hogere-orde referentiesignalen (snelheid, versnelling) en kunnen discontinuïteiten bevatten, wat onvoldoende is voor precieze laag-niveau tracking.
2. Imperfect Laag-niveau Dynamica: Commerciële controllers werken vaak met ongemodelleerde dynamica, parameteronzekerheden en ontoegankelijke gain-parameters ($K_p, K_d$).

Bestaande oplossingen vereisen over het algemeen ingrijpende aanpassingen, zoals het wijzigen van de architectuur van het beleid, hertraining met residu-leren, of het veranderen van de controller zelf. Deze benaderingen zijn vaak onpraktisch voor grote, vooraf getrainde modellen of propriëtaire commerciële platformen waar het beleid en de controller worden behandeld als ontoegankelijke "black boxes". De centrale vraag die wordt geadresseerd is: Kan de executie-kloof worden overbrugd zonder zowel het beleid als de controller te wijzigen?

2. Methodologie: Het APEX-framework

De auteurs stellen Adaptive Policy EXecution (APEX) voor, een plug-and-play framework dat tussen het hoog-niveau beleid en de laag-niveau controller wordt geplaatst. Geïnspireerd door biologische motorische controle—waarbij snelle sensorimotorische lussen afwijkingen corrigeren zonder hoog-niveau plannen te regenereren—werkt APEX als een online correctielaag die zowel het beleid als de controller onaangetast laat.

APEX functioneert in twee stadia:

A. Adaptieve Passieve Filtering (Signaalreconstructie)

Omdat de outputs van het beleid ($a_\pi$) vaak de snelheid ($\dot{a}$) en versnelling ($\ddot{a}$) signalen missen die nodig zijn voor dynamische haalbaarheid, reconstrueert APEX eerst een gladde, dynamisch haalbare referentie ($\bar{a}$) met behulp van een adaptieve passieve filter.

• De filter wordt gedreven door de trackingfout $e_a = a_\pi - a$.
• Het genereert intern goed gedefinieerde $\dot{\bar{a}}$ en $\ddot{\bar{a}}$ signalen, waardoor wordt gegarandeerd dat de naar de controller geleverde referentie vloeiend en bandbreedtebeperkt is.

B. Test-Time Adaptieve Correctie

Om de onbekende systeemdynamica (traagheid $J$) en ontoegankelijke controller gains ($K_p, K_d$) te compenseren, verrijkt APEX de gefilterde referentie met adaptieve termen. Het commando $a_r$ dat naar de controller wordt gestuurd, wordt geformuleerd als:
$$a_r = \bar{a} + \hat{w}[\hat{J}\ddot{\bar{a}} + \alpha e_a] + \hat{w}_d \dot{\bar{a}}$$
Waar:

• $\hat{w}$, $\hat{w}_d$, en $\hat{J}$ tijdvariërende schattingen zijn van de onbekende parameters ($1/K_p$, $K_d/K_p$, en $J$).
• Deze coëfficiënten worden online bijgewerkt via een adaptieve wet die wordt gedreven door de real-time trackingfout en de gefilterde referentiesnelheid, zonder de ruwe output van het beleid te differentiëren.

Theoretische Garanties

Het artikel biedt een stabiliteitsanalyse (Theorem 1) die bewijst dat voor een systeem met onbekende parameters en begrensde verstoringen, de closed-loop systeem-signalen begrensd blijven en de trackingfout convergeert naar een residuele set. Dit garandeert asymptotische tracking-prestaties, zelfs zonder exacte kennis van de robotdynamica.

3. Belangrijkste Bijdragen

1. Black-Box Compatibiliteit: APEX is het eerste framework dat de executie-kloof overbrugt zonder de architectuur van het beleid te wijzigen, hertraining te vereisen, of toegang te vragen tot de interne parameters van de controller.
2. Dual-Stage Correctie: Het combineert uniek een passieve filter voor het reconstrueren van hogere-orde signalen met een adaptieve wet voor het compenseren van onbekende dynamica, waarmee zowel problemen aan de beleidszijde als aan de controllerzijde worden aangepakt.
3. Bewijsbaar Convergentie: Het framework biedt theoretische convergentiegaranties onder standaard adaptieve controle-aannames.
4. Generaliseerbaarheid: De methode is agnostisch ten opzichte van de specifieke klasse van het beleid (deterministisch of generatief) en de actie-representatie (joint-space of task-space).

4. Experimentele Resultaten

De auteurs evalueerden APEX in zowel simulatie als real-world (UR5) omgevingen, waarbij vier klassen van beleid werden getest: ACT, Diffusion Policy, Flow Matching, en de VLA $\pi_{0.5}$.

• Isoleren van de Executie-kloof: In een "demonstration replay" experiment (waarbij expert-trajecten direct naar de controller worden afgespeeld, waardoor beleidsfouten worden geëlimineerd), verminderde APEX de trackingfout met 41,2% (van 30,84 mrad naar 18,15 mrad) en verhoogde het de succespercentages van 62,5% naar 81,3%. Dit bevestigt dat imperfecties in de laag-niveau controller alleen al voor aanzienlijke fouten zorgen.
• Beleid-Controller Brugging: Wanneer gekoppeld aan geleerde beleidssystemen, verbeterde APEX de succespercentages met 4,8 tot 25,8 procentpunten over alle geteste beleidsklassen.
  • Opvallende winst werd waargenomen bij de PegInsertion taak (3mm radiale tolerantie), waar de Flow Matching succes verbeterde van 20% naar 35% op een echte UR5.
  • APEX demonstreerde robuustheid bij variërende PD-controller gains ($K_p, K_d$), waarbij het beter presteerde dan correcties met vaste parameters.
• Cross-Platform Validatie: Het framework generaliseerde succesvol over verschillende simulators (ManiSkill, LIBERO), actie-representaties (joint vs. end-effector) en real-world hardware.

5. Betekenis en Claims

Het artikel claimt dat de executie-kloof tijdens testtijd een fundamentele bottleneck is in precisiegevoelige manipulatie, die vaak over het hoofd wordt gezien ten gunste van het verbeteren van de training van het beleid. De betekenis van APEX ligt in het vermogen om verloren prestaties te herstellen van goed getrainde beleidssystemen door simpelweg de executie-stroom te corrigeren.

De auteurs benadrukken dat:

• Zelfs expert-niveau actie-referenties niet accuraat worden uitgevoerd op commerciële hardware vanwege beperkingen van de controller.
• Een lichtgewicht, niet-intrusieve correctielaag op de interface tussen beleid en controller voldoende is om deze kloof te overbruggen.
• Het adaptieve karakter van APEX het effectief laat functioneren, zelfs wanneer de systeemdynamica onbekend is of wanneer de controller een "black box" is, wat het zeer praktisch maakt voor de real-world implementatie van grootschalige imitatieleer-modellen.

Erkende Beperkingen: De huidige implementatie vereist handmatige afstelling van de adaptatie-gains, en de verstoringsterm wordt behandeld als begrensd in plaats van expliciet geschat, wat leidt tot een begrensde in plaats van een nul-fout convergentie. Toekomstig werk beoogt zelf-afstellende mechanismen en verstoring-observers te integreren.