Sintesi Tecnica: APEX – Esecuzione di Policy Adattiva per la Manipolazione di Precisione

1. Definizione del Problema: Il Gap di Esecuzione al Tempo di Test

I moderni sistemi di apprendimento per imitazione, inclusi i modelli visuomotori e Vision-Language-Action (VLA), tipicamente producono riferimenti d'azione di alto livello (ad esempio, target di giunto o pose dell'end-effector) che vengono eseguiti da controllori a basso livello, come gli schemi Proporzionale-Derivativo (PD). Tuttavia, esiste una discrepanza critica tra il riferimento comandato dalla policy e il movimento effettivo realizzato dal robot, definita come gap di esecuzione al tempo di test (test-time execution gap).

Questo gap deriva da due fonti primarie:

1. Output di Alto Livello Inadeguati: Gli output della policy spesso mancano di segnali di ordine superiore (velocità, accelerazione) e possono contenere discontinuità, risultando insufficienti per un tracking di precisione a basso livello.
2. Dinamiche di Basso Livello Imperfette: I controllori commerciali operano spesso con dinamiche non modellate, incertezze dei parametri e parametri di guadagno ($K_p, K_d$) inaccessibili.

Le soluzioni esistenti richiedono generalmente modifiche intrusive, come l'alterazione dell'architettura della policy, il riaddestramento con apprendimento residuo o il cambio del controllore stesso. Questi approcci sono spesso impraticabili per modelli pre-addestrati di grandi dimensioni o piattaforme commerciali proprietarie dove la policy e il controllore sono trattati come "black box" inaccessibili. La domanda centrale affrontata è: È possibile colmare il gap di esecuzione senza modificare né la policy né il controllore?

2. Metodologia: Il Framework APEX

Gli autori propongono Adaptive Policy EXecution (APEX), un framework plug-and-play inserito tra la policy di alto livello e il controllore di basso livello. Ispirandosi al controllo motorio biologico — dove loop sensomotori rapidi correggono le deviazioni al volo senza rigenerare piani di alto livello — APEX opera come uno strato di correzione online che lascia intatti sia la policy che il controllore.

APEX funziona in due fasi:

A. Filtraggio Passivo Adattivo (Ricostruzione del Segnale)

Poiché gli output della policy ($a_\pi$) spesso mancano dei segnali di velocità ($\dot{a}$) e accelerazione ($\ddot{a}$) necessari per la fattibilità dinamica, APEX ricostruisce innanzitutto un riferimento fluido e dinamicamente fattibile ($\bar{a}$) utilizzando un filtro passivo adattivo.

• Il filtro è guidato dall'errore di tracking $e_a = a_\pi - a$.
• Genera internamente segnali $\dot{\bar{a}}$ e $\ddot{\bar{a}}$ ben definiti, garantendo che il riferimento fornito al controllore sia fluido e limitato in banda.

B. Correzione Adattiva al Tempo di Test

Per compensare le dinamiche ignote del sistema (inerzia $J$) e i guadagni del controllore inaccessibili ($K_p, K_d$), APEX aumenta il riferimento filtrato con termini adattivi. Il comando $a_r$ inviato al controllore è formulato come:
$$a_r = \bar{a} + \hat{w}[\hat{J}\ddot{\bar{a}} + \alpha e_a] + \hat{w}_d \dot{\bar{a}}$$
Dove:

• $\hat{w}$, $\hat{w}_d$, e $\hat{J}$ sono stime variabili nel tempo dei parametri ignoti ($1/K_p$, $K_d/K_p$, e $J$).
• Questi coefficienti sono aggiornati online tramite una legge adattiva guidata dall'errore di tracking in tempo reale e dalla velocità del riferimento filtrato, senza differenziare l'output grezzo della policy.

Garanzie Teoriche

Il documento fornisce un'analisi di stabilità (Teorema 1) che dimostra come, per un sistema con parametri ignoti e disturbi limitati, i segnali del sistema in loop chiuso rimangano limitati e l'errore di tracking converga verso un insieme residuo. Ciò garantisce prestazioni di tracking asintotico anche senza la conoscenza esatta delle dinamiche del robot.

3. Contributi Chiave

1. Compatibilità Black-Box: APEX è il primo framework in grado di colmare il gap di esecuzione senza richiedere modifiche all'architettura della policy, riaddestramento o accesso ai parametri interni del controllore.
2. Correzione a Due Stadi: Combina unicamente un filtro passivo per la ricostruzione di segnali di ordine superiore con una legge adattiva per la compensazione delle dinamiche ignote, affrontando sia gli artefatti lato policy che i limiti lato controllore.
3. Convergenza Provabile: Il framework offre garanzie di convergenza teorica sotto gli standard assunti per il controllo adattivo.
4. Generalizzabilità: Il metodo è agnostico rispetto alla specifica classe di policy (deterministica o generativa) e alla rappresentazione dell'azione (spazio dei giunti o spazio del task).

4. Risultati Sperimentali

Gli autori hanno valutato APEX in ambienti di simulazione e nel mondo reale (UR5), testando quattro classi di policy: ACT, Diffusion Policy, Flow Matching e la VLA $\pi_{0.5}$.

• Isolamento del Gap di Esecuzione: In un esperimento di "riproduzione della dimostrazione" (dove le traiettorie dell'esperto vengono riprodotte direttamente al controllore, eliminando l'errore della policy), APEX ha ridotto l'errore di tracking del 41,2% (da 30,84 mrad a 18,15 mrad) e ha aumentato i tassi di successo dal 62,5% all'81,3%. Ciò conferma che le imperfezioni del controllore a basso livello causano da sole fallimenti significativi.
• Collegamento Policy-Controllore: Accoppiato con policy apprese, APEX ha migliorato i tassi di successo di 4,8 - 25,8 punti percentuali attraverso tutte le classi di policy testate.
  • Si sono osservati guadagni notevoli nel compito PegInsertion (chiarura radiale di 3 mm), dove il successo di Flow Matching è migliorato dal 20% al 35% su un UR5 reale.
  • APEX ha dimostrato robustezza attraverso diversi guadagni del controllore PD ($K_p, K_d$), superando le correzioni a parametri fissi.
• Validazione Cross-Platform: Il framework si è generalizzato con successo attraverso diversi simulatori (ManiSkill, LIBERO), rappresentazioni dell'azione (giunto vs end-effector) e hardware reale.

5. Significato e Rivendicazioni

Il documento sostiene che il gap di esecuzione al tempo di test sia un collo di bottiglia fondamentale nella manipolazione sensibile alla precisione, spesso trascurato a favore del miglioramento dell'addestramento della policy. La significanza di APEX risiede nella sua capacità di recuperare le prestazioni perse da policy ben addestrate semplicemente correggendo il flusso di esecuzione.

Gli autori sottolineano che:

• Anche i riferimenti d'azione di livello esperto falliscono nell'esecuzione accurata su hardware commerciale a causa dei limiti del controllore.
• Uno strato di correzione leggero e non intrusivo all'interfaccia policy-controllore è sufficiente per colmare questo gap.
• La natura adattiva di APEX consente di funzionare efficacemente anche quando le dinamiche del sistema sono ignote o quando il controllore è una "black box", rendendolo altamente pratico per il deployment nel mondo reale di modelli di apprendimento per imitazione su larga scala.

Limitazioni Riconosciute: L'implementazione attuale richiede la sintonizzazione manuale dei guadagni di adattamento, e il termine di disturbo è trattato come limitato piuttosto che stimato esplicitamente, portando a una convergenza verso un errore residuo anziché a un errore nullo. Il lavoro futuro mira a integrare meccanismi di auto-sintonizzazione e osservatori di disturbo.