Sintesi Tecnica: Apprendimento per Rinforzo con Stimatore della Dinamica dell'Inner-loop per la Manipolazione Aerea sotto Incertezza

Definizione del Problema

I manipolatori aerei, che integrano UAV multirotore con bracci robotici, sono essenziali per l'interazione fisica in ambienti 3D complessi. Tuttavia, ottenere una manipolazione aerea whole-body diretta affidabile rimane una sfida significativa. La difficoltà principale risiede nel forte accoppiamento tra la base aerea sottovolante e il braccio manipolatore. Movimenti rapidi del braccio, variazioni del carico utile (presa/rilascio) e disturbi esterni causano spostamenti transitori del centro di gravità, dell'inerzia e dell'accoppiamento dinamico. Queste incertezze sono difficili da modellare analiticamente, rendendo il controllo stabile e preciso in condizioni operative variabili un problema in gran parte irrisolto. I metodi esistenti spesso si affidano a modelli lineari semplificati o strategie di controllo disaccoppiate che non tengono conto di queste dinamiche non lineari e accoppiate, portando a prestazioni degradate durante manovre aggressive o variazioni del carico.

Metodologia

Gli autori propongono un framework di controllo gerarchico che combina l'Apprendimento per Rinforzo (RL) per la coordinazione di alto livello con uno stimatore della dinamica dell'inner-loop per la compensazione dell'incertezza di basso livello. Il sistema opera senza richiedere un modello dinamico accoppiato completamente accurato nello strato della policy.

1. Architettura Gerarchica

• Outer Loop (RL Policy): Una policy appresa mappa una posa target desiderata dell'end-effector a 6 DOF in comandi coordinati whole-body. Lo spazio delle osservazioni (33 dimensioni) include errori geometrici nello spazio del compito, stati della base (posizione, velocità, assetto) e stati dei giunti. Lo spazio delle azioni (10 dimensioni) produce l'accelerazione lineare desiderata della base, l'imbato (yaw) desiderato, i tassi di corpo desiderati e le posizioni dei giunti desiderate.
  • Addestramento: La policy è addestrata utilizzando l'Ottimizzazione della Politica Prossimale (PPO) in una simulazione vettorizzata accelerata da GPU (Aerial Gym) con randomizzazione del dominio (variando massa del carico, lunghezze dei link, costanti temporali dei motori, ecc.).
  • Reward Shaping: La funzione di ricompensa utilizza uno shaping esponenziale a due scale per bilanciare la convergenza globale (raggiungimento del target) con la precisione locale (mantenimento della stabilità e della fluidità). Una ricompensa di progresso temporale incoraggia il movimento verso l'obiettivo penalizzando il movimento all'indietro per prevenire oscillazioni.
• Inner Loop (Estimator-Based Controller): Questo strato traccia i comandi di alto livello generati dalla policy RL. Impiega uno stimatore della dinamica basato sul ritardo per compensare gli spostamenti inerziali transitori e l'accoppiamento non modellato senza conoscenza pregressa del sistema.
  • Il controllore tratta la dinamica ignota raggruppata (inclusi termini di accoppiamento, forze di Coriolis e disturbi) come una funzione di incertezza $\bar{H}_\eta$.
  • Utilizzando una matrice d'inerzia nominale diagonale $\bar{M}_\eta$ e un ritardo $L$, il controllore stima l'incertezza $\hat{\bar{H}}_\eta(t)$ dai passati stati e input di controllo: $\hat{\bar{H}}_\eta(t) = \tau_\eta(t-L) - \bar{M}_\eta \ddot{\eta}(t-L)$.
  • La legge di controllo combina un termine di tracciamento standard con questa incertezza stimata per generare comandi di coppia a basso livello sia per il corpo del quadrotor che per i giunti del manipolatore.

2. Implementazione del Sistema

Il framework è stato convalidato su una piattaforma hardware personalizzata composta da un quadrotor Tarot-450, un manipolatore a 3-DoF Dynamixel e un Jetson Orin Nano Super per il calcolo di alto livello. La policy RL opera a 100 Hz, mentre il controllore dell'inner-loop opera a 300 Hz.

Contributi Chiave

1. Architettura Gerarchica: Un'integrazione innovativa della generazione di comandi whole-body basata su RL con un inner-loop basato su stimatore per il tracciamento e la compensazione dell'incertezza.
2. Strato di Esecuzione Model-Free: Uno strato di esecuzione basato sulla stima della dinamica capace di gestire i cambiamenti di accoppiamento UAV-braccio transitori, inclusi i cambiamenti di inerzia derivanti da eventi di presa/rilascio e dal movimento rapido del manipolatore, senza richiedere un modello di sistema a priori.
3. Valutazione Robusta: Valutazione completa in condizioni off-nominali, specificamente variazioni delle condizioni di carico e accoppiamento dinamico durante il movimento del braccio.
4. Miglioramento Dimostrato: Evidenza empirica che mostra come la combinazione di coordinazione appresa e feedback basato su stimatore migliori significativamente l'accuratezza della regolazione e la fluidità dell'end-effector sotto incertezza dinamica.

Risultati Sperimentali

Il metodo proposto è stato testato su una traiettoria planare a forma di otto con carichi variabili (200g e 400g) e velocità variabili (0.5 m/s e 1.0 m/s), inclusi i processi di pick-up e drop-off in volo. È stato confrontato con due baseline: RL+PID e RL+INDI+PID (Controllo Adattivo Indiretto).

• Accuratezza di Tracciamento: Il metodo proposto ha ottenuto l'errore quadratico medio (RMSE) più basso in tutte le condizioni testate.
  • Rispetto a RL+PID, ha ridotto l'RMSE medio del 40,9%.
  • Rispetto a RL+INDI+PID, ha ridotto l'RMSE medio del 26,4%.
• Tasso di Successo: Il metodo proposto ha dimostrato tassi di successo del compito più elevati, in particolare in scenari aggressivi (ad esempio, carico da 400g a 1.0 m/s), dove le baseline hanno mostrato un significativo degrado delle prestazioni.
• Ripetibilità: La deviazione standard dell'RMSE è stata la più bassa per il metodo proposto (0.024 m) rispetto alle baseline (0.038 m e 0.062 m), indicando una ripetibilità superiore sotto variabilità hardware.

Significato e Rivendicazioni

L'articolo sostiene che l'approccio proposto affronta efficacementamente la sfida aperta della manipolazione aerea whole-body diretta sotto cambiamenti improvvisi di carico e incertezza dinamica. Gli autori affermano che la coordinazione whole-body appresa è più efficace quando accoppiata alla compensazione di basso livello basata su stimatore. Questa combinazione permette al sistema di:

• Generare comandi a livello di task senza fare affidamento su un modello analitico accurato delle dinamiche accoppiate.
• Compensare in tempo reale gli spostamenti inerziali transitori e i disturbi non modellati.
• Migliorare precisione, robustezza e ripetibilità nei regimi di alta velocità e alto carico dove i tradizionali approcci basati su modelli o semplificati tramite apprendimento faticano.

I risultati sono presentati come forte evidenza empirica a supporto dell'efficacia di questo design gerarchico, sebbene gli autori notino che lo studio è limitato allo specifico esperimento hardware della figura a otto e non include test di significatività formale.