Riepilogo Tecnico: Controllo Adattivo ad Anello Esterno per Quadricotteri tramite Apprendimento per Rinforzo

Enunciato del Problema

Il controllo del volo autonomo dei quadricotteri in ambienti complessi e reali incontra sfide significative a causa di dinamiche non modellate, quali disturbi aerodinamici severi, usura degli attuatori e variazioni improvvise del carico utile. I metodi di controllo tradizionali (PID, LQR, MPC) si basano su modelli matematici espliciti e spesso degradano rapidamente in presenza di tali incertezze. Sebbene l'Apprendimento per Rinforzo Profondo (DRL) offra un'alternativa senza modello, i controller DRL standard addestrati in simulazione soffrono del divario "sim-to-real". La soluzione prevalente, la Randomizzazione del Dominio (DR), produce politiche robuste ma costringe il controller ad apprendere un'unica strategia eccessivamente conservativa che massimizza le prestazioni nel caso peggiore. Questo approccio sacrifica l'agilità e le prestazioni ottimali in condizioni nominali, poiché il controller rimane ignaro dello stato istantaneo dell'ambiente.

La domanda di ricerca centrale affrontata è: Come può un controller di volo basato sull'apprendimento stimare dinamicamente le perturbazioni fisiche non modellate dagli stati passati e utilizzare queste informazioni latenti per mantenere prestazioni di tracciamento ottimali, colmando al contempo in modo trasparente il divario sim-to-real?

Metodologia

Gli autori propongono una nuova architettura di controllo adattivo che supera le politiche statiche e conservative consentendo al controller di percepire e reagire attivamente ai disturbi istantanei. Il sistema è basato su una struttura di controllo a cascata in cui una politica di Apprendimento per Rinforzo (RL) di alto livello funge da controller ad anello esterno, generando velocità di corpo e spinta collettive desiderate, che vengono tracciate da un controller di velocità PID onboard.

La metodologia consta di tre componenti principali:

1. Controller Adattivo con Baseline Oracle:
   Per stabilire un limite superiore delle prestazioni, gli autori addestrano inizialmente una politica RL insieme a un "Oracle" che ha accesso alle perturbazioni ambientali 6D vere e proprie (forze e momenti). Questa politica apprende risposte ottimali a specifiche variazioni dinamiche anziché un compromesso generalizzato. Tuttavia, poiché i micro-UAV fisici mancano dei sensori per misurare queste forze in tempo reale, questo Oracle non può essere dispiegato direttamente.

2. Predittore di Dinamiche Residua (RDP):
   Per sostituire l'Oracle durante il dispiegamento nel mondo reale, gli autori introducono una Rete Neurale Ricorrente (RDP) progettata come un estimatore di stato non lineare e implicito. L'RDP stima forze e momenti esterni 6D non osservati utilizzando esclusivamente una storia temporale degli stati del veicolo e segnali di attuazione di basso livello.

   • Input: L'RDP riceve una finestra di stati cinematici del veicolo, azioni precedenti dell'anello esterno e, crucialmente, i segnali di Modulazione di Larghezza di Impulso (PWM) a 4 dimensioni comandati ai singoli motori. L'inclusione dei segnali PWM è vitale per catturare gli stati transitori degli attuatori e il ritardo del motore.
   • Architettura: La rete utilizza Unità Ricorrenti a Cancello (GRU) per elaborare una finestra storica scorrevole di osservazioni standardizzate, producendo in output un vettore di perturbazione 6D previsto.

3. Ponte di Calibrazione Sim-to-Real Efficiente in Dati:
   Per affrontare la discrepanza tra gli estimatori addestrati in simulazione e la realtà fisica, gli autori introducono un leggero strato di calibrazione lineare. Invece di un riaddestramento esteso, utilizzano un dataset minimo (tre brevi campioni di volo) per adattare un modello di regressione lineare multivariata. Questo ponte corregge gli offset allo stato stazionario (ad esempio, dovuti ad asimmetrie nella distribuzione della massa o curve di tensione della batteria). Inoltre, un meccanismo di correzione della spinta online accumula errori di tracciamento dell'altitudine per regolare gli offset di forza verticale costanti, garantendo che lo spazio latente dell'estimatore sia allineato con la realtà fisica.

Contributi Chiave

• Controller RL Adattivo: Sviluppo di un controller ad anello esterno addestrato con un Oracle per apprendere risposte ottimali a forze esterne variabili, allontanandosi dalla natura conservativa della DR.
• Predittore di Dinamiche Residua (RDP): Progettazione di una rete neurale ricorrente che predice implicitamente perturbazioni fisiche 6D utilizzando solo la storia degli stati e i comandi dei motori, sostituendo efficacemente la necessità di sensori di disturbo veri e propri.
• Ponte Sim-to-Real Efficiente in Dati: Introduzione di un leggero strato di calibrazione lineare e di una correzione della spinta online che allineano gli estimatori addestrati in simulazione con la realtà utilizzando pochi secondi di dati di volo, eliminando la necessità di grandi dataset nel mondo reale.

Risultati Sperimentali

L'approccio è stato validato su un micro-quadricottero Bitcraze Crazyflie 2.X in tre scenari reali: variazione della massa del carico centrale, distribuzione asimmetrica del carico e tracciamento di traiettorie dinamiche con carico sospeso.

• Variazione del Carico Centrale: Il controller adattivo con l'RDP appreso ha raggiunto un Errore Quadratico Medio (RMSE) compreso tra 0,024 m e 0,030 m per aumenti del carico dal 0% al 25%. Ciò ha superato sia il Controller Base (che è degradato a 0,160 m al 25% di carico) sia il Controller Robusto (che ha mostrato instabilità oscillatoria severa anche al 0% di carico). Notabilmente, il controller basato su RDP ha performato leggermente meglio della versione basata su Oracle, suggerendo che la rappresentazione latente appresa compensa implicitamente le discrepanze di modellazione meglio degli input fisici rigidi.
• Carico Asimmetrico: In scenari che inducono disturbi traslazionali e rotazionali accoppiati, il controller adattivo ha mantenuto errori di tracciamento significativamente inferiori rispetto alle baseline. L'RDP ha stimato con successo i momenti di rollio e beccheggio indotti, permettendo al controller di disaccoppiare e contrastare queste coppie.
• Tracciamento di Traiettoria Dinamica: Durante il tracciamento di una traiettoria a otto con un carico sospeso, il sistema ha mantenuto un volo stabile anche all'aumentare dell'aggressività della traiettoria (il periodo T ridotto da 15s a 3s). Sebbene l'errore di tracciamento sia aumentato con l'aggressività a causa delle limitazioni di banda, il sistema è rimasto stabile senza divergenza. L'RDP ha catturato con successo le dinamiche oscillanti variabili nel tempo del carico sospeso.

Significato e Affermazioni

Il documento afferma che l'adattamento attivo in tempo reale è fondamentalmente superiore alla robustezza passiva (DR) per mantenere un tracciamento di volo stabile e ottimale. Le intuizioni chiave includono:

• Sufficienza della Stima Implicita: Forze e momenti esterni complessi 6D possono essere ricostruiti accuratamente senza sensori di forza-coppia specializzati, utilizzando solo la cinematica onboard standard e i segnali degli attuatori.
• Stima Rilevante per il Controllo vs. Esatta: La ricostruzione precisa delle quantità fisiche vere e proprie non è strettamente necessaria per alte prestazioni. Un errore di stima limitato (ad esempio, 3%–7% nella stima della massa) è sufficiente, a condizione che la rete generi una rappresentazione coerente e rilevante per il controllo delle tendenze del disturbo.
• Trasferimento Sim-to-Real Efficiente: La discrepanza tra simulazione e realtà può essere approssimata da una relazione lineare di basso ordine. Ciò consente un efficace colmamento del divario sim-to-real utilizzando una leggera calibrazione lineare e una correzione online, evitando complesse adattazioni di dominio non lineari o riaddestramenti estesi.
• Efficacia dell'Addestramento Disaccoppiato: L'addestramento di una politica ottimale con un Oracle prima di passare a un estimatore appreso aggira l'instabilità e l'inefficienza nel campionamento spesso associate all'RL end-to-end in ambienti parzialmente osservabili.

Gli autori concludono che questa architettura permette ai micro-quadricotteri di operare sotto severe incertezze dinamiche, come variazioni di massa e carichi sospesi dinamici, con una precisione che supera significativamente le baseline classiche e RL robuste. Il lavoro futuro mira ad estendere questo framework a raffiche di vento turbolente e piattaforme più grandi.