Riepilogo Tecnico: Un Approccio Euristico per la Sintonizzazione delle Prestazioni nel Controllo di Quadricotteri Basato su RL

Enunciato del Problema

Sebbene l'Apprendimento per Rinforzo (RL) abbia dimostrato capacità impressionanti in compiti di quadricottero ad alta velocità e agili, come le gare di droni e la navigazione in ambienti affollati, spesso manca della capacità di fornire manovre sintonizzabili, precise e controllate richieste per applicazioni come l'ispezione delle infrastrutture. Le tipiche configurazioni di addestramento RL sono rigide, rendendo difficile sintonizzare iterativamente i comportamenti risultanti per soddisfare metriche specifiche della teoria del controllo (ad esempio, tempo di assestamento, sovraelongazione, errore a regime) senza incorrere in costi computazionali proibitivi. Inoltre, a differenza dei classici controllori Proporzionali-Integrali-Derivativi (PID), che offrono euristiche di sintonizzazione intuitive, le funzioni di ricompensa RL sono spesso complesse e difficili da mappare su requisiti specifici di prestazione transitoria e a regime.

Metodologia

Gli autori propongono un nuovo approccio euristico per ottenere prestazioni sintonizzabili nel controllo end-to-end di quadricotteri basato su RL, manipolando la progettazione della ricompensa e le condizioni di terminazione. Il sistema è modellato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP) utilizzando l'algoritmo di Ottimizzazione della Politica Prossimale (PPO).

1. Sistema e Osservazione

• Piattaforma: Lo studio utilizza un quadricottero Crazyflie 2.1 in configurazione $X$.
• Dinamica: Il sistema impiega quaternioni unitari per l'orientamento per evitare singolarità, modellando la dinamica del corpo rigido inclusa la spinta, la coppia e la gravità.
• Spazio di Osservazione: L'agente osserva un vettore a 17 dimensioni composto da errore di posizione, errore del quaternione, velocità lineare, velocità angolare e l'azione precedente. Rumore gaussiano viene iniettato in tutti i componenti dello stato (tranne l'azione precedente) per migliorare la robustezza contro il rumore del sensore in tempo reale.
• Spazio di Azione: La politica produce valori normalizzati di giri al minuto (RPM) dei motori, mappati direttamente sui quattro motori del drone.

2. Progettazione della Funzione di Ricompensa

È stata progettata una funzione di ricompensa multi-componente per guidare la politica verso un controllo stabilizzante:
$$R(t) = s_R + \lambda_1 e^R_{xy} + \lambda_2 e^R_{z} + \lambda_3 v_R + \lambda_4 \theta_R - \lambda_5 a^P_{\Delta}$$

• Ricompensa di Sopravvivenza ($s_R$): Incentiva l'agente a evitare collisioni o stati non sicuri.
• Ricompense per l'Errore di Posizione ($e^R_{xy}, e^R_z$): Utilizza ricompense esponenziali a doppia banda. Questa struttura divide la ricompensa in coefficienti che influenzano la risposta iniziale ($\alpha$) e la precisione a regime ($\beta$).
• Ricompense per Velocità e Angolo ($v_R, \theta_R$): Premia la riduzione della velocità lineare e dell'errore di orientamento (misurato tramite angolo geodetico).
• Penalità per la Liscezza ($a^P_{\Delta}$): Penalizza la norma euclidea quadrata della differenza tra azioni consecutive, agendo come termine di smorzamento per incoraggiare un comportamento di controllo simile alla derivata.

3. Condizioni di Terminazione e Troncamento

Gli autori definiscono condizioni specifiche di fallimento (ad esempio, scendere sotto i 10 cm, accelerazione eccessiva) e orizzonti di troncamento. Queste condizioni sono sintonizzate per vincolare il comportamento del quadricottero, influenzando l'agilità e la natura criticamente smorzata della risposta.

4. Regole di Sintonizzazione Euristica

Il contributo principale è un insieme di euristiche intuitive per regolare i pesi della ricompensa, i coefficienti esponenziali e i limiti di terminazione per spostare le prestazioni tra tre modalità distinte:

• Baseline: Una risposta criticamente smorzata con basso errore a regime.
• Acrobatica (Più veloce): Ottenuta aumentando la banda passante della risposta iniziale degli errori di posizione e rilassando i vincoli di velocità, consentendo tempi di assestamento più rapidi.
• Ispezione (Più lenta): Ottenuta riducendo i limiti di terminazione della velocità, aumentando la nitidezza delle ricompense per l'errore di posizione e rilassando le ricompense di sopravvivenza per evitare minimi locali, risultando in transienti più lisci e lenti.

Contributi Chiave

1. Struttura di Ricompensa Innovativa: Introduzione di ricompense esponenziali a doppia banda che ottengono una risposta di base criticamente smorzata con bassi errori a regime nel tracciamento del punto di riferimento.
2. Euristiche Sintonizzabili: Un quadro di regole intuitive per regolare i pesi della ricompensa e le condizioni di terminazione per produrre tempi di assestamento "simili ad acrobazie" (veloci) e "simili all'ispezione" (lenti), mantenendo le caratteristiche di errore a regime di base.
3. Efficienza del Campione: Dimostrazione che le prestazioni desiderate possono essere ottenute in circa 6 milioni di passi temporali utilizzando PPO, senza richiedere architetture ibride complesse (ad esempio, RL a cascata con PID).
4. Validazione Statistica: Validazione su 100 prove con condizioni iniziali casuali, dimostrando prestazioni coerenti nel tracciamento di posizione e imbardata (yaw).

Risultati

Gli autori hanno addestrato tre politiche distinte (Baseline, Acrobatica, Ispezione) utilizzando gli stessi iperparametri PPO.

• Efficienza dell'Addestramento: Tutte le politiche hanno raggiunto la saturazione della ricompensa a 6 milioni di passi temporali. La varianza tra i semi casuali è stata bassa, indicando stabilità.
• Metriche di Prestazione:
  • Tempo di Assestamento: La politica Acrobatica ha costantemente ottenuto tempi di assestamento più brevi, mentre la politica Ispezione ha mostrato transienti più lunghi e lisci rispetto alla Baseline.
  • Sovraelongazione: Le variabili di posizione x, y e z hanno mostrato un Intervallo Interquartile (IQR) nullo nella sovraelongazione, indicando che almeno il 75% delle prove ha raggiunto la risposta criticamente smorzata prevista. La sovraelongazione dell'imbardata è stata maggiore, attribuita alle condizioni iniziali randomizzate.
  • Errore a Regime: Tutte e tre le politiche hanno mantenuto errori a regime entro la banda prescritta del 2% per posizione e imbardata.
• Attuazione del Motore: La politica Ispezione ha richiesto meno attuazione del motore e si è assestata più rapidamente in termini di stabilizzazione degli RPM rispetto alla politica Acrobatica più aggressiva.

Significato e Affermazioni

Il documento afferma che l'approccio euristico proposto costituisce una metodologia affidabile e pratica per la progettazione di controllori di quadricotteri basati su RL con prestazioni stabilizzanti sintonizzabili. A differenza di approcci ibridi precedenti che si concentrano sull'addestramento di una singola politica con aspettative fisse, questo lavoro fornisce un meccanismo per controllare le caratteristiche di prestazione della politica (transitoria vs. a regime) attraverso regolazioni intuitive dei parametri.

Gli autori sottolineano che questo approccio colma il divario tra la flessibilità del RL e la prevedibilità della teoria del controllo classica, consentendo la generazione di controllori adatti a diverse applicazioni, dalle gare ad alta velocità all'ispezione precisa delle infrastrutture. Il lavoro è modesto nel suo ambito, concentrandosi sulla validazione basata sulla simulazione con rumore gaussiano, e identifica esplicitamente il trasferimento sim-reale, la randomizzazione del dominio, la latenza e le limitazioni computazionali a bordo come aree necessarie per lavori futuri.