Sintesi Tecnica: Reinforcement Twinning per il Controllo Ibrido di Droni ad Ala Battente

Definizione del Problema

Il controllo di micro veicoli aerei ad ala battente (FWMAV) presenta una sfida significativa a causa della loro dinamica intrinsecamente instabile, fortemente non lineare e variabile nel tempo. Questi sistemi sono sottovettati e operano in regimi in cui le forze viscose dominano gli effetti inerziali, portando a complesse interazioni aerodinamiche come i vortici di bordo d'attacco. Inoltre, la produzione su piccola scala introduce incertezze parametriche e i dati dei sensori sono spesso rumorosi.

Le strategie di controllo tradizionali affrontano un compromesso fondamentale:

• Approcci basati sul modello (MB) (es. LQR, MPC) si affidano a modelli lineari o non lineari semplificati che spesso non riescono a catturare le incertezze variabili nel tempo e le cinematiche complesse, portando a prestazioni scarse durante manovre agili.
• Approcci privi di modello (MF) (es. Reinforcement Learning) evitano assunzioni esplicite di modellazione ma soffrono di scarsa efficienza campionaria, richiedendo un'esplorazione estesa e potenzialmente rischiosa basata su tentativi ed errori per convergere.

Il documento affronta la necessità di un framework di controllo che combini la robustezza della modellazione basata sulla fisica con l'adattabilità dell'apprendimento basato sui dati, specificamente progettato per l'ambiente inefficiente dal punto di vista del campionamento e ad alto rischio del volo degli FWMAV.

Metodologia: Reinforcement Twinning (RT)

Gli autori propongono un framework di Reinforcement Twinning (RT), un'architettura ibrida model-free/model-based progettata per facilitare la collaborazione bidirezionale tra due agenti di apprendimento. Il sistema opera attraverso i seguenti componenti:

1. Architettura a Doppio Agente

Due politiche di controllo parallele vengono addestrate simultaneamente:

• Politica Model-Free ($\pi_{mf}$): Addestrata utilizzando l'algoritmo Deep Deterministic Policy Gradient (DDPG). Interagisce direttamente con l'ambiente reale (una simulazione non lineare e variabile nel tempo, NLTV, del drone) per massimizzare la ricompensa cumulativa.
• Politica Model-Based ($\pi_{mb}$): Addestrata all'interno di un Ambiente Virtuale (un modello surrogato non lineare e invariante nel tempo, NLTI). Questa politica è ottimizzata tramite discesa del gradiente basata su adiata per minimizzare il costo del controllo nel dominio virtuale.

2. Digital Twin Adattivo (Ambiente Virtuale)

L'ambiente virtuale non è un modello statico, ma un digital twin adattivo. Utilizza una formulazione NLTI semplificata derivata dalle forze aerodinamiche ciclicamente mediate.

• Legge di Chiusura: Le forze aerodinamiche sono rappresentate come una funzione polinomiale delle variabili di stato e di controllo (specificamente, una formulazione Modello 3 che include termini di controllo quadratici).
• Identificazione Online: I parametri del modello vengono aggiornati continuamente tramite una procedura di assimilazione dati basata su adiata. Questo processo minimizza la discrepanza tra le traiettorie virtuali e le traiettorie del mondo reale memorizzate in un "buffer di assimilazione", permettendo al modello di adattarsi alle dinamiche evolutive e alle incertezze in tempo reale.

3. Meccanismi di Cooperazione

I due agenti sono coordinati da un Policy Referee che gestisce l'interazione tra il mondo reale e quello virtuale:

• Arbitrato della Politica: Un arbitro seleziona quale politica ($\pi_{mf}$ o $\pi_{mb}$) agisce come controllore "live" nell'ambiente reale. Questa decisione si basa su:
  • Rapporto di Fiducia Real-to-Virtual (RVET): Una metrica che confronta i miglioramenti previsti nell'ambiente virtuale rispetto ai miglioramenti osservati nell'ambiente reale. Se il modello virtuale è incoerente con la realtà, viene implementata la politica model-free.
  • Confronto delle Prestazioni: Se la politica inattiva (quella non attualmente implementata) supera costantemente la politica live nell'ambiente virtuale, può avvenire uno switch.
  • Rilevamento della Stagnazione: Se l'apprendimento ristagna, i pesi vengono clonati dalla politica con prestazioni migliori a quella più debole per prevenire la divergenza.
• Esperienza Condivisa:
  • Le transizioni della politica live (sia essa MF o MB) popolano un Replay Buffer utilizzato per addestrare il critico e l'attore MF.
  • Le traiettorie stato-azione sono memorizzate in un Assimilation Buffer (aggiornato tramite un criterio di massima varianza per garantire la diversità) per identificare e aggiornare la legge di chiusura dell'ambiente virtuale.

Contributi Chiave

Il documento dettaglia tre contributi tecnici primari:

1. Strategia di Identificazione del Modello Online: La formulazione di un'ottimizzazione continua basata su adiata per calibrare un modello non lineare invariante nel tempo (NLTI) semplificato a partire da traiettorie a breve orizzonte generate da un ambiente non lineare variabile nel tempo (NLTV). Ciò consente al modello di adattarsi alle specifiche regioni dello spazio degli stati visitate dalla politica di controllo, piuttosto che fare affidamento su dataset pre-raccolti.
2. Meccanismo di Apprendimento Bidirezionale: A differenza del tipico Model-Based Reinforcement Learning (MBRL) dove il modello supporta principalmente la politica, questo framework stabilisce interazioni reciproche. Il modello guida l'esplorazione nello spazio di controllo, mentre l'agente di reinforcement learning arricchisce i dati utilizzati per l'identificazione del modello.
3. Policy Referee e Collaborazione: La progettazione di un sistema di arbitrato dinamico che gestisce l'implementazione degli agenti in base alla coerenza real-to-virtual, consentendo al sistema di passare tra l'efficienza model-based e la robustezza model-free al variare delle condizioni.

Risultati

Il framework è stato valutato sul controllo longitudinale di un drone ad ala battente (ascesa verticale verso uno stato target) sotto tre distinti scenari di inizializzazione:

1. Calibrazione Offline: Quando il modello virtuale era pre-calibrato su un dataset ricco, il framework ibrido RT ha converguto significativamente più velocemente e con una varianza inferiore rispetto a un approccio DDPG (model-free) standalone. La politica model-based ha guidato la fase iniziale dell'addestramento, agendo come salvaguardia per l'esplorazione.
2. Apprendimento Completamente Online (Inizializzazione Casuale): In scenari in cui sia il modello che la politica partivano con parametri casuali (nessuna conoscenza pregressa), l'approccio puramente model-based non è riuscito a convergere efficacemente a causa del bias iniziale del modello. L'approccio puramente model-free è converguto, ma lentamente. Il framework RT ha superato entrambi i baseline, ottenendo una convergenza più rapida e ricompense finali più elevate. Il sistema ha adattato con successo il modello surrogato online, passando dalla dominanza model-free alla dominanza model-based man mano che il digital twin guadagnava fedeltà.
3. Apprendimento Online con Bias del Modello: Quando il modello iniziale era calibrato su dati con bias significativi (es. aumento di massa del 33% o spostamento del centro di pressione), il framework RT ha corretto con successo il modello surrogato online. Ha mantenuto un apprendimento della politica efficiente e ha raggiunto lo stato target, dimostrando robustezza alle incertezze parametriche e ai cambiamenti dinamici.

Selezione del Modello: Lo studio ha identificato che una legge di chiusura polinomiale includendo termini di controllo quadratici (Modello 3) offriva il miglior compromesso tra accuratezza predittiva e complessità computazionale, raggiungendo coefficienti di correlazione di Pearson superiori a 0,99 per le posizioni longitudinali e verticali.

Significato e Rivendicazioni

Il documento sostiene che il framework Reinforcement Twinning mitiga con successo il compromesso tra l'inefficienza campionaria dell'apprendimento model-free e le imprecisioni del modello del controllo basato sul modello tradizionale. Consentendo l'interazione continua e bidirezionale tra una politica basata sui dati e un modello fisico adattivo, il framework:

• Migliora l'efficienza campionaria e la robustezza nel controllo di sistemi altamente non lineari e variabili nel tempo.
• Permette l'adattamento online a dinamiche evolutive e incertezze parametriche senza richiedere estesi dati di pre-addestramento.
• Fornisce un'architettura generalizzabile per il controllo in tempo reale in ambienti che evolvono dinamicamente, dimostrando specificamente la sua efficacia nel contesto impegnativo del volo di droni ad ala battente.

Gli autori osservano che, sebbene l'attuale studio si concentri sul controllo longitudinale con stima dello stato idealizzata, il lavoro futuro estenderà il framework alla dinamica completa 3D e ne valuterà le prestazioni rispetto a simulazioni CFD ad alta fedeltà.