Sintesi Tecnica: RecoverFly

Problematica

La navigazione visivo-linguistica per veicoli aerei senza pilota (UAV-VLN) richiede che gli agenti traducano le osservazioni visive e le istruzioni in linguaggio naturale in azioni di volo affidabili all'interno di ambienti 3D complessi e su larga scala. Sebbene recenti politiche Vision-Language-Action (VLA) end-to-end (ad esempio, AerialVLA) abbiano ridotto la dipendenza da una percezione e pianificazione modulare mappando direttamente le osservazioni ai controlli, esse affrontano limitazioni significative nell'esecuzione in loop chiuso:

1. Mancanza di Supervisione Correttiva: Il behavior cloning (BC) si addestra su dimostrazioni di esperti ma non riesce a imparare dagli errori dell'agente durante l'inferenza. Gli errori locali (ad esempio, deriva, occlusione) si accumulano nel corso di lunghe traiettorie, portando a collisioni, atterraggi prematuri o mancato raggiungimento del target.
2. Utilizzo Inefficiente dei Campioni in RL: L'applicazione diretta del Reinforcement Learning (RL) alle politiche VLA autoregressive è ostacolata dal feedback sparso, dove gli eventi di fallimento possono derivare da una sequenza di azioni piuttosto che da un singolo step. Inoltre, il campionamento online standard spesso scarta rapidamente i casi di fallimento informativi, e gli squilibri nelle scene causano un'ottimizzazione focalizzata sugli ambienti frequenti, trascurando i casi rari (long-tail).
3. Spostamento della Distribuzione della Policy: Gli aggiornamenti RL non vincolati possono degradare le capacità di navigazione precedentemente acquisite, in particolare quando ci si adatta a nuove mappe o oggetti.

I metodi esistenti spesso si affidano a pianificatori gerarchici o moduli esterni per mitigare questi problemi, ma non affrontano in modo esaustivo le sfide del feedback in loop chiuso sparso, dell'adattamento alle scene long-tail e dello spostamento della policy all'interno di un unico framework end-to-end.

Metodologia: RecoverFly

RecoverFly è un framework di RL post-training consapevole dei fallimenti, progettato per ottimizzare le politiche end-to-end UAV-VLA. Integra quattro componenti principali per consentire un apprendimento stabile e correttivo:

1. RL a livello di Token per Azioni con Vincoli Grammaticali

A differenza del classico PPO a azione continua, RecoverFly adatta l'RL all'output a livello di token dei modelli VLA autoregressivi.

• Rappresentazione dell'Azione: La policy genera una sequenza di token di azione vincolata da una specifica grammatica (tre token di controllo numerico per la progressione in avanti, il movimento verticale e lo yaw, seguiti da un eventuale token LAND).
• Ottimizzazione: Il framework applica l'obiettivo surrogato clippato separatamente a ciascun token di azione valido all'interno di una sequenza, assegnando una stima dell'advantage condivisa a tutti i token che codificano la stessa azione. Ciò consente aggiornamenti granulari nello spazio autoregressivo nativo preservando il segnale di apprendimento per l'intero step d'azione.

2. Replay Dinamico dei Fallimenti

Per affrontare la rapida diluizione dei casi di fallimento difficili nel campionamento online, RecoverFly introduce un meccanismo di replay dinamico dei fallimenti.

• Meccanismo: Invece di memorizzare vecchie traiettorie, il sistema mantiene un pool di inizializzazioni di task non risolte (identificate per scena e tipo di fallimento).
• Processo: Durante l'addestramento, l'agente campiona un mix di nuovi task e task non risolti dal pool. Dopo ogni rollout, le istanze fresche fallite vengono aggiunte al pool, i replay riusciti sono contrassegnati come risolti e i casi persistentemente insolubili vengono scartati.
• Beneficio: Ciò garantisce che la policy tenti ripetutamente di risolvere i casi di fallimento ad alto valore sotto l'attuale policy, convertendo il feedback di fallimento sparso in esperienza correttiva riutilizzabile senza violare i vincoli on-policy.

3. Curriculum a Due Stadi per Scene Long-Tail

Per mitigare lo squilibrio di campionamento a livello di scena, RecoverFly impiega una strategia di curriculum learning:

• Stadio I: Campiona le scene in base alle loro frequenze empiriche nel dataset di addestramento per stabilire le capacità di navigazione di base.
• Stadio II: Transita verso una strategia di campionamento a quota uguale, assicurando che le scene rare siano visitate con la stessa frequenza di quelle comuni.
• Obiettivo: Questo sposta progressivamente la distribuzione di addestramento verso le scene long-tail, migliorando la generalizzazione a mappe inedite e rotte difficili senza sovra-adattarsi agli scenari frequenti.

4. Regolarizzazione KL della Reference-Policy

Per prevenire il forgetting catastrofico e l'eccessivo drift della policy, RecoverFly incorpora un termine di regolarizzazione Kullback-Leibler (KL) a stadi.

• Ancoraggio: Lo Stadio I ancora gli aggiornamenti alla policy VLA pre-addestrata iniziale. Lo Stadio II ancora gli aggiornamenti alla policy alla fine dello Stadio I.
• Effetto: Questo impedisce alla policy di deviare troppo dalle capacità acquisite, bilanciando il compromesso tra l'adattamento a nuovi scenari e il mantenimento di robuste capacità di navigazione.

Contributi Chiave

1. Framework RL Integrato per UAV-VLA End-to-End: Gli autori propongono RecoverFly, un framework di post-training unificato che adatta l'RL a livello di token per comandi UAV con vincoli grammaticali, consentendo un'ottimizzazione stabile in loop chiuso delle azioni autoregressive.
2. Apprendimento di Replay Consapevole dei Fallimenti: Un meccanismo innovativo che conserva e rivisita i casi di navigazione non risolti, migliorando l'utilizzo del feedback di fallimento sparso e rafforzando l'apprendimento correttivo senza applicare aggiornamenti a traiettorie obsolete.
3. Adattamento Long-Tail con Stabilità: L'introduzione di un curriculum di scene a due stadi combinato con la regolarizzazione KL della reference-policy, che rafforza l'apprendimento dalle scene sottorappresentate limitando al contempo lo spostamento della distribuzione della policy e preservando le capacità pregresse.

Risultati Sperimentali

Il framework è stato valutato sul benchmark TravelUAV, confrontando RecoverFly con controlli euristici, metodi UAV-VLN specifici per il task, modelli di navigazione generalisti e la baseline AerialVLA.

• Guadagni di Performance: RecoverFly ha ottenuto le migliori prestazioni in tutte e tre le suddivisioni di valutazione (Seen, Unseen-Map, Unforseen-Object).
  • Rispetto all'inizializzazione di AerialVLA, RecoverFly ha migliorato il Success Rate (SR) di 3,12 - 8,37 punti percentuali attraverso le diverse suddivisioni.
  • Sulla sottoparte "Hard" degli ambienti Seen, il miglioramento del SR ha raggiunto i 10,08 punti percentuali.
  • Sulle traiettorie "Hard" di Unseen-Map, l'errore di navigazione (NE) è diminuito di 19,23 metri.
• Efficienza: Questi miglioramenti sono stati ottenuti con un budget totale di rollout di circa il 30% della dimensione del set di addestramento, dimostrando un'elevata efficienza campionaria.
• Studi di Ablazione:
  • Failure Replay: Isolare questo componente ha mostrato che esso aumenta significativamente le prestazioni sulle suddivisioni Seen e Unseen-Object, ma può influenzare negativamente le performance su Unseen-Map senza il curriculum, evidenziando la necessità di un bilanciamento nell'esposizione delle scene.
  • Regolarizzazione KL: Questo componente è stato cruciale per recuperare le prestazioni sulle suddivisioni Unseen-Map, prevenendo l'eccessivo drift dalla policy iniziale.
  • Curriculum: Il curriculum a due stadi ha superato sia il campionamento uniforme che quello basato sulla distribuzione originale, confermando i ruoli complementari dell'instaurazione di baseline e del successivo bilanciamento dell'esposizione alle scene rare.

Significato e Claim

L'articolo sostiene che RecoverFly stabilisca un metodo pratico di post-training che affronta congiuntamente il feedback in loop chiuso sparso, l'adattamento alle scene long-tail e il drift della policy. Integrando l'ottimizzazione dell'azione a grana fine, l'apprendimento orientato ai fallimenti e l'aggiornamento stabile della policy, RecoverFly dimostra che il post-training tramite RL può trasformare efficacemente le politiche VLA end-to-end da agenti basati su behavior cloning in navigatori robusti e capaci di autocorrezione. Il lavoro suggerisce che rivisitare i task non risolti e spostare le distribuzioni di addestramento verso le scene rare siano elementi critici per migliorare la generalizzazione nella navigazione aerea, fornendo una via percorribile per avanzare le capacità UAV-VLN senza ricorrere a moduli di percezione esterni o pianificatori gerarchici.