GRaD-Nav++: Vision-Language Model Enabled Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics

Riepilogo Tecnico di GRaD-Nav++: Navigazione Visiva per Droni Abilitata da Modelli Vision-Language con Campi di Radianza Gaussiana e Dinamiche Differenziabili

Enunciazione del Problema
Il documento affronta la sfida di abilitare droni autonomi a interpretare ed eseguire istruzioni di alto livello in linguaggio naturale in ambienti non strutturati. Sebbene i recenti progressi nelle pipeline modulari di percezione-pianificazione-controllo, nell'apprendimento per imitazione e nell'apprendimento per rinforzo (RL) abbiano migliorato le capacità dei droni, i metodi esistenti spesso fanno affidamento su abilità progettate manualmente, su un'estesa sintonizzazione dei parametri o su modelli su larga scala inadatti al dispiegamento a bordo. Inoltre, gli approcci attuali che utilizzano Modelli Linguistici di Grande Formato (LLM) o Modelli Vision-Language (VLM) impiegano tipicamente architetture stratificate che creano un collo di bottiglia tra il processo decisionale di alto livello e il controllo di basso livello, oppure richiedono il supporto di una stazione a terra a causa di vincoli computazionali. Rimane un divario significativo tra i sistemi attuali e agenti capaci di comprendere intenzioni umane astratte e adattarsi a compiti e ambienti nuovi senza infrastruttura esterna.

Metodologia
Gli autori propongono GRaD-Nav++, un framework leggero Vision-Language-Action (VLA) progettato per essere eseguito interamente a bordo di un drone. Il sistema integra tre componenti principali:

1. Ambiente di Addestramento (3DGS & DiffRL): Per ottenere una simulazione visiva ad alta fedeltà e un addestramento efficiente dal punto di vista del campionamento, gli autori sfruttano lo 3D Gaussian Splatting (3DGS) per il rendering fotorealistico a velocità interattive. Questo è accoppiato con l'Apprendimento per Rinforzo Differenziabile (DiffRL), che utilizza dinamiche di quadrotore differenziabili per accelerare l'apprendimento della politica tramite ottimizzazione basata sul gradiente. Questa pipeline ibrida consente un apprendimento efficiente del controllo di basso livello da input visivi e linguistici senza il costo computazionale della simulazione basata su mesh o del rendering NeRF.
2. Architettura del Modello:
   • Modello Vision-Language (VLM): Un modello CLIP pre-addestrato codifica istruzioni in linguaggio naturale e immagini RGB in prima persona. Per adattarsi ai vincoli a bordo (NVIDIA Jetson Orin Nano), il VLM viene eseguito in modo asincrono, aggiornando il vettore delle caratteristiche semantiche ogni 10 step temporali.
   • Rete di Politica (MoE): La politica di controllo principale impiega un'architettura Mixture-of-Experts (MoE) con una testata di azione multi-testa. Una rete di gating instrada adattivamente il calcolo a un sottoinsieme di reti specializzate (top-k=2) per ogni input. Questo design mira a migliorare la generalizzazione attraverso compiti e ambienti, mitigando al contempo la dimenticanza catastrofica, mantenendo un numero ridotto di parametri per l'inferenza in tempo reale.
   • Stimatore del Contesto: Una rete Stimatore del Contesto (CENet) basata su un $\beta$-Variational Autoencoder ($\beta$-VAE) elabora le osservazioni storiche per generare un vettore latente, contribuendo a mitigare il divario sim-to-real e a migliorare la robustezza.
3. Procedura di Addestramento: La politica viene addestrata utilizzando una funzione di ricompensa focalizzata sul controllo dinamico fluido, sul tracciamento dei waypoint e sull'evitamento degli ostacoli. L'addestramento coinvolge la generalizzazione multi-task (apprendimento del ragionamento spaziale sequenziale e dell'ancoraggio degli oggetti) e l'adattamento multi-ambiente (addestramento attraverso distinti ambienti 3DGS).

Contributi Chiave

• Framework VLA a Bordo: La proposta di un framework VLA per il volo del drone completamente a bordo, che opera senza infrastruttura esterna o supporto da stazione a terra.
• Generalizzazione e Adattamento: Dimostrazione che la politica VLA può completare compiti di navigazione basati su istruzioni in linguaggio naturale di alto livello, mostrando generalizzazione verso compiti non visti e adattamento a molteplici ambienti.
• Modulo di Azione MoE Innovativo: L'introduzione di un modulo di azione MoE multi-testa addestrato tramite 3DGS e DiffRL, che raggiunge prestazioni all'avanguardia in termini di efficienza del campionamento e tassi di successo dei compiti rispetto alle baseline standard.

Risultati Sperimentali
Gli autori hanno valutato il framework sia in simulazione che su hardware reale (un drone equipaggiato con una camera Intel Realsense D435 e Jetson Orin Nano).

• Generalizzazione Multi-Task: In simulazione, il metodo ha raggiunto un tasso di successo dell'83% sui compiti addestrati e del 75% sui compiti non visti. Sull'hardware reale, ha ottenuto il 67% sui compiti addestrati e il 50% su quelli non visti. Gli studi di ablazione hanno confermato che la rimozione del VLM o l'uso della Proximal Policy Optimization (PPO) standard senza DiffRL ha portato a tassi di successo vicini allo zero, evidenziando la necessità del VLM per l'ancoraggio e del DiffRL per l'efficienza del campionamento.
• Adattamento Multi-Ambiente: In esperimenti attraverso ambienti simulati e reali diversificati, la politica MoE ha raggiunto un tasso di successo medio dell'81% in simulazione e del 67% in ambienti reali. Crucialmente, l'architettura MoE ha superato significativamente le baseline a singolo esperto e a rete grande nel prevenire la dimenticanza catastrofica durante il passaggio tra ambienti.
• Cambiamento di Compito e Robustezza: Il sistema ha dimostrato la capacità di adattarsi a metà volo a istruzioni mutevoli (ad esempio, passando da "vola a sinistra" a "vola a destra"), con i punteggi di similarità del VLM che riflettono dinamicamente il nuovo allineamento semantico.
• Scalabilità: Gli esperimenti hanno mostrato che, sebbene l'aumento del numero di esperti (a 4 o 8) migliorasse leggermente le prestazioni in simulazione, degradava le prestazioni nel mondo reale a causa della latenza computazionale (riducendo la frequenza di controllo a 10 Hz), confermando il compromesso tra capacità del modello e vincoli di inferenza a bordo.

Significato e Affermazioni
Il documento afferma di stabilire un nuovo benchmark per il volo VLA completamente a bordo, dimostrando che modelli compatti ed efficienti possono abilitare una navigazione affidabile guidata dal linguaggio senza fare affidamento su infrastrutture esterne. Gli autori sottolineano che il loro approccio colma il divario tra la comprensione semantica di alto livello e il controllo di basso livello attraverso un'architettura unificata e end-to-end.

Tuttavia, gli autori mantengono un ambito modesto riguardo alle loro affermazioni. Dichiarano esplicitamente che la politica si adatta a nuove combinazioni di sottocompiti visti individualmente durante l'addestramento, ma fallisce su istruzioni composte interamente da sottocompiti non visti. Di conseguenza, non affermano che GRaD-Nav++ sia una soluzione generale per l'IA incarnata a vocabolario aperto, ma piuttosto un passo significativo verso un'autonomia efficiente, a bordo e basata sul rispetto delle istruzioni.