A Machine-Learning and Cybernetic Control Framework for RGB--Geometric UAV Navigation

Sintesi Tecnica: Un Framework di Controllo Cibernetico e Machine Learning per la Navigazione UAV RGB–Geometrica

Enunciato del Problema
Navigare con Veicoli Aerei Non Pilotati (UAV) attraverso corridoi fluviali presenta sfide uniche, distinte dagli ambienti aerei generali. I riflessi dell'acqua alterano l'aspetto visivo, le curve strette limitano lo spazio di manovra, le interruzioni della linea di riva indeboliscono i segnali geometrici e oggetti galleggianti o ponti creano occlusioni locali. Mentre i pianificatori basati su modelli offrono interpretabilità quando le mappe sono accurate, essi faticano con l'incertezza inerente alle geometrie fluviali visivamente instabili. Al contrario, i controllori basati sull'apprendimento spesso soffrono di "leakage" (dispersione), dove le policy si affidano a variabili privilegiate del simulatore (ad esempio, maschere ground-truth o linee centrali) invece che ad input visivi reali, o non riescono a separare la percezione dal controllo metrico. Il problema centrale affrontato è lo sviluppo di un ciclo unificato percezione–decisione–azione che fonda osservazioni RGB grezze con feedback cinematici e geometrici strutturati, garantendo che la policy appresa si basi su prove visive valide mantenendo al contempo la sicurezza attraverso espliciti livelli di intervento non appresi.

Metodologia
Gli autori propongono un framework di controllo cibernetico che separa rigorosamente la percezione visiva, il feedback di stato strutturato, l'apprendimento adattivo delle ricompense e l'intervento basato su regole.

1. Architettura di Sistema e Rappresentazione dello Stato:

   • Flusso Visivo: Il sistema elabora un fotogramma RGB di 224×224 utilizzando un backbone ResNet-50 combinato con una Feature Pyramid Network (FPN). Le caratteristiche multi-scala sono aggregate tramite global average pooling e un meccanismo di attenzione appreso per produrre un vettore di aspetto a 256 dimensioni.
   • Stato Strutturato: Un vettore di stato a 291 dimensioni è costruito concatenando il latente visivo con 35 variabili geometriche e cinematiche esplicitamente definite. Queste includono la cinematica relativa (velocità, heading, accelerazione), il progresso verso l'obiettivo, cinque campionamenti della linea centrale anteriore, otto valori di clearance tramite ray-casting e un blocco di memoria contenente il record più recente di posa e moto non occluso.
   • Resistenza al Leakage: Fondamentalmente, il framework impiega "ablazioni a larghezza fissa". Quando si testano input specifici (ad esempio, rimuovendo la linea centrale), il corrispondente blocco viene sostituito con zeri senza inserire variabili surrogate o proiezioni deterministiche da altri blocchi. Ciò assicura che qualsiasi calo di prestazioni sia attribuibile esclusivamente alla mancanza dell'informazione.

2. Nucleo di Apprendimento (TD3 con Meta-Gradienti):

   • Il controllore utilizza il Twin Delayed Deep Deterministic Policy Gradient (TD3).
   • Ricompense Adattive: Invece di memorizzare una ricompensa scalare, il replay buffer memorizza un vettore a sei dimensioni di componenti di ricompensa non pesate (progresso, sicurezza, esito terminale, fluidità, heading e penalità di step). Ciò consente di ricostruire dinamicamente la ricompensa scalare utilizzando i pesi correnti.
   • Ottimizzazione dei Meta-Gradienti: Un meta-gradiente differenziabile collega gli aggiornamenti attore-critico virtuali a un obiettivo cinematico di validazione a un passo. La perdita esterna minimizza una funzione fluida della distanza dall'obiettivo, dell'errore cross-track, della clearance dagli ostacoli e dello sforzo di controllo. I pesi della ricompensa ($\lambda$) sono aggiornati tramite un ipergradiente, soggetto a una proiezione che impone un pavimento di sicurezza (ad esempio, un peso minimo per la componente di sicurezza) dopo che viene rilevata una violazione della sicurezza.

3. Livello di Intervento Ibrido:

   • Un livello separato basato su regole, congelato, opera indipendentemente dalla policy appresa. Si attiva su eventi specifici: biforcazione (selezione del ramo meglio allineato con l'obiettivo), terminazione (frenata monotona in caso di perdita del fiume), occlusione severa (colmare i gap tramite la memoria) e aggregazione degli ostacoli (fusione delle azioni della policy con un campo di potenziale artificiale).
   • Il sistema registra sia l'azione della policy ($a^\pi_t$) che l'azione eseguita ($a^{exec}_t$) per distinguere il comportamento appreso dagli interventi di sicurezza ingegnerizzati.

Contributi Chiave

1. Validazione della Fusione Visivo-Geometrica: Il documento formula uno stato a 291 dimensioni dove una rappresentazione RGB/FPN online viene concatenata con variabili metriche esplicite. L'evidenza a livello di esito (84,0% di completamento in un'ablazione "vision-plus-kinematics" dove tutti i priori geometrici sono azzerati) dimostra che la policy utilizza efficacemente il flusso visivo piuttosto che affidarsi a surrogati geometrici privilegiati.
2. Grafico di Ricompensa Adattiva Matematicamente Chiuso: Gli autori chiudono il grafo computazionale per l'adattamento della ricompensa. Memorizzando le componenti grezze della ricompensa e utilizzando un obiettivo esterno differenziabile che coinvolge la cinematica virtuale, consentono di ricalibrare i pesi delle transizioni storiche senza dipendere da ricompense scalari obsolete.
3. Protocollo di Ablazione Resistente al Leakage: Lo studio definisce una metodologia di ablazione rigorosa in cui la rimozione di un input strutturato sostituisce l'elemento con zeri, garantendo che non vi sia fuga di informazioni surrogate nel sistema. Ciò isola il valore marginale di input specifici (ad esempio, memoria, linea centrale) senza confondere la capacità di ottimizzazione.
4. Separazione delle Responsabilità: Il framework separa esplicitamente il controllo appreso, l'ottimizzazione predittiva (NMPC) e l'intervento basato su regole. Ciò consente un'attribuzione indipendente dei guadagni di sicurezza ed efficienza, evitando la confusione tra l'intelligenza della policy e gli scudi di sicurezza ingegnerizzati.
5. Protocollo di Valutazione Riproducibile: Il documento fornisce una suite di valutazione completa che include manifest bilanciati congelati, statistiche accoppiate, controlli del gradiente a finite-difference e benchmark distinti per il controllo della geometria generale e per eventi specifici del fiume (biforcazione, terminazione, occlusione, aggregazione).

Risultati

• Ablazioni di Stato: Nelle ablazioni a larghezza fissa, la rimozione del blocco di memoria ha causato la maggiore diminuzione osservata nel completamento (4,25 punti percentuali), sebbene non fosse statisticamente significativa. La condizione "vision-plus-kinematics" (rimozione di tutta la geometria esplicita) ha mantenuto l'84,0% di completamento, validando l'utilità del flusso visivo.
• Adattamento della Ricompensa: Sebbene le varianti meta-gradienti abbiano raggiunto tassi di completamento più elevati (87,75%) rispetto ai pesi fissi (83,13%), un controllo "zero-hypergradient"—che applica la stessa proiezione attivata dalla sicurezza ma disabilita l'aggiornamento dell'ipergradiente—ha raggiunto un tasso di completamento identico (87,75%). Ciò indica che il guadagno di prestazioni è attribuibile alla riconfigurazione della ricompensa proiettata (specificamente il pavimento di sicurezza) piuttosto che al meccanismo dell'ipergradiente stesso.
• Confronto tra Controller:
  • Navigazione Generale: Il controllore TD3 ibrido ha raggiunto un completamento medio del compito dell'88,5% su un benchmark di eventi fluviali. Questo ha superato l'NMPC di 11,1 punti percentuali e l'RRT*-Replan di 15,9 punti.
  • Controllo della Geometria: In un benchmark di sola geometria (senza RGB), l'NMPC ha superato un semplice controllore a regole (78,7% contro 65,3% di completamento) ma ha richiesto una latenza computazionale significativamente più alta (32,9 ms contro 4,5 ms per step).
  • Impatto dell'Intervento: L'attivazione di tutte le regole di intervento ha ridotto le collisioni nella navigazione generale ma ha diminuito il successo dell'arrivo all'obiettivo ordinario del 12,63 punti percentuali, evidenziando un compromesso tra sicurezza ed efficienza. Le regole hanno gestito con successo l'81,5% dei casi di terminazione tramite arresti sicuri o riorientamento.

Significatività e Rivendicazioni
Il documento sostiene di aver stabilito un framework riproducibile e ispezionabile per integrare la percezione visiva, l'apprendimento adattivo della ricompensa e l'intervento di sicurezza ibrido nella navigazione di UAV in corridoi fluviali. La sua significatività non risiede nella proposta di un singolo algoritmo "migliore", ma nel fornire una rigorosa decomposizione del problema di controllo:

• Dimostra che l'informazione visiva può guidare la navigazione anche quando i priori geometrici espliciti vengono rimossi, a patto che la rappresentazione dello stato sia progettata con cura.
• Dimostra che l'apprendimento adattivo della ricompensa può essere matematicamente chiuso e verificato tramite controlli a finite-difference, sebbene il vantaggio principale in questa specifica configurazione sia derivato dalla proiezione della ricompensa vincolata alla sicurezza piuttosto che dal meccanismo del gradiente.
• Offre un modello di attribuzione chiaro dove i contributi della policy appresa, dell'ottimizzatore basato su modello e dell'intervento basato su regole sono distinti e misurabili, evitando l'errore comune di attribuire la sicurezza ingegnerizzata all'intelligenza appresa.

Gli autori mantengono una posizione modesta, osservando che, sebbene il framework migliori i tassi di completamento rispetto ai baseline in scenari fluviali specifici, i guadagni sono spesso guidati dalla riconfigurazione specifica dei pesi della ricompensa e dal livello di intervento, piuttosto che dal solo meccanismo del meta-gradiente. Il lavoro funge da modello metodologico per separare percezione, stato e sicurezza in ambienti complessi e visivamente instabili.