SEArch: Optimistic Policy Selection Between Scene Noise and Drift for UAV Radar Search

Sintesi Tecnica: SEArch – Selezione di Policy Ottimistica tra Rumore di Scena e Drift per la Ricerca Radar UAV

Problematica
I Veicoli Aerei Non Presidiati (UAV) dotati di sensori radar sono sempre più impiegati in missioni di ricerca di bersagli in ambienti dinamici, come il soccorso marittimo e la risposta ai disastri. Queste missioni affrontano una sfida fondamentale: le statistiche radar cambiano mentre l'UAV si muove attraverso ambienti non stazionari (ad esempio, cambiamenti nei materiali delle pareti, nel clutter o nello stato del mare), rendendo subottimali le strategie di elaborazione del segnale fisse. Inoltre, tali adattamenti devono avvenire su nodi con risorse limitate e latenza ultra-bassa, escludendo l'offloading nel cloud.

La difficoltà principale risiede nel bilanciare due distinte fonti di incertezza:

1. Rumore stocastico in-scene: Fluttuazioni all'interno di una scena stabile causate dai micro-movimenti dell'UAV o dal clutter.
2. Shift distribuzionali inter-scene: Cambiamenti bruschi o graduali nella distribuzione delle misurazioni mentre l'UAV transita tra diversi regimi ambientali.

I metodi esistenti affrontano tipicamente un solo regime: i metodi di apprendimento online avversari producono limiti conservativi indipendenti dalla difficoltà reale, mentre i modelli stocastici non riescono a catturare i cambiamenti improvvisi della scena. Il paper postula che nessun singolo rilevatore possa performare bene in tutte le condizioni, rendendo necessaria una paradigma multi-policy in cui il sistema debba selezionare la policy ottimale da una libreria pre-addestrata in tempo reale, senza conoscenza preventiva dei drift di scena o delle scale di rumore.

Metodologia
Gli autori formulano il problema della ricerca di bersagli tramite UAV come un compito di Ottimizzazione Convessa Online (OCO) su una libreria finita di $K$ policy specializzate di elaborazione del segnale. La metrica di performance è il regret, definito come lo scarto cumulativo di perdita rispetto alla migliore policy fissa a posteriori per ogni specifico segmento di scena.

Per modellare l'ambiente, il paper adotta il framework Stochastically Extended Adversary (SEA). Questo framework decompone la difficoltà del problema in:

• $\bar{\sigma}_T^2$: Varianza stocastica cumulativa (rumore in-scene).
• $\bar{\Sigma}_T^2$: Variazione avversaria cumulativa (drift inter-scene).

Il paper introduce due algoritmi istanziati all'interno di questo framework:

1. SEARCH (Optimistic FTRL):

   • Un selettore Optimistic Follow the Regularized Leader (OFTRL) con un tasso di apprendimento adattivo.
   • Predice la perdita successiva basandosi sull'osservazione precedente ($M_t = \ell_{t-1}$). Questa predizione è accurata all'interno di scene stabili, ma fallisce in corrispondenza delle transizioni.
   • Il tasso di apprendimento adattivo diventa automaticamente conservativo quando vengono rilevati errori di predizione (che indicano una transizione o un alto rumore), prevenendo l'oscillazione.
   • Limite di Regret: $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$, dove $J$ è il numero di transizioni di scena. La penalità di commutazione cresce solo come $\sqrt{J}$.

2. W-SEARCH (Windowed OFTRL):

   • Progettato per missioni con frequenti cambi di scena dove l'accumulo della storia globale induce inerzia (favorendo policy ormai obsolete).
   • Restringe gli aggiornamenti alle $w$ osservazioni più recenti, eseguendo un "hard restart" ogni $w$ round.
   • Questo elimina le misurazioni obsolete provenienti da scene precedentemente attraversate, permettendo un rapido adattamento ai cambiamenti irregolari.
   • Limite di Regità: $O(\bar{\sigma}_I \sqrt{w})$ su qualsiasi intervallo contiguo di lunghezza $w$, assumendo al massimo una transizione per finestra.

Entrambi gli algoritmi sono leggeri, richiedendo solo $O(K \log K)$ di computazione per round e $O(K)$ di stato di memoria, senza addestramento online o acceleratori esterni. Essi si basano su un feedback a informazione completa, dove una singola misurazione radar valuta simultaneamente tutte le $K$ policy, senza costi di sensing aggiuntivi.

Contributi Chiave

• Formulazione: Gli autori inquadrano la ricerca UAV come selezione di policy online su una libreria finita, modellando l'incertezza tramite il framework SEA per derivare limiti di regret dipendenti dal problema che scalano con la difficoltà ambientale effettiva piuttosto che con assunzioni worst-case.
• Algoritmo SEARCH: Un selettore OFTRL che raggiunge un limite di regret di $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$, decomponendo efficacemente il costo in rumore stocastico e penalità di switching.
• Algoritmo W-SEARCH: Una variante a finestra che raggiunge un regret adattivo $O(\bar{\sigma}_I \sqrt{w})$ su intervalli di lunghezza $w$, affrontando specificamente il problema dell'inerzia in missioni che cambiano rapidamente.
• Modularità: L'approccio è ortogonale alla costruzione della libreria di policy; funge da livello di selezione online che può stare sopra qualsiasi pool di detector pre-addestrati.

Risultati Sperimentali
Gli autori validano il loro approccio attraverso simulazioni con $K=4$ policy in vari setting non stazionari ($T=150$):

• Riduzione del Regret: Rispetto ai baseline non adattivi (UCB, Exp3, OMD), i metodi proposti ottengono una riduzione del regret fino al 30%.
• Velocità di Adattamento: SEARCH concentra il peso sulla policy ottimale entro 10 step da uno shift di regime.
• Performance della Finestra: W-SEARCH dimostra vantaggi significativi in ambienti che cambiano rapidamente. In scenari con transizioni frequenti, ha ridotto il regret finale del 60% - 72% rispetto all'algoritmo SEARCH globale.
• Robustezza: L'approccio a finestra rimane robusto a pattern di switching irregolari e livelli di rumore variabili ($\sigma \in [0.05, 0.4]$), sebbene il vantaggio relativo diminuisca leggermente ad alti livelli di rumore dove sono necessarie più osservazioni per segmento.
• Scalabilità: Entrambi gli algoritmi scalano bene con il numero di policy ($K$), con W-SEARCH che mostra una performance superiore all'aumentare dello spazio delle azioni a $K=16$.

Significatività e Rivendicazioni
Il paper sostiene che andando oltre i modelli puramente avversari o puramente stocastici, il framework SEA permette una comprensione più sfumata degli ambienti di ricerca radar UAV. La principale significatività risiede nel fornire soluzioni onboard leggere che possono tracciare le policy ottimali in tempo reale senza conoscenza preventiva della dinamica della scena. Gli autori sottolineano che il loro approccio raggiunge tassi stocastici quasi ottimali in ambienti stazionari, pur rilassandosi verso tassi non stazionari quando i cambiamenti sono frequenti, il tutto mantenendo i vincoli computazionali necessari per i nodi di rete IoT a bassa quota. Il lavoro mira specificamente allo "strato di selezione online", lasciando la costruzione della libreria di policy offline a lavori complementari (ad esempio, [5]), offrendo così una soluzione modulare per il sensing adattivo.