Riepilogo Tecnico: Fusione Distribuita con Vincolo di Inclinazione nel Dominio dell'Immagine per l'Inseguimento di UAV Manovranti

1. Definizione del Problema

La predizione a breve orizzonte è critica per l'inseguimento elettro-ottico (EO) di Unmanned Aerial Vehicles (UAV) piccoli e manovranti, particolarmente quando le osservazioni sono intermittenti o il bersaglio è piccolo. Sebbene le misurazioni standard (centro dell'immagine, linea di vista e distanza) forniscano vincoli diretti sulla posizione del bersaglio, esse offrono solo vincoli deboli sull'accelerazione. Di conseguenza, durante manovre aggressive o brevi interruzioni dei dati, gli stimatori di stato spesso ritardano nella stima dell'accelerazione, portando ad un'amplificazione degli errori di predizione.

Inoltre, il monitoraggio a bassa quota si affida sempre più a sistemi multi-camera distribuiti (combinando nodi mobili e fissi) per ridurre i punti ciechi. Tuttavia, questi sistemi introducono sfide quali il campionamento asincrono, l'eterogeneità della qualità delle osservazioni, i ritardi di comunicazione e le incongruenze della calibrazione cross-camera. I metodi esistenti si concentrano spesso sul miglioramento della robustezza della rilevazione o della stima dello stato separatamente, fallendo nel sfruttare appieno gli indizi fisici intrinseci nella dinamica dei rotori per vincolare le stime di accelerazione.

2. Metodologia

Il framework proposto integra una pipeline di auto-etichettatura con prior debole per la generazione di dati con un estimatore di fusione distribuita con vincolo di inclinazione.

A. Auto-Etichettatura con Prior Debole e Rilevazione

Per evitare il processo laborioso di annotazione manuale di Oriented Bounding Box (OBB), gli autori hanno costruito una pipeline per generare dati di addestramento:

• Fonti di Dati: Video sincronizzati, IMU del gimbal e IMU dell'UAV.
• Processo:
  1. Estrazione del Movimento: I candidati foreground vengono estratti utilizzando un modello di background a miscela gaussiana.
  2. Associazione di Traiettoria: I candidati sono associati alle traiettorie del bersaglio tramite associazione con vincolo di raggio e interpolazione per brevi interruzioni.
  3. Etichettatura Debole dell'Inclinazione: Utilizzando la geometria relativa tra l'IMU del gimbal e l'IMU dell'UAV, il sistema calcola il vettore normale equivalente dell'UAV nel frame della telecamera. Ciò produce etichette di rollio e beccheggio (roll/pitch) "deboli" nel dominio dell'immagine senza richiedere una precisa verità di base (ground truth) 3D.
  4. Generazione Adattiva di OBB: Le dimensioni e l'angolo di rotazione delle OBB sono derivati dall'area del bersaglio e dalle etichette di inclinazione debole calcolate.
• Rilevatore: Un rilevatore YOLO-OBB viene addestrato su questo dataset per fornire misurazioni online della posizione del bersaglio e dell'inclinazione nel dominio dell'immagine (roll/pitch).

B. Fusione Distribuita con Vincolo di Inclinazione

Il metodo di stima centrale è un filtro di fusione distribuita utilizzando un Unscented Kalman Filter (UKF) con un vettore di stato aumentato.

• Modellazione dello Stato: Lo stato del bersaglio include posizione, velocità e accelerazione ($x, y, z$). Il filtro aumenta inoltre lo stato con gli stati di errore di assetto della telecamera (roll, pitch, yaw) per ciascuna delle tre telecamere (un gimbal mobile, due fisse) per assorbire il drift estrinseco e l'inconsistenza sistematica.
• L'Inclinazione come Pseudo-Osservazione:
  • Il metodo modella la relazione tra accelerazione orizzontale e inclinazione nel dominio dell'immagine: $\eta_{pitch} \approx \arctan(a_x/g)$ e $\eta_{roll} \approx \arctan(a_y/g)$.
  • Invece di invertire questa relazione (il che amplificherebbe il rumore), il filtro predice l'inclinazione attesa basata sulla stima attuale dello stato di accelerazione e la confronta con l'inclinazione osservata dal rilevatore.
  • Ciò tratta il rollio/beccheggio nel dominio dell'immagine come pseudo-osservazioni correlate all'accelerazione, vincolando direttamente la componente di accelerazione dello stato.
• Meccanismo di Aggiornamento Robusto:
  • Fusione Asincrona: Le osservazioni delle tre telecamere sono fuse asincronamente all'interno di un modello unificato dello spazio di stato.
  • Gating di Mahalanobis: Un meccanismo di gating per telecamera scarta le false rilevazioni. Utilizza una strategia di allargamento della covarianza basata sul tempo trascorso dall'ultima rilevazione valida: se una rilevazione è sospetta (residui tra soglie morbide e dure), la covarianza viene gonfiata invece di rifiutare immediatamente l'osservazione. Ciò consente al filtro di gestire dropouts e outlier con grazia.

3. Contributi Chiave

Il documento identifica cinque contributi primari:

1. Etichettatura dell'Inclinazione con Prior Debole: Una pipeline di auto-etichettatura video-IMU che genera OBB per UAV e etichette di rollio/beccheggio nel dominio dell'immagine senza necessità di annotazione manuale frame per frame.
2. Predizione Vincolata dall'Accelerazione: Modellazione del rollio e del beccheggio nel dominio dell'immagine come pseudo-osservazioni correlate all'accelerazione del bersaglio, migliorando l'osservabilità durante le manovre e gli intervalli mancanti.
3. Fusione Distribuita Asincrona: Un modello di spazio di stato unificato che fonde una telecamera gimbal mobile e due telecamere fisse a terra, aumentato con stati di errore di assetto della telecamera per garantire la coerenza cross-camera.
4. Strategia di Aggiornamento Robusta: Uno schema di gating di Mahalanobis con allargamento della covarianza per gestire false rilevazioni e dropouts senza destabilizzare il filtro.
5. Implementazione Pubblica: Rilascio del workflow in Python per l'estrazione del movimento, la generazione di etichette deboli e l'addestramento YOLO-OBB.

4. Risultati Sperimentali

Simulazione

In una simulazione MATLAB con una traiettoria 3D non lineare e simulazione di dropouts/false rilevazioni:

• L'aggiunta di osservazioni di rollio/beccheggio ha ridotto l'RMSE di Predizione da 1,991 m a 0,821 m (una riduzione del 58,73%).
• L'Errore di Predizione Cumulativo è diminuito del 60,75% (da 6611,580 m·s a 2594,837 m·s).
• I risultati hanno confermato che le osservazioni di inclinazione vincolano direttamente lo stato di accelerazione, riducendo il ritardo di predizione durante le manovre aggressive.

Esperimento Distribuito nel Mondo Reale

Un esperimento fisico è stato condotto utilizzando una telecamera gimbal mobile su un robot quadrupede e due telecamere fisse a terra.

• A causa della mancanza di una ground truth 3D ad alta precisione, è stata utilizzata una metrica di auto-coerenza (confrontando le osservazioni predette al tempo $t$ con le osservazioni effettive).
• L'attivazione delle osservazioni di rollio/beccheggio ha ridotto l'errore di auto-coerenza cumulativo del 18,10% (da 203,4518 a 166,6241).
• Gli autori notano che il miglioramento nel mondo reale è minore rispetto alla simulazione ideale a causa del jitter del rilevatore, degli errori estrinseci residui, dei mismatch temporali e della variazione della qualità delle osservazioni. Tuttavia, i risultati dimostrano che l'inclinazione nel dominio dell'immagine rimane utile in condizioni asincrone pratiche.

5. Significato e Rivendicazioni

Il documento afferma che l'inclinazione nel dominio dell'immagine funge da prezioso indizio di manovra a basso livello per gli UAV a rotore. Accoppiando il riconoscimento dell'inclinazione con un estimatore di stato distribuito, il metodo fornisce utili vincoli di accelerazione che le misurazioni basate solo sulla posizione non possono offrire.

La significatività risiede nella capacità di migliorare la robustezza della predizione a breve orizzonte senza richiedere hardware aggiuntivo (come radar o LiDAR) o complessa etichettatura manuale. Gli autori sottolineano che, sebbene i guadagni nel mondo reale siano modesti rispetto alle simulazioni idealizzate, l'approccio affronta con successo le sfide specifiche dei bersagli manovranti nei sistemi di inseguimento EO multi-camera asincroni e distribuiti. Il lavoro futuro suggerito si concentra sul miglioramento della stabilità del riconoscimento dell'inclinazione, la stima esplicita degli offset temporali e l'adattamento congiunto della confidenza del rilevatore con la coerenza della fusione.