MATT-Diff: Multimodal Active Target Tracking by Diffusion Policy

1. Problema e Contesto

Il lavoro affronta la sfida del tracciamento attivo di più bersagli (Active Target Tracking - ATT) utilizzando un agente mobile in ambienti complessi con ostacoli e un campo visivo (FoV) limitato.
Le principali difficoltà identificate sono:

• Ignoranza a priori: L'agente non conosce a priori il numero di bersagli, i loro stati iniziali o le loro dinamiche.
• Dilemma Esplorazione-Sfruttamento: L'agente deve bilanciare l'esplorazione dell'ambiente per trovare bersagli non rilevati o persi con lo sfruttamento (tracking) dei bersagli già rilevati ma incerti, al fine di ridurre l'incertezza sulle loro posizioni.
• Natura Multimodale delle Decisioni: In scenari incerti, non esiste una singola soluzione deterministica ottimale. L'agente deve poter scegliere tra diverse strategie comportamentali (es. esplorare un nuovo fronte, inseguire un bersaglio, riprendere il contatto con un bersaglio perso). I metodi di apprendimento tradizionali (come il Behavior Cloning standard) tendono a produrre politiche unimodali che "mediando" le azioni, falliscono nel gestire questa diversità strategica.

2. Metodologia

L'approccio proposto, MATT-Diff, utilizza una Politica di Diffusione (Diffusion Policy) per apprendere una distribuzione multimodale di azioni partendo da dimostrazioni di esperti.

A. Generazione dei Dati di Addestramento (Esperti)

Per coprire lo spettro delle decisioni necessarie, sono stati creati tre pianificatori esperti che generano un dataset di dimostrazioni diversificato:

1. Pianificatore basato su Frontiere (Frontier-Based): Si concentra esclusivamente sull'esplorazione per scoprire nuove aree e bersagli non rilevati.
2. Pianificatore Ibrido basato sull'Incertezza: Passa dall'esplorazione al tracciamento quando l'incertezza (misurata tramite entropia differenziale della densità gaussiana del bersaglio) supera una soglia. Prioritizza il bersaglio più incerto.
3. Pianificatore Ibrido basato sul Tempo: Alterna fasi di esplorazione a fasi di tracciamento di durata fissa dopo la rilevazione di un bersaglio.

B. Architettura della Rete (MATT-Diff)

La politica è una rete neurale condizionata che genera sequenze di azioni future attraverso un processo di denoising iterativo. L'architettura è composta da:

• Map Encoder (Codificatore della Mappa): Utilizza una CNN per estrarre caratteristiche da una mappa di occupazione egocentrica (locale), che viene poi tokenizzata e processata da un Performer Transformer (una variante efficiente dei transformer) per catturare la geometria dell'ambiente.
• Target Encoder (Codificatore dei Bersagli): Gestisce un numero variabile di bersagli utilizzando un meccanismo di attenzione.
  • Per i bersagli rilevati, codifica la densità gaussiana (media e covarianza).
  • Per i bersagli non rilevati o persi, utilizza un vettore di stato "non informativo" (centrato nell'origine con una covarianza molto ampia) e applica un masking per non influenzare negativamente la decisione.
  • Un pooling medio genera un vettore di contesto fisso che riassume lo stato di tutti i bersagli.
• Policy Diffusion: Un modello U-Net condizionale apprende a prevedere il rumore aggiunto a una sequenza di azioni expert. Durante l'inferenza, parte da rumore casuale e, attraverso passi iterativi di denoising, genera una sequenza di azioni multimodale coerente con le osservazioni correnti (mappa + stime dei bersagli).

C. Formazione

Il modello è addestrato come un Denoising Diffusion Probabilistic Model (DDPM). L'obiettivo è minimizzare l'errore quadratico medio tra il rumore reale aggiunto e quello previsto dalla rete, condizionato dalle osservazioni passate e dallo stato attuale dei bersagli.

3. Risultati Sperimentali

Il modello è stato valutato in un ambiente sconosciuto (Out-of-Distribution - OOD) rispetto alle mappe usate per l'addestramento, confrontato con:

• Behavior Cloning (BC): Politica deterministica standard.
• Deep Reinforcement Learning (DQN): Approccio basato su Q-learning adattato per il tracciamento.
• Ablazione (MATT-Diff w/o map encoder): Versione senza codificatore della mappa.

Metriche di Performance:

• RMSE (Root Mean Squared Error): Errore nella stima della posizione.
• NLL (Negative Log-Likelihood): Misura della qualità della distribuzione di probabilità stimata.
• Entropia Differenziale: Misura dell'incertezza residua sui bersagli.

Risultati Chiave:

• MATT-Diff ha ottenuto le prestazioni migliori in tutte le metriche rispetto a tutte le baseline, dimostrando una forte capacità di generalizzazione zero-shot in ambienti nuovi.
• L'ablatone senza codificatore della mappa ha mostrato prestazioni inferiori, confermando l'importanza della consapevolezza spaziale (tokenizzazione della mappa) per bilanciare esplorazione e tracciamento.
• Analisi Temporale: L'analisi delle traiettorie mostra che MATT-Diff riesce a passare fluidamente tra fasi di esplorazione (cercando nuovi fronti), tracciamento (riducendo l'incertezza su bersagli rilevati) e ri-acquisizione (quando un bersaglio viene perso), imitando efficacemente le strategie degli esperti multipli.

4. Contributi Chiave

1. Prima applicazione di politiche di diffusione per il tracciamento attivo multimodale: Il lavoro dimostra come i modelli di diffusione possano gestire la complessità delle decisioni multimodali in scenari di tracciamento, superando i limiti delle politiche unimodali.
2. Architettura Ibrida Robusta: Integrazione efficace di Vision Transformer (Performer) per la mappa e meccanismi di attenzione per gestire un numero variabile di bersagli e stati di incertezza (rilevati vs. persi).
3. Strategia di Addestramento Ibrida: Uso di tre diversi pianificatori esperti per creare un dataset che copre l'intero spettro del dilemma esplorazione-sfruttamento, permettendo alla politica di apprendere comportamenti adattivi complessi.
4. Generalizzazione: Dimostrazione empirica che la politica appresa funziona bene in mappe non viste durante l'addestramento, con un numero variabile di bersagli e dinamiche casuali.

5. Significato e Limitazioni

Significato:
Il paper rappresenta un passo avanti significativo verso robot autonomi capaci di operare in scenari di sorveglianza e ricerca e salvataggio complessi, dove l'incertezza è alta e le strategie devono essere flessibili. L'uso delle politiche di diffusione offre un nuovo paradigma per l'apprendimento di comportamenti robotici che richiedono una gestione sofisticata dell'incertezza e della multimodalità decisionale.

Limitazioni e Direzioni Future:

• Sicurezza: Sebbene impari a evitare collisioni dalle dimostrazioni, la politica non ha garanzie di sicurezza esplicite (hard constraints) e può occasionalmente collisionare in scenari geometrici complessi.
• Stabilità del Comportamento: Essendo basata sul campionamento stocastico, la scelta del "modo" comportamentale (es. esplorare vs. tracciare) può variare. L'integrazione con Reinforcement Learning per il fine-tuning è suggerita per migliorare la coerenza.
• Stima dei Bersagli: L'attuale implementazione si basa su un Filtro di Kalman con una gestione euristica dei bersagli persi. L'uso di filtri più avanzati (es. PHD filter) che gestiscono esplicitamente le probabilità di rilevazione è una direzione futura promettente.

In sintesi, MATT-Diff dimostra che le politiche di diffusione sono uno strumento potente per risolvere problemi di controllo robotico ad alta dimensionalità e incertezza, offrendo una soluzione superiore rispetto ai metodi di apprendimento per rinforzo o imitazione tradizionali in contesti di tracciamento attivo.