Distill-Belief: Closed-Loop Inverse Source Localization and Characterization in Physical Fields

1. Definizione del Problema

Il paper affronta la Localizzazione e Caratterizzazione Inversa a Ciclo Chiuso (ISLC) in campi fisici (ad esempio, dispersione di gas, radiazioni, temperatura). In questo contesto, un agente mobile (robot/drone) deve selezionare sequenzialmente le posizioni di misurazione per:

1. Localizzare una sorgente nascosta (posizione).
2. Caratterizzare i parametri latenti del campo (ad esempio, intensità della sorgente, velocità del vento, coefficienti di diffusione).
3. Terminare la missione quando l'incertezza di questi parametri scende al di sotto di una specifica tolleranza.

Sfide Principali:

• Obiettivo nello Spazio delle Credenze: L'obiettivo è contrarre la distribuzione a posteriori bayesiana (ridurre l'incertezza epistemica), non solo trovare regioni ad alto segnale.
• Ricompense Sparse/Indefinite: I compiti scientifici reali spesso mancano di ricompense dense; il successo è definito dalla riduzione dell'incertezza, che è un segnale sparso o tardivo.
• Vincoli Computazionali: Il dispiegamento in tempo reale richiede un processo decisionale a tempo costante ($O(1)$), mentre l'inferenza bayesiana accurata (ad esempio, Filtri Particellari) scala linearmente con il numero di particelle ($O(N)$), rendendola troppo lenta per il controllo online.
• Hacking della Ricompensa: Se un modello di credenza appreso viene utilizzato sia per definire la ricompensa sia per guidare la politica, l'agente potrebbe sfruttare errori di approssimazione (ad esempio, restringendo artificialmente la dispersione della credenza) per massimizzare le ricompense senza ridurre genuinamente l'incertezza.

2. Metodologia: Distill-Belief

Gli autori propongono Distill-Belief, un framework Maestro-Discepolo che disaccoppia la correttezza scientifica (accuratezza bayesiana) dall'efficienza di dispiegamento (velocità computazionale).

A. Il Maestro (Inferenza Bayesiana Corretta)

• Meccanismo: Un Filtro Particellare (PF) mantiene una posterior statisticamente coerente sull'intero vettore dei parametri $\Theta$.
• Ruolo:
  • Esegue aggiornamenti bayesiani esatti (ridistribuzione dei pesi, ricampionamento, rejuvenation Metropolis-Hastings) durante l'addestramento.
  • Calcola una ricompensa intrinseca densa basata sulla divergenza di Kullback-Leibler (KL) tra posteriori consecutivi ($D_{KL}(b_t || b_{t-1})$). Questa ricompensa misura direttamente il guadagno informativo in un singolo passo.
  • Fornisce le statistiche di credenza "ground truth" per la distillazione.
• Vincolo: Il Maestro non viene mai utilizzato durante il dispiegamento. È computazionalmente costoso ($O(N)$) e funge esclusivamente da fonte di supervisione.

B. Il Discepolo (Inferenza Ammortizzata)

• Meccanismo: Una rete neurale compatta (MLP) che approssima la posterior del Maestro come una Gaussiana fattorizzata: $q_\phi(\Theta) = \mathcal{N}(\mu, \text{diag}(\sigma^2))$.
• Ruolo:
  • Distillazione: Durante l'addestramento, il Discepolo minimizza il log-verosimiglianza negativo ponderato rispetto alla distribuzione delle particelle del Maestro.
  • Input di Controllo: Al momento del test, il Discepolo fornisce caratteristiche di credenza a tempo costante ($O(1)$) (media e varianza) alla politica.
  • Certificato di Arresto: Il Discepolo calcola una metrica Spread ($\sqrt{\text{tr}(\Sigma)}$), che rappresenta l'errore di localizzazione RMS (Root-Mean-Square). L'episodio termina quando questa dispersione scende al di sotto di una soglia $\zeta$.

C. Apprendimento della Politica (Actor-Critic)

• Algoritmo: Proximal Policy Optimization (PPO).
• Input di Stato: La politica riceve l'osservazione corrente, la posizione dell'agente e le caratteristiche di credenza del Discepolo (media e dispersione).
• Segnale di Ricompensa: La politica viene addestrata utilizzando la ricompensa intrinseca basata su KL calcolata esclusivamente dal Maestro. Questo previene l'hacking della ricompensa perché la politica non può manipolare la posterior del Maestro per inflazionare le ricompense.

3. Contributi Chiave

1. Architettura Disaccoppiata: Introduce un framework che separa gli obiettivi corretti bayesianamente dal calcolo al momento del dispiegamento, soddisfacendo simultaneamente quattro requisiti critici: (R1) Ottimizzazione nello spazio delle credenze, (R2) Gestione di ricompense sparse, (R3) Dispensabilità in tempo reale e (R4) Robustezza all'hacking della ricompensa.
2. Ricompensa Densa di Guadagno Informativo: Propone una ricompensa intrinseca basata sulla divergenza KL derivata dal Maestro. Questo fornisce un segnale di apprendimento continuo e denso che allinea l'ottimizzazione RL direttamente alla contrazione della posterior, superando la sparsità dei tradizionali segnali di successo/fallimento.
3. Arresto Principiato: Sviluppa un certificato di arresto basato su Spread derivato dalla covarianza della credenza del Discepolo. Teoricamente dimostrato come limite superiore dell'errore di localizzazione atteso, consente un compromesso esplicito tra accuratezza e budget.
4. Dispensamento a Tempo Costante: Scartando il Filtro Particellare al momento del test e affidandosi esclusivamente al Discepolo distillato, il sistema raggiunge una complessità per passo di $O(1)$, rendendolo fattibile per robot mobili con risorse limitate.

4. Risultati Sperimentali

Il metodo è stato valutato su sette modalità di campo fisico (Temperatura, Concentrazione, Magnetico, Elettrico, Gas, Energia, Rumore) e sottoposto a stress test in scenari multi-sorgente e vincolati da ostacoli.

• Prestazioni vs Baseline: Distill-Belief ha costantemente superato le baseline robuste (inclusi InfoTaxis, EntroTaxis, DCEE e vari metodi RL come GMM-PFRL e PCDQN).
  • Tasso di Successo (SR): Ha raggiunto il SR più alto in tutti i campi (ad esempio, 0.95 su Temperatura, 0.96 su Gas).
  • Efficienza della Traiettoria (TE): Ha richiesto significativamente meno passi per terminare (ad esempio, ~18 passi contro 40–60 per le baseline di pianificazione).
  • Qualità dell'Incertezza: Ha raggiunto la più bassa Dispersione della Posterior Locale (LPS), dimostrando di contrarre genuinamente la credenza invece di fermarsi prematuramente.
• Multi-Sorgente e Ostacoli:
  • In scenari multi-sorgente (fino a 4 sorgenti), Distill-Belief ha mantenuto prestazioni robuste con degradazione minima, mentre i metodi basati sulla pianificazione hanno subito forti cali di prestazioni a causa della confusione della posterior multimodale.
  • In ambienti ricchi di ostacoli, ha navigato con successo spazi non convessi, superando i pianificatori greedy che spesso rimanevano intrappolati in ottimi locali.
• Studi di Ablazione:
  • La rimozione della ricompensa KL ha causato un calo significativo del tasso di successo, confermando la necessità di una modellazione densa nello spazio delle credenze.
  • L'uso del Discepolo per il calcolo della ricompensa (invece del Maestro) ha portato all'hacking della ricompensa e a una scarsa calibrazione dell'incertezza.
  • La rimozione della distillazione (utilizzo del PF al momento del test) ha mantenuto le prestazioni ma ha aumentato la latenza di 6.5 volte, evidenziando il beneficio del costo di dispiegamento.
• Sensibilità agli Iperparametri: Il metodo è robusto alle variazioni del budget delle particelle ($N$) e delle soglie di ricampionamento, con $N=200$ identificato come il compromesso ottimale costo-prestazioni.

5. Significato

• Colmare Teoria e Pratica: Distill-Belief risolve la tensione fondamentale tra la necessità di un'inferenza bayesiana rigorosa nel sensing scientifico e i requisiti di latenza stretti della robotica reale.
• Mitigazione dell'Hacking della Ricompensa: Separando rigorosamente la fonte della ricompensa (Maestro) dall'input di controllo (Discepolo), il paper fornisce una soluzione robusta al problema dell'hacking della ricompensa comune nel sensing attivo basato su RL.
• Generalizzabilità: Il framework è agnostico rispetto alla fisica specifica del campo (avvezione-diffusione, elettrostatica, ecc.), rendendolo uno strumento versatile per diverse applicazioni AI4Science.
• Scalabilità: La capacità di inferenza a tempo costante consente il dispiegamento di agenti sofisticati consapevoli dell'incertezza su dispositivi edge dove l'esecuzione online di un Filtro Particellare completo è impossibile.

In sintesi, Distill-Belief rappresenta un approccio all'avanguardia per il sensing scientifico autonomo, combinando con successo il rigore statistico dell'inferenza bayesiana con l'efficienza del deep reinforcement learning per raggiungere una localizzazione di sorgenti affidabile, rapida e accurata in ambienti fisici complessi.