Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias

Sintesi Tecnica: Neural Conjugate Aggregation (NCAM)

Definizione del Problema
Il documento affronta la sfida della regressione multi-sensore non supervisionata, uno scenario comune nelle reti di sensori, negli ensemble di simulazione e nel monitoraggio scientifico, in cui sono disponibili molteplici fonti di misurazione rumorose e distorte (biased), ma i valori di riferimento (ground-truth) per la variabile target sono assenti durante l'addestramento. In tali contesti, i sensori presentano spesso bias eterogenei (moltiplicativi e additivi), livelli di rumore variabili e deriva temporale. I metodi di fusione classici falliscono solitamente in questi casi perché si basano su caratteristiche dei sensori o dati etichettati per la calibrazione. Inoltre, i modelli di fusione a variabili latenti in contesti non supervisionati soffrono di non-identificabilità strutturale, dove molteplici parametrizzazioni possono spiegare le stesse osservazioni altrettanto bene, rendendo ambiguo lo stato latente recuperato. Gli approcci esistenti affrontano spesso solo sottoinsiemi di questi problemi (ad esempio, calibrazione supervisionata, aggregazione euristica o quantificazione dell'incertezza con etichette), ma mancano di un framework unificato per la calibrazione non supervisionata, la stima dell'affidabilità, l'identificabilità e la quantificazione dell'incertezza simultaneamente.

Metodologia: Neural Conjugate Aggregation Model (NCAM)
Gli autori propongono NCAM, un framework bayesiano gerarchico che integra reti neurali con inferenza gaussiana coniugata per eseguire la fusione multi-fonte non supervisionata.

1. Modello Generativo:

   • Prior Latente: Una variabile target latente $\Theta_i$ è modellata con un prior gaussiano $p(\Theta_i | X_i)$, dove la media e la varianza sono output di una rete neurale condizionata su covariate contestuali $X_i$.
   • Modello di Misurazione: Ogni sensore $j$ fornisce un'osservazione rumorosa $b_{ij}$ modellata come $b_{ij} = a_j(X_i)\Theta_i + c_j(X_i) + \epsilon_{ij}$. Qui, reti neurali parametrizzano il bias moltiplicativo specifico del sensore ($a_j$), il bias additivo ($c_j$) e la varianza del rumore dipendente dalla sorgente ($\sigma^2_j$).
   • Aggregazione del Posterior: Grazie alla struttura gaussiana coniugata, il posterior sulla variabile latente $\Theta_i$ dato l'insieme delle misurazioni dei sensori è analiticamente trattabile. La media del posterior funge da fusione di tutti i sensori pesata per l'affidabilità e corretta dal bias, dove i pesi sono determinati dalla precisione appresa ($a_j^2 / \sigma_j^2$).

2. Risoluzione della Non-Identificabilità (Sensor Anchoring):

   • Il modello di misurazione è invariante rispetto alle trasformazioni affini della variabile latente, portando alla non-identificabilità. Per risolvere questo problema, NCAM impiega una strategia di ancoraggio del sensore (sensor anchoring): un sensore di riferimento viene fissato con un bias moltiplicativo $a_{j^*} \equiv 1$ e un bias additivo $c_{j^*} \equiv 0$. Questo rompe la simmetria, rendendo lo stato latente identificabile rispetto all'ancora e garantendo che i miglioramenti nella verosimiglianza corrispondano a una reale accuratezza predittiva.

3. Obiettivo di Addestramento:

   • Poiché la verità di base (ground truth) non è disponibile, il modello viene addestrato massimizzando la verosimiglianza marginale delle osservazioni dei sensori.
   • Per prevenire l'inflazione della varianza (dove le varianze del rumore crescono arbitrariamente senza influenzare la verosimiglianza), viene aggiunto un termine esplicito di regolarizzazione della varianza alla funzione di perdita, penalizzando le varianze estreme sia del prior che dei sensori.

4. Quantificazione dell'Incertezza:

   • Incertezza Bayesiana: Il modello fornisce naturalmente l'incertezza epistemica (tramite la varianza del posterior) e l'incertezza aleatoria (tramite il rumore residuo).
   • Calibrazione Senza Ground-Truth: Per fornire garanzie di copertura a campioni finiti senza target etichettati, gli autori integrano la Conformal Prediction Monte Carlo Localmente Adattiva (MC-CP). Questa procedura genera realizzazioni sintetiche dalla distribuzione predittiva del posterior per calcolare i punteggi di conformità, producendo intervalli di predizione eteroscedastici.
   • Calibrazione Ancorata al Sensore: Un meccanismo complementare valuta la coerenza delle predizioni fuse rispetto alle osservazioni dei sensori corrette per il bias, offrendo un controllo esterno contro l'errata specificazione del modello.

Contributi Chiave

• Formulazione: Il documento formula la regressione multi-sensore non supervisionata come un problema di inferenza di stato latente probabilistico che gestisce congiuntamente bias eterogenei, stima dell'affidabilità, identificabilità e incertezza.
• Framework NCAM: Introduzione di un modello bayesiano gerarchico che apprende il bias e l'affidabilità del sensore permettendo l'aggregazione del posterior coniugato in forma chiusa.
• Soluzione all'Identificabilità: Una strategia di ancoraggio del sensore basata su principi che risolve la non-identificabilità strutturale, fornendo stime dello stato latente interpretabili e identificabili.
• Calibrazione: Sviluppo di una procedura di calibrazione conforme Monte Carlo senza ground-truth che produce intervalli di predizione localmente adattivi senza richiedere osservazioni target etichettate.
• Validazione Empirica: Dimostrazione di una migliore accuratezza predittiva e di un'incertezza ben calibrata su dataset sintetici e reali di qualità dell'aria rispetto ai baseline non supervisionati (aggregazione della media, PCA probabilistica, filtro di Kalman e VELI).

Risultati Sperimentali
Gli autori hanno valutato NCAM su tre dataset: un dataset sintetico "Toy", SensEURCity (PM2.5 spazio-temporale da tre città) e CAIRSENSE (sensori di PM2.5 co-localizzati).

• Accuratezza Predittiva: NCAM ha ottenuto le migliori o quasi migliori prestazioni in tutti i dataset. Sul dataset sintetico con bias eterogenei noti, NCAM ha ridotto l'RMSE di circa il 50% rispetto al secondo miglior baseline non supervisionato (VELI) e di oltre il 100% rispetto ai metodi classici come il filtro di Kalman. Sui dataset reali, i guadagni sono stati sostanziali laddove il bias del sensore era significativo (SensEURCity) e competitivi dove i sensori erano quasi omogenei (CAIRSENSE).
• Identificabilità e Bias: Gli studi di ablazione hanno confermato che senza l'ancoraggio del sensore, il modello soffre di non-identificabilità (migliorando la verosimiglianza ma degradando l'accuratezza predittiva). La rimozione della modellazione esplicita del bias ha causato cali drammatici nelle prestazioni in contesti eterogenei, ma ha avuto effetti trascurabili o leggermente positivi in contesti altamente correlati e a basso bias.
• Calibrazione dell'Incertezza: I metodi MC-CP proposti hanno fornito intervalli di predizione validi senza ground truth. "MC-CP (Model)" ha fornito gli intervalli più stretti sfruttando la varianza adattiva del modello, mentre "MC-CP Sensor-Anchored" ha offerto un'alternativa più conservativa e basata sulle misurazioni.

Significatività e Rivendicazioni
Il documento afferma che una regressione multi-sensore affidabile è ottenibile in contesti completamente non supervisionati combinando un'aggregazione probabilistica rigorosa con la calibrazione dell'incertezza. La significatività non risiede nell'introdurre singoli componenti (inferenza bayesiana, reti neurali o conformal prediction) ma nella loro integrazione rigorosa per risolvere le sfide uniche e accoppiate della fusione di sensori non supervisionata. Il framework consente:

1. La stima del bias e dell'affidabilità del sensore senza etichette.
2. La risoluzione della non-identificabilità dello stato latente.
3. La generazione di predizioni consapevoli dell'incertezza con garanzie di copertura a campioni finiti.

Gli autori concludono che una fusione di sensori accurata e consapevole dell'incertezza è fattibile senza supervisione, specialmente in regimi con significativo bias tra i sensori, pur rimanendo competitiva in ambienti omogenei. Il lavoro futuro suggerisce di esplorare la calibrazione dipendente dalle variabili e le estensioni a target multivariati.