Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias

Technische Samenvatting: Neural Conjugate Aggregation (NCAM)

Probleemstelling
Het artikel behandelt de uitdaging van ongesuperviseerde multi-sensor regressie, een scenario dat veel voorkomt in sensornetwerken, simulatie-ensembles en wetenschappelijke monitoring waarbij meerdere ruisgevoelige, bevooroordeelde meetbronnen beschikbaar zijn, maar grondwaarheid-labels voor de doelvariabele ontbreken tijdens de training. In dergelijke settings vertonen sensoren vaak heterogene biases (multiplicatief en additief), variërende ruisniveaus en temporele drift. Klassieke fusiemethoden falen hier meestal omdat ze vertrouwen op bekende sensorkarakteristieken of gelabelde data voor kalibratie. Bovewerden lijden latent-variabele fusiemodellen in ongesuperviseerde settings onder structurele niet-identificeerbaarheid, waarbij meerdere parametrisaties dezelfde observaties even goed kunnen verklaren, wat de gerecupereerde latente staat ambigu maakt. Bestaande benaderingen pakken vaak slechts een deel van deze problemen aan (bijv. gesuperviseerde kalibratie, heuristische aggregatie of onzekerheidskwantificatie met labels), maar missen een verenigd framework voor ongesuperviseerde kalibratie, betrouwbaarheidsschatting, identificeerbaarheid en onzekerheidskwantificatie tegelijkertijd.

Methodologie: Neural Conjugate Aggregation Model (NCAM)
De auteurs stellen NCAM voor, een hiërarchisch Bayesiaans framework dat neurale netwerken integreert met conjunctieve Gaussische inferentie om ongesuperviseerde multi-bron fusie uit te voeren.

1. Generatief Model:

   • Latente Prior: Een latente doelvariabele $\Theta_i$ wordt gemodelleerd met een Gaussische prior $p(\Theta_i | X_i)$, waarbij het gemiddelde en de variantie de outputs zijn van een neuraal netwerk dat geconditioneerd is op contextuele covariaten $X_i$.
   • Meetmodel: Elke sensor $j$ levert een ruisgevoelige observatie $b_{ij}$ die wordt gemodelleerd als $b_{ij} = a_j(X_i)\Theta_i + c_j(X_i) + \epsilon_{ij}$. Hierbij parametriseren neurale netwerken de sensor-specifieke multiplicatieve bias ($a_j$), additieve bias ($c_j$) en de bron-afhankelijke ruisvariantie ($\sigma^2_j$).
   • Posterior Aggregatie: Vanwege de conjunctieve Gaussische structuur is de posterior over de latente doelvariabele $\Theta_i$, gegeven alle sensormetingen, analytisch handelbaar. Het posterior gemiddelde dient als een betrouwbaarheid-gewogen, bias-gecorrigeerde fusie van alle sensoren, waarbij de gewichten worden bepaat door de geleerde precisie ($a_j^2 / \sigma_j^2$).

2. Oplossen van Niet-Identificeerbaarheid (Sensor Anchoring):

   • Het meetmodel is invariant onder affine transformaties van de latente variabele, wat leidt tot niet-identificeerbaarheid. Om dit op te lossen, hanteert NCAM een sensor anchoring strategie: één referentsensor wordt vastgezet met een multiplicatieve bias $a_{j^*} \equiv 1$ en een additieve bias $c_{j^*} \equiv 0$. Dit doorbreekt de symmetrie, waardoor de latente staat identificeerbaar wordt ten opzichte van de anchor en ervoor zorgt dat verbeteringen in de likelihood overeenkomen met werkelijke predictieve nauwkeurigheid.

3. Trainingsdoelstelling:

   • Aangezien de grondwaarheid niet beschikbaar is, wordt het model getraind door de marginale likelihood van de geobserveerde sensormetingen te maximaliseren.
   • Om variantie-inflatie te voorkomen (waarbij ruisvarianties willekeurig groot worden zonder de likelihood te beïnvloeden), wordt een expliciete variantie-regularisatie term toegevoegd aan de loss-functie, die extreme prior- en sensorvarianties bestraft.

4. Onzekerheidskwantificatie:

   • Bayesiaanse Onzekerheid: Het model biedt van nature epistemische onzekerheid (via de posterior variantie) en aleatorische onzekerheid (via de residuele ruis).
   • Zonder Grondwaarheid Kalibratie: Om garanties voor eindige-steekproef dekking te bieden zonder gelabelde targets, integreren de auteurs Locally Adaptive Monte Carlo Conformal Prediction (MC-CP). Deze procedure genereert synthetische realisaties uit de posterior predictieve distributie om conformiteitsscores te berekenen, wat resulteert in heteroscedastische predictie-intervallen.
   • Sensor-Anchored Kalibratie: Een complementair mechanisme evalueert de consistentie van gefuseerde voorspellingen tegenover bias-gecorrigeerde sensorobservaties direct, wat een externe controle biedt tegen model-misspecificatie.

Belangrijkste Bijdragen

• Formulering: Het artikel formuleert ongesuperviseerde multi-sensor regressie als een probabilistisch latent-state inferentieprobleem dat gezamenlijk heterogene biases, betrouwbaarheidsschatting, identificeerbaarheid en onzekerheid behandelt.
• NCAM Framework: Introductie van een hiërarchisch Bayesiaans model dat sensor bias en betrouwbaarheid leert terwijl het gesloten vorm conjunctieve posterior aggregatie toelaat.
• Oplossing voor Identificeerbaarheid: Een geprincipeerde sensor anchoring strategie die structurele niet-identificeerbaarheid oplost, wat interpreteerbare en identificeerbare latente staat schattingen oplevert.
• Kalibratie: Ontwikkeling van een zonder grondwaarheid Monte Carlo conformal kalibratie procedure die lokaal adaptieve predictie-intervallen produceert zonder gelabelde target-observaties te vereisen.
• Empirische Validatie: Demonstratie van verbeterde predictieve nauwkeurigheid en goed gekalibreerde onzekerheid op synthetische en real-world luchtkwaliteitsdatasets vergeleken met ongesuperviseerde baselines (gemiddelde aggregatie, probabilistische PCA, Kalman filtering, en VELI).

Experimentele Resultaten
De auteurs hebben NCAM geëvalueerd op drie datasets: een synthetische "Toy" dataset, SensEURCity (spatio-temporele PM2.5 uit drie steden), en CAIRSENSE (geco-gelokaliseerde PM2.5 sensoren).

• Predictieve Nauwkeurigheid: NCAM behaalde de beste of bijna-beste prestaties over alle datasets. Op de synthetische dataset met bekende heterogene biases, verminderde NCAM de RMSE met ongeveer 50% vergeleken met de op één na beste ongesuperviseerde baseline (VELI) en met meer dan 100% vergeleken met klassieke methoden zoals Kalman filtering. Op real-world datasets waren de winsten aanzienlijk waar sensor bias significant was (SensEURCity) en competitief waar sensoren bijna homogeen waren (CAIRSENSE).
• Identificeerbaarheid & Bias: Ablatie-studies bevestigden dat zonder sensor anchoring, het model lijdt onder niet-identificeerbaarheid (het verbeteren van de likelihood terwijl de predictieve nauwkeurigheid verslechtert). Het verwijderen van expliciete bias-modellering veroorzaakte dramatische prestatiedalingen in heterogene settings, maar had verwaarloosbare of licht positieve effecten in hoog gecorreleerde, lage-bias settings.
• Onzekerheidskalibratie: De voorgestelde MC-CP methoden boden geldige predictie-intervallen zonder grondwaarheid. "MC-CP (Model)" leverde de strakste intervallen door gebruik te maken van de adaptieve variantie van het model, terwijl "MC-CP Sensor-Anchored" een conservatiever, op metingen gebaseerd alternatief bood.

Betekenis en Claims
Het artikel claimt dat betrouwbare multi-sensor regressie haalbaar is in volledig ongesuperviseerde settings door principiële probabilistische aggregatie te combineren met onzekerheidskalibratie. De significantie ligt niet in de introductie van individuele componenten (Bayesiaanse inferentie, neurale netwerken of conformal prediction), maar in hun geprincipleerde integratie om de unieke, gekoppelde uitdagingen van ongesuperviseerde sensorfusie op te lossen. Het framework maakt het volgende mogelijk:

1. Schatting van sensor bias en betrouwbaarheid zonder labels.
2. Resolutie van de niet-identificeerbaarheid van de latente staat.
3. Generatie van onzekerheid-bewuste voorspellingen met garanties voor eindige-steekproef dekking.

De auteurs concluderen dat nauwkeurige, onzekerheid-bewuste sensorfusie haalbaar is zonder supervisie, met name in regimes met significante inter-sensor bias, terwijl het competitief blijft in homogene omgevingen. Toekomstig werk suggereert de exploratie van afhankelijkheids-bewuste kalibratie en uitbreidingen naar multivariate targets.