Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias

Résumé Technique : Neural Conjugate Aggregation (NCAM)

Énoncé du Problème
L'article traite du défi de la régression multi-capteurs non supervisée, un scénario courant dans les réseaux de capteurs, les ensembles de simulations et la surveillance scientifique où plusieurs sources de mesures bruitées et biaisées sont disponibles, mais où les étiquettes de vérité terrain pour la variable cible sont absentes pendant l'entraînement. Dans de tels contextes, les capteurs présentent souvent des biais hétérogènes (multiplicatifs et additifs), des niveaux de bruit variables et une dérive temporelle. Les méthodes de fusion classiques échouent généralement ici car elles reposent sur des caractéristiques de capteurs connues ou des données étiquetées pour le calibrage. De plus, les modèles de fusion à variables latentes en contexte non supervisé souffrent d'une non-identifiabilité structurelle, où de multiples paramétrages peuvent expliquer les mêmes observations de manière équivalente, rendant l'état latent récupéré ambigu. Les approches existantes traitent souvent seulement certains de ces problèmes (par exemple, le calibrage supervisé, l'agrégation heuristique ou la quantification de l'incertitude avec des étiquettes) mais manquent d'un cadre unifié pour le calibrage non supervisé, l'estimation de la fiabilité, l'identifiabilité et la quantification de l'incertitude simultanément.

Méthodologie : Modèle de Neural Conjugate Aggregation (NCAM)
Les auteurs proposent NCAM, un cadre bayésien hiérarchique qui intègre des réseaux de neurones avec l'inférence gaussienne conjuguée pour effectuer une fusion multi-sources non supervisée.

1. Modèle Génératif :

   • Prior Latent : Une variable cible latente $\Theta_i$ est modélisée par un prior gaussien $p(\Theta_i | X_i)$, où la moyenne et la variance sont les sorties d'un réseau de neurones conditionné par des covariables contextuelles $X_i$.
   • Modèle de Mesure : Chaque capteur $j$ fournit une observation bruitée $b_{ij}$ modélisée par $b_{ij} = a_j(X_i)\Theta_i + c_j(X_i) + \epsilon_{ij}$. Des réseaux de neurones paramètrent le biais multiplicatif spécifique au capteur ($a_j$), le biais additif ($c_j$) et la variance du bruit dépendant de la source ($\sigma^2_j$).
   • Agrégation de la Postérior : En raison de la structure gaussienne conjuguée, la postérior sur la cible latente $\Theta_i$ étant donné toutes les mesures des capteurs est analytiquement traitable. La moyenne de la postérior sert de fusion pondérée par la fiabilité et corrigée des biais de tous les capteurs, où les poids sont déterminés par la précision apprise ($a_j^2 / \sigma_j^2$).

2. Résolution de la Non-Identifiabilité (Ancrage de Capteur) :

   • Le modèle de mesure est invariant sous des transformations affines de la variable latente, ce qui conduit à la non-identifiabilité. Pour résoudre cela, NCAM emploie une stratégie d'ancrage de capteur : un capteur de référence est fixé avec un biais multiplicatif $a_{j^*} \equiv 1$ et un biais additif $c_{j^*} \equiv 0$. Cela brise la symétrie, rendant l'état latent identifiable par rapport à l'ancre et garantissant que les améliorations de la vraisemblance correspondent à une véritable précision prédictive.

3. Objectif d'Entraînement :

   • Puisque la vérité terrain est indisponible, le modèle est entraîné en maximisant la vraisemblance marginale des mesures de capteurs observées.
   • Pour éviter l'inflation de la variance (où les variances de bruit augmentent arbitrairement sans affecter la vraisemblance), un terme de régularisation de la variance explicite est ajouté à la fonction de perte, pénalisant les variances extrêmes des priors et des capteurs.

4. Quantification de l'Incertitude :

   • Incertitude Bayésienne : Le modèle fournit naturellement l'incertitude épistémique (via la variance de la postérior) et l'incertitude aléatoire (via le bruit résiduel).
   • Calibrage Sans Vérité Terrain : Pour fournir des garanties de couverture à échantillon fini sans cibles étiquetées, les auteurs intègrent la Prédiction Conforme de Monte Carlo Localement Adaptative (MC-CP). Cette procédure génère des réalisations synthétiques à partir de la distribution prédictive de la postérior pour calculer les scores de conformité, produisant des intervalles de prédiction hétéroscédastiques.
   • Calibrage Ancré sur Capteur : Un mécanisme complémentaire évalue la cohérence des prédictions fusionnées par rapport aux observations des capteurs corrigées des biais, offrant ainsi un contrôle externe contre l'erreur de spécification du modèle.

Principales Contributions

• Formulation : L'article formule la régression multi-capteurs non supervisée comme un problème d'inférence d'état latent probabiliste qui gère conjointement les biais hétérogènes, l'estimation de la fiabilité, l'identifiabilité et l'incertitude.
• Cadre NCAM : Introduction d'un modèle bayésien hiérarchique qui apprend le biais et la fiabilité des capteurs tout en admettant une agrégation de la postérior conjuguée en forme fermée.
• Solution d'Identifiabilité : Une stratégie d'ancrage de capteur fondée sur des principes qui résout la non-identifiabilité structurelle, produisant des estimations d'état latent interprétables et identifiables.
• Calibrage : Développement d'une procédure de calibrage de Monte Carlo conforme sans vérité terrain qui produit des intervalles de prédiction localement adaptatifs sans nécessiter d'observations cibles étiquetées.
• Validation Empirique : Démonstration d'une précision prédictive et d'une incertitude mieux calibrées sur des jeux de données synthétiques et réels de qualité de l'air par rapport aux bases non supervisées (agrégation de la moyenne, PCA probabiliste, filtrage de Kalman et VELI).

Résultats Expérimentaux
Les auteurs ont évalué NCAM sur trois jeux de données : un jeu de données synthétique "Toy", SensEURCity (PM2.5 spatio-temporelles de trois villes) et CAIRSENSE (capteurs de PM2.5 co-localisés).

• Précision Prédictive : NCAM a obtenu les meilleures performances ou des performances proches de l'excellence sur tous les jeux de données. Sur le jeu de données synthétique avec des biais hétérogènes connus, NCAM a réduit l'RMSE d'environ 50 % par rapport à la base non supervisée suivante (VELI) et de plus de 100 % par rapport aux méthodes classiques comme le filtrage de Kalman. Sur les jeux de données réels, les gains ont été substantiels là où le biais des capteurs était significatif (SensEURCity) et compétitifs là où les capteurs étaient presque homogènes (CAIRSENSE).
• Identifiabilité et Biais : Les études d'ablation ont confirmé que sans l'ancrage de capteur, le modèle souffre de non-identifiabilité (améliorant la vraisemblance tout en dégradant la précision prédictive). Le retrait de la modélisation explicite du biais a provoqué des chutes de performance dramatiques dans les contextes hétérogènes, mais a eu des effets négligeables ou légèrement positifs dans les contextes hautement corrélés et à faible biais.
• Calibrage de l'Incertitude : Les méthodes MC-CP proposées ont fourni des intervalles de prédiction valides sans vérité terrain. "MC-CP (Modèle)" a produit les intervalles les plus serrés en exploitant la variance adaptative du modèle, tandis que "MC-CP Ancré sur Capteur" offrait une alternative plus conservatrice, ancrée dans les mesures.

Signification et Revendications
L'article affirme qu'une régression multi-capteurs fiable est réalisable dans des contextes entièrement non supervisés en combinant une agrégation probabiliste rigoureuse et un calibrage de l'incertitude. La signification ne réside pas dans l'introduction de composants individuels (inférence bayésienne, réseaux de neurones ou prédiction conforme) mais dans leur intégration fondée sur des principes pour résoudre les défis uniques et couplés de la fusion de capteurs non supervisée. Le cadre permet :

1. L'estimation du biais et de la fiabilité des capteurs sans étiquettes.
2. La résolution de la non-identifiabilité de l'état latent.
3. La génération de prédictions tenant compte de l'incertitude avec des garanties de couverture à échantillon fini.

Les auteurs concluent qu'une fusion de capteurs précise et consciente de l'incertitude est réalisable sans supervision, particulièrement dans les régimes présentant des biais inter-capteurs importants, tout en restant compétitive dans les environnements homogènes. Des travaux futurs sont suggérés pour explorer le calibrage dépendant des dépendances et les extensions vers des cibles multivariées.