Information-Preserving Domain Transfer with Unlabeled Data in Misspecified Simulation-Based Inference

Résumé technique : Transfert de domaine préservant l'information avec des données non étiquetées dans l'inférence basée sur la simulation mal spécifiée

Énoncé du problème
L'inférence basée sur la simulation (SBI) permet une inférence bayésienne amortie des paramètres à partir de données générées par un simulateur, sans nécessiter d'évaluation explicite de la vraisemblance. Cependant, la fiabilité des méthodes de SBI neuronales, telles que l'estimation du postérieur neuronal (NPE), se dégrade en cas de mauvaise spécification du modèle — situations où les observations du monde réel ne sont pas bien représentées par le simulateur utilisé pour l'entraînement. Dans de tels cas, une inférence directe sur des données du monde réel peut produire des postérieurs biaisés ou excessivement confiants.

Les approches existantes pour atténuer la mauvaise spécification reposent souvent sur des données du monde réel non étiquetées pour aligner les distributions marginales des observations simulées et réelles (par exemple, via la divergence maximale de moyenne ou un entraînement adversarial de domaine). Cependant, les auteurs soutiennent que l'alignement marginal seul est insuffisant. Il ne garantit pas la préservation de la structure conditionnelle reliant les observations aux variables de tâche (paramètres), risquant ainsi de rejeter des informations critiques pour l'inférence du postérieur. De plus, de nombreuses méthodes existantes nécessitent un petit ensemble de calibration de données du monde réel avec des paramètres connus, ce qui est souvent indisponible.

Méthodologie : SPIN
L'article propose SPIN (Inférence basée sur la simulation avec transfert de domaine préservant l'information pertinente aux paramètres), un cadre conçu pour la NPE dans des conditions de mauvaise spécification du modèle, utilisant uniquement des observations du monde réel non étiquetées et non appariées.

• Mécanisme central : SPIN apprend des cartes de transport bidirectionnelles entre le domaine du simulateur ($X_s$) et le domaine du monde réel ($X_r$). Soit $G_{sr}: X_s \to X_r$ qui mappe les observations du simulateur vers le domaine du monde réel, et $G_{rs}: X_r \to X_s$ qui mappe les observations du monde réel de retour vers le domaine du simulateur.
• Protocole d'inférence : Au moment du test, une observation du monde réel $x_r$ est mapée vers le domaine du simulateur via $x_{rs} = G_{rs}(x_r)$. Le postérieur est ensuite estimé en utilisant le modèle NPE entraîné sur le simulateur : $\hat{p}(\theta | x_r) = q_\psi(\theta | x_{rs})$.
• Objectif de préservation de l'information : L'innovation clé est un objectif d'entraînement qui garantit que le transport préserve l'information pertinente aux paramètres. Puisque les étiquettes de paramètres du monde réel sont indisponibles, SPIN utilise les étiquettes du simulateur pendant l'entraînement.
  1. Une paire de simulateur étiquetée $(\theta, x_s)$ est traduite vers le domaine du monde réel ($x_{sr} = G_{sr}(x_s)$) puis mapée de retour vers le domaine du simulateur ($x_{srs} = G_{rs}(x_{sr})$).
  2. Parce que $x_{srs}$ provient d'un échantillon étiqueté, le paramètre original $\theta$ est connu.
  3. SPIN optimise une borne inférieure variationnelle de l'information mutuelle (MI) entre le paramètre $\theta$ et l'observation transportée $x_{srs}$. Cela est réalisé en minimisant la log-vraisemblance négative du paramètre original étant donné l'observation transportée :
     $$\mathcal{L}_{info}(q) = \mathbb{E}_{(\theta, x_s) \sim p_s} [-\log q(\theta | G_{rs}(G_{sr}(x_s)))]$$
  4. Cette perte encourage les cartes de transport à conserver l'information sur le paramètre, plutôt que de simplement faire correspondre les distributions marginales.
• Procédure d'entraînement : Le cadre entraîne conjointement les réseaux de transport ($G_{sr}, G_{rs}$), les discriminateurs (pour l'alignement de domaine adversarial) et l'estimateur du postérieur ($q_\psi$). La perte totale du générateur combine la traduction adversariale, la cohérence cyclique, la régularisation d'identité et le terme de préservation de l'information ($\mathcal{L}_{info}$).

Contributions clés

1. Transfert de domaine préservant l'information : Contrairement aux méthodes d'alignement de domaine antérieures qui se concentrent sur la correspondance des distributions marginales, SPIN contraint explicitement le transfert de domaine à préserver l'information mutuelle entre le paramètre d'intérêt et les observations transportées.
2. Adaptation non étiquetée et non appariée : SPIN ne nécessite que les étiquettes du simulateur pour l'entraînement. Il adapte la NPE en utilisant des observations du monde réel non étiquetées et non appariées, sans avoir besoin d'un ensemble de calibration de données du monde réel avec des paramètres connus.
3. Justification théorique : Les auteurs fournissent une identité de population montrant que si le transport appris satisfait une condition de transport conjoint préservant les paramètres, le risque au moment du test dans le monde réel est égal au risque transporté étiqueté par le simulateur minimisé par $\mathcal{L}_{info}$.

Résultats expérimentaux
Les auteurs ont évalué SPIN sur quatre benchmarks :

• SIR : Un benchmark synthétique faiblement mal spécifié basé sur un modèle épidémique avec signalement retardé.
• Pendule : Un benchmark synthétique introduisant un amortissement dans un modèle de pendule sans frottement.
• Soufflerie : Un benchmark physique contrôlé utilisant un système de chambre à vent où le modèle mécaniste approxime les réponses réelles de la chambre.
• Tunnel lumineux : Un benchmark physique contrôlé utilisant un système d'imagerie optique avec une modélisation simplifiée des réponses du tunnel lumineux.

Constats :

• Performance : Sur les benchmarks synthétiques et physiques, SPIN a systématiquement amélioré les principales métriques de qualité d'inférence (erreur quadratique moyenne, probabilité du postérieur logarithmique et ACAUC) par rapport à la NPE standard et aux bases de référence d'alignement marginal (NPE-MMD, NPE-DANN).
• Impact de la mauvaise spécification : Les améliorations de SPIN sont devenues plus prononcées à mesure que le degré de mauvaise spécification du modèle augmentait. Par exemple, dans le benchmark du pendule, à mesure que le coefficient d'amortissement (force de mauvaise spécification) augmentait, SPIN maintenait une densité postérieure et une précision supérieures par rapport aux bases de référence.
• Ablation : La suppression du terme de préservation de l'information ($\mathcal{L}_{info}$) a entraîné une dégradation des performances, en particulier dans les tâches présentant de grandes écarts entre le simulateur et la réalité. Cela confirme que les gains sont dus à la préservation de l'information pertinente aux paramètres, et non simplement à l'alignement de domaine.
• Efficacité des données : La performance de SPIN dépend de la quantité de données du monde réel non étiquetées ($N_r$), les plus grands ensembles de données fournissant un apprentissage de transport plus stable, bien que des gains aient été observés même avec des tailles de données modérées.

Signification et affirmations
L'article affirme que pour la SBI mal spécifiée, la réduction de la divergence marginale entre les données simulées et réelles est nécessaire mais insuffisante. Les auteurs soutiennent que le transport de domaine doit explicitement préserver l'information pertinente au paramètre d'intérêt. SPIN démontre qu'en exploitant les étiquettes du simulateur pour imposer la préservation de l'information lors du transport de données du monde réel non étiquetées, on peut obtenir une inférence postérieure plus robuste et précise. La méthode est particulièrement efficace lorsque l'écart entre le simulateur et la réalité est significatif, offrant une solution pratique pour les contextes où les étiquettes de paramètres du monde réel sont indisponibles.