Résumé technique : Entraînement de modèles de substitution bayésiens sur plusieurs sources de données

Énoncé du problème

Les modèles de substitution sont largement utilisés pour approximer des modèles de simulation complexes et coûteux en calcul, pour des tâches telles que la quantification des incertitudes, l'analyse de sensibilité et la résolution de problèmes inverses. Cependant, une limitation fondamentale existe : les modèles de substitution sont généralement entraînés exclusivement sur des données de simulation. Étant donné que le modèle de simulation sous-jacent est souvent une simplification imparfaite des systèmes réels (processus manquants, souffrant de spécifications erronées ou présentant des conditions aux limites incorrectes), le modèle de substitution hérite de ces imprécisions. À l'inverse, les données de mesure réelles contiennent des informations précieuses sur le système réel, mais sont souvent rares, bruitées et manquent d'une connaissance complète des paramètres d'entrée (par exemple, des variables de forçage inconnues) requis par le modèle de simulation.

Les méthodes existantes pour intégrer ces sources de données font face à plusieurs défis :

1. Asymétrie : Les données de simulation ont des entrées entièrement spécifiées, tandis que les données réelles ont souvent des entrées inconnues.
2. Hypothèses d'homogénéité : De nombreuses approches supposent des sources de données homogènes ou s'appuient sur des familles de substituts spécifiques (par exemple, les processus gaussiens) avec des hypothèses simplificatrices.
3. Absence de stratégies de pondération : La littérature est limitée concernant la manière de pondérer correctement des sources de données hétérogènes lors de l'entraînement pour refléter des niveaux variables de confiance ou de fiabilité.
4. Intégration indirecte : Certaines méthodes n'utilisent pas directement les données réelles pour l'entraînement du substitut, mais plutôt pour un étalonnage a posteriori ou une modélisation des écarts.

L'article propose un cadre général pour résoudre ces problèmes en entraînant des modèles de substitution bayésiens sur plusieurs sources de données (simulation et réel) en utilisant de nouvelles stratégies de pondération qui fonctionnent indépendamment de la famille de substituts choisie.

Méthodologie

Les auteurs proposent un cadre qui combine deux sources de données distinctes :

• Données de simulation ($D_S$) : Générées à partir d'un modèle physique $M$ avec des entrées connues $x_S$ et des paramètres incertains $\omega_S$.
• Données réelles ($D_R$) : Générées à partir d'un processus inconnu $G$ avec des entrées connues $x_R$ mais des paramètres inconnus $\omega_R$ et un bruit de mesure.

Le cadre introduit deux approches probabilistes pour l'intégration pondérée, contrôlées par un facteur de pondération $\beta \in [0, 1]$ :

1. Pondération prédictive a posteriori (PW)

Cette méthode entraîne deux modèles de substitution séparés indépendamment :

• Un substitut basé sur la simulation ($f_{M_S}$) entraîné sur $D_S$ et utilisé pour inférer des paramètres inconnus à partir de $D_R$.
• Un substitut piloté par les données ($f_{M_R}$) entraîné uniquement sur $D_R$.

La prédiction finale est une somme pondérée de leurs distributions prédictives a posteriori :
$$p_{pw, \beta}(\hat{y}_R | \hat{x}_R, D_S, D_R) = \beta \cdot p(\hat{y}_R | \hat{x}_R, D_S, D_R, f_{M_S}) + (1 - \beta) \cdot p(\hat{y}_R | \hat{x}_R, D_R, f_{M_R})$$
Ici, $\beta$ contrôle l'influence relative du modèle basé sur la simulation. Cette approche permet de visualiser l'écart entre les deux sources en observant la superposition de leurs distributions prédictives.

2. Mise à l'échelle par puissance des vraisemblances (PS)

Cette méthode entraîne un seul modèle de substitution en intégrant directement les deux sources de données dans la fonction de vraisemblance via une mise à l'échelle par puissance. La distribution a posteriori conjointe est définie comme suit :
$$p_{ps}^\beta(\omega'_R, \sigma', c | D_S, D_R) \propto p(y_R | x_R, \omega'_R, \sigma', c)^{\alpha_R} \cdot p(y_S | x_S, \omega_S, \sigma', c)^{\alpha_S} \cdot p(\omega'_R, \sigma') p(c)$$
Les facteurs d'échelle $\alpha_R$ et $\alpha_S$ sont dérivés de $\beta$ pour garantir que, lorsque $\beta$ tend vers 0 ou 1, l'influence d'une source de données diminue tandis que l'autre reste pleinement exploitée. La méthode emploie une procédure MCMC en deux étapes :

1. Entraînement conjoint : Estimation des coefficients du substitut $c$ et des paramètres intermédiaires en utilisant la vraisemblance mise à l'échelle par puissance.
2. Inférence affinée : Réestimation des paramètres réels inconnus $(\omega_R, \sigma_R)$ en utilisant uniquement la vraisemblance complète des données réelles $D_R$, conditionnée par l'a posteriori de $c$ de l'étape 1. Cela évite de « doublement utiliser » les données réelles et garantit que les paramètres sont inférés sur la base de preuves réelles.

Implémentation

Le cadre est conçu pour être agnostique vis-à-vis du substitut, applicable à tout substitut probabiliste (par exemple, les développements en chaos polynomial, les processus gaussiens, les réseaux de neurones) implémentable dans des langages de programmation probabiliste comme Stan ou PyMC. Les auteurs utilisent l'échantillonnage par Monte Carlo Hamiltonien (HMC) pour l'échantillonnage.

Contributions clés

1. Stratégies de pondération novatrices : Introduction de deux méthodes distinctes (PW et PS) pour combiner des sources de données hétérogènes lors de l'entraînement de substituts, offrant un continuum entre des modèles purement pilotés par les données et purement basés sur la simulation.
2. Gestion de l'asymétrie : La méthode PS traite spécifiquement l'asymétrie des sources de données (entrées connues vs inconnues) grâce à une procédure d'inférence en deux étapes qui sépare l'entraînement des coefficients de l'affinement des paramètres.
3. Agnosticisme vis-à-vis du substitut : Les stratégies de pondération proposées sont indépendantes de la famille de substituts spécifique, permettant une applicabilité large à différents contextes de modélisation.
4. Capacité de diagnostic : Le cadre fournit un mécanisme pour diagnostiquer les limitations structurelles des modèles de simulation en visualisant les informations concurrentes provenant des données de simulation et des données réelles.

Résultats

Les auteurs évaluent les méthodes en utilisant deux études de cas :

Étude de cas 1 : Exemple synthétique

• Configuration : Un modèle de simulation capture une tendance globale, tandis que les données « réelles » incluent un terme périodique supplémentaire absent de la simulation.
• Constats :
  • Hors échantillon (OOS) : Le substitut piloté par les données ($\beta=0$) fonctionne le mieux car il ajuste parfaitement les données locales.
  • Hors distribution (OOD) : Le substitut basé sur la simulation ($\beta=1$) fonctionne le mieux en raison de sa capacité à extrapoler sur la base des lois physiques.
  • Performance hybride : Pour des $\beta$ intermédiaires, la méthode de mise à l'échelle par puissance (PS) a généralement obtenu un RMSE plus faible (plus proche de la vérité synthétique), tandis que la pondération prédictive a posteriori (PW) a fourni un meilleur ELPD (meilleure modélisation des incertitudes).
  • Comparaison avec KOH : La méthode PS a surpassé le cadre d'étalonnage standard Kennedy-O'Hagan (KOH) dans la récupération de la fonction moyenne pour certaines valeurs de $\beta$, bien que KOH ait excellé dans la quantification des incertitudes.

Étude de cas 2 : Modélisation épidémiologique (modèle SIR)

• Configuration synthétique : Un modèle SIR mal spécifié (taux de guérison fixe) par rapport à des données réelles avec un taux de guérison différent.
  • Résultats : PS a montré une performance supérieure dans les régions OOD en exploitant les données de simulation comme régularisateur pour empêcher des prédictions extrêmes du modèle piloté par les données. PW a fourni une superposition visuelle des tendances conflictuelles (déclin plus rapide dans les données par rapport à un déclin plus lent dans la simulation).
• Configuration réelle : Données COVID-19 d'Italie (première vague).
  • Résultats : Le modèle piloté par les données a échoué à extrapoler (prévoyant une augmentation des infections), tandis que le modèle basé sur la simulation a montré une incertitude élevée et prédit un déclin trop fort. L'approche de mise à l'échelle par puissance a atteint un ELPD optimal à $\beta \approx 0,45$, équilibrant les deux sources. La méthode PW a montré une amélioration monotone avec $\beta$ mais n'a pas atteint le pic de performance de PS.

Importance et affirmations

L'article affirme que ces approches de modélisation hybride offrent un moyen flexible d'améliorer la précision prédictive et la couverture, en particulier dans des régimes hors distribution difficiles où l'entraînement sur une seule source échoue.

• Insights diagnostiques : Les auteurs soulignent que la visualisation des distributions prédictives a posteriori (en particulier via PW) sert d'outil de diagnostic. Elle permet aux modélisateurs d'identifier les processus manquants ou les spécifications erronées dans le modèle de simulation en observant où la simulation et les données réelles divergent.
• Compromis : L'article note modestement que la méthode optimale et le facteur de pondération dépendent du scénario spécifique et de la métrique d'évaluation.
  • La mise à l'échelle par puissance est recommandée pour récupérer la vérité sous-jacente et obtenir des prédictions moyennes robustes, car elle utilise les données de simulation comme régularisateur pendant l'entraînement.
  • La pondération prédictive a posteriori est recommandée à des fins de diagnostic et pour une interprétation intuitive des sources d'information concurrentes, bien qu'elle puisse être moins robuste si le composant piloté par les données est mal contraint.
• Voies futures : Les auteurs suggèrent que, bien qu'ils se soient concentrés sur deux sources, le cadre peut être étendu à plusieurs sources. Ils notent également que la recherche du $\beta$ optimal par recherche linéaire peut être coûteuse en calcul pour PS, suggérant un travail futur sur l'échantillonnage d'importance ou l'appariement de moments pour réduire les coûts de réajustement.

En résumé, l'article présente un cadre qui fait passer la modélisation par substitution d'une simple « substitution » aux simulations coûteuses à la composante d'un outil de diagnostic pour la modélisation hybride, capable d'exploiter à la fois les connaissances mécanistes et les preuves empiriques.