Résumé technique : Optimisation bayésienne multi-objectif pour l'inférence sans vraisemblance dans les modèles d'échantillonnage séquentiel

1. Énoncé du problème

Dans de nombreux domaines scientifiques, particulièrement en modélisation de la psychologie et du comportement des consommateurs, les modèles statistiques sont définis par des processus génératifs (simulateurs) qui produisent des données synthétiques. Bien que cela soit naturel pour intégrer des connaissances métier, ces modèles possèdent souvent des fonctions de vraisemblance intraitables, rendant l'inférence bayésienne traditionnelle impossible. L'inférence sans vraisemblance (LFI - Likelihood-Free Inference), ou inférence basée sur la simulation (SBI - Simulation-Based Inference), répond à ce problème en s'appuyant uniquement sur les simulations du modèle.

Un défi spécifique survient lors du traitement de données multi-sources (par exemple, les résultats de choix et les temps de réponse dans les modèles d'échantillonnage séquentiel). Les méthodes existantes d'LFI efficaces, telles que l'optimisation bayésienne pour l'inférence sans vraisemblance (BOLFI), nécessitent généralement de combiner les écarts de plusieurs sources de données en une seule métrique scalaire. Cette combinaison est souvent arbitraire ; si elle n'est pas gérée avec une extrême prudence, elle peut conduire à :

• Perte d'information : L'importance relative des différentes sources de données peut être occultée.
• Quantification conservatrice de l'incertitude : La distribution postérieure résultante peut être excessivement diffuse.
• Incapacité à détecter les conflits : Si les sources de données fournissent des informations conflictuelles (par exemple, en raison d'une spécification erronée du modèle), une discrépance combinée unique peut échouer à explorer simultanément les régions de haute vraisemblance de toutes les sources.

Les méthodes actuelles d'estimation de densité structurée (comme la vraisemblance synthétique) nécessitent souvent un nombre excessif de simulations, ce qui les rend inadaptées aux simulateurs coûteux en termes de calcul.

2. Méthodologie : MOBOLFI

Les auteurs proposent la méthode MOBOLFI (Multi-objective Bayesian Optimization for Likelihood-Free Inference). Cette méthode étend l'approche BOLFI à source unique pour gérer les données multi-sources en traitant les écarts de chaque source de données comme des objectifs distincts dans un cadre d'optimisation multi-objectif.

Mécanisme central

1. Discrépance multidimensionnelle : Au lieu d'une discrépance unique $\Delta$, MOBOLFI définit un vecteur de discrépances $\mathbf{D}(\theta) = (D_1(\theta), \dots, D_K(\theta))^\top$, où chaque $D_k$ représente l'écart attendu entre les données simulées et observées pour la $k$-ième source de données.
2. Modélisation de substitution (Surrogate Modeling) : Un processus gaussien multivarié (GP) est utilisé comme modèle de substitution pour la fonction de discrépance à valeurs vectorielles $\mathbf{D}(\theta)$. Ce modèle capture non seulement l'incertitude dans chaque discrépance, mais aussi la structure de dépendance (covariance) entre les discrépances des différentes sources de données.
3. Optimisation bayésienne multi-objectif (MOBO) : L'algorithme utilise la MOBO pour sélectionner séquentiellement les paramètres de simulation $\theta$. Plus précisément, il utilise la fonction d'acquisition Noisy Expected Hypervolume Improvement (NEHVI). Celle-ci guide la recherche vers la « frontière de Pareto » — l'ensemble des valeurs de paramètres où les discrépances pour toutes les sources de données sont simultanément minimisées (ou là où aucune source ne peut être améliorée sans en dégrader une autre).
4. Approximation de la vraisemblance : Une fois le modèle de substitution GP entraîné, il approxime la distribution des discrépances. La vraisemblance pour les données jointes et pour les sources de données individuelles est approximée en utilisant la fonction de répartition (CDF) d'une distribution normale multivariée dérivée des prédictions du GP.
   • La vraisemblance jointe est approximée par $p(\mathbf{S}_{obs}|\theta) \propto \Phi(\mathbf{t}; \boldsymbol{\mu}_n(\theta), \boldsymbol{\Sigma}_n(\theta) + \boldsymbol{\Sigma})$.
   • Les vraisemblances marginales et conditionnelles pour les sources individuelles (par exemple, $p(T_{obs}|\theta)$) sont dérivées en décomposant la probabilité multivariée, permettant une inférence séparée sur des sous-ensembles de données.

Détails de mise en œuvre

• Sélection de la tolérance : Le vecteur de tolérance $\mathbf{t}$ est défini sur la base du quantile $q$ des discrépances d'entraînement (par exemple, $q=0,05$).
• Mise à l'échelle (Scaling) : Pour garantir la stabilité numérique et une exploration efficace, les discrépances sont mises à l'échelle (par exemple, en utilisant la déviation absolue moyenne) afin qu'elles opèrent sur des ordres de grandeur similaires avant d'être injectées dans l'algorithme MOBO.
• Échantillonnage de la distribution postérieure : Les vraisemblances approximées sont utilisées au sein d'algorithmes de Monte Carlo par chaînes de Markov (MCMC) (spécifiquement le MCMC par évolution différentielle) pour échantillonner la distribution postérieure approximative sans simulations supplémentaires coûteuses.

3. Principales contributions

Le document présente trois contributions majeures :

1. Exploration efficace de régions de haute vraisemblance disjointes : MOBOLFI peut explorer les régions de haute vraisemblance pour plusieurs sources de données en une seule exécution, même lorsque ces régions sont disjointes (un scénario courant en cas de spécification erronée du modèle). Cela est difficile pour les approches à objectif unique qui peuvent rester piégées dans des optima locaux d'une métrique combinée.
2. Évitement de la perte d'information : En évitant de combiner les discrépances en un seul scalaire, MOBOLFI préserve le contenu d'information distinct de chaque source de données. Cela empêche la quantification de l'incertitude « hautement conservatrice » souvent observée lorsque des poids arbitraires sont utilisés pour combiner les discrépances.
3. Capacités de diagnostic : La méthode permet d'approximer les vraisemblances pour les sources de données individuelles. Cela permet aux chercheurs de :
   • Vérifier l'existence d'informations conflictuelles entre les sources de données (vérification du modèle).
   • Déterminer l'importance relative de sources de données spécifiques pour l'estimation de paramètres individuels.

4. Résultats expérimentaux

Les auteurs valident MOBOLFI à travers trois exemples :

A. Exemple de test (Mouvement Brownien)

• Configuration : Un modèle synthétique avec deux sources de données (observations normales et mouvement brownien discrétisé) estimant un paramètre à 10 dimensions.
• Résultats :
  • MOBOLSI a produit des distributions postérieures avec une variance plus faible et une plus grande proximité avec la vraie distribution postérieure par rapport à BOLFI utilisant une somme pondérée des discrépances.
  • MOBOLFI a réussi à récupérer la vraie distribution postérieure pour les sources de données individuelles (en se conditionnant sur une seule source) sans coût de calcul supplémentaire après la course conjointe.
  • Dans un scénario de spécification erronée (où les deux sources de données étaient générées par deux paramètres réels différents), MOBOLFI a identifié l'information conflictuelle, alors que BOLFI a produit un mode de distribution situé entre les deux vérités conflictuelles, échouant à capturer les régions distinctes de haute vraisemblance.

B. MLBA synthétique (Multi-attribute Linear Ballistic Accumulator)

• Configuration : Un SSM utilisé pour la prise de décision, ajusté à des données synthétiques de choix et de temps de réponse (RT). La vraisemblance en forme close du MLBA sert de « référence absolue » (gold standard).
• Résultats :
  • Les distributions postérieures de MOBOLFI étaient nettement plus proches de la référence en forme close que celles de BOLFI.
  • MOBOLFI a démontré que les données de Temps de Réponse (RT) étaient cruciales pour estimer les paramètres de fin de processus (seuil de décision/difficulté), tandis que les données de Choix (CH) étaient plus informatives pour les paramètres de début de processus (préférences).
  • Dans les scénarios de spécification erronée, MOBOLFI a exploré l'espace des paramètres efficacement, identifiant des optima locaux proches des paramètres réels conflictuels, là où BOLFI a échoué à explorer pleinement la région de haute vraisemblance pour les deux sources simultanément.

C. Données réelles (Chauffeurs de VTC)

• Configuration : Une étude empirique sur les préférences des chauffeurs de VTC à Singapour pour les véhicules électriques (VE), utilisant des données de choix et de RT.
• Résultats :
  • Les approximations de MOBOLFI étaient beaucoup plus proches des estimations de vraisemblance en forme close que celles de BOLFI.
  • L'analyse a révélé que si les données de choix dictaient l'estimation des paramètres de préférence, les données de RT étaient essentielles pour estimer le seuil de décision.
  • Les données conjointes ont fourni des estimations plus efficaces que les sources de données marginales seules.

D. Exemple du centre de la petite enfte (Annexe)

• Configuration : Inférence sur les taux de transmission bactérienne à l'aide de statistiques de résumé provenant de plusieurs centres.
• Résultats : MOBOLFI s'est montré compétitif par rapport à BOLFI même dans ce contexte de source unique (lorsque les résumés des données étaient partitionnés), démontrant sa robustesse.

5. Signification et affirmations

L'article affirme que MOBOLFI offre un cadre robuste pour l'inférence bayésienne dans des modèles complexes et coûteux en calcul avec des sources de données multiples. Sa signification réside dans :

• Gestion de la spécification erronée : Il fournit un mécanisme pour détecter et analyser les conflits entre sources de données, ce qui est crucial pour une analyse fiable dans des modèles complexes comme les SSM.
• Efficacité de simulation : Il atteint des approximations précises avec moins de simulations que les méthodes nécessitant de grands lots de données pour l'estimation de densité, ce qui le rend adapté aux simulateurs coûteux.
• Interprétabilité : En séparant les contributions de vraisemblance, il offre des perspectives plus profondes sur la manière dont les différentes sources de données pilotent l'estimation de paramètres spécifiques, une caractéristique perdue dans les approches à discrépance unique.

Les auteurs notent que bien que MOBOLFI soit motivé par les SSM, il est applicable à tout problème d'LFI avec des données multi-sources. Ils reconnaissent que des défis subsistent, tels que la sensibilité au choix des statistiques de résumé et l'initialisation de l'algorithme de BO, suggérant ces points comme pistes de recherches futures.