Maximin Robust Bayesian Experimental Design

1. Problématique : La fragilité de la conception expérimentale bayésienne

La conception expérimentale bayésienne (Bayesian Experimental Design - BED) vise à sélectionner des expériences qui maximisent l'acquisition d'information sur des paramètres latents $\theta$ à partir de mesures $x$. L'objectif standard est de maximiser le Gain d'Information Espéré (EIG), défini comme l'information mutuelle de Shannon entre les paramètres et les données :
$$I(\theta; x) = \mathbb{E}_{p(x)} [D_{KL}(p(\theta|x) \parallel p(\theta))]$$

Cependant, cette approche repose sur l'hypothèse que le modèle de vraisemblance $p(x|\theta, \xi)$ est parfaitement spécifié (le "monde réel" correspond au modèle). En pratique, les modèles sont souvent mal spécifiés (misspecified) : les systèmes réels (physiques, biologiques, etc.) présentent des interactions complexes que les modèles idéalisés ne capturent pas fidèlement.

• Conséquence : Un design optimisé sous un modèle erroné peut sembler très informatif théoriquement mais s'avérer inefficace, voire contre-productif, face aux données réelles.
• Défi : Unifier la robustesse dans la génération de données (le processus d'observation) et dans l'inférence (la mise à jour des croyances) au sein d'un seul cadre cohérent.

2. Méthodologie : Un jeu Max-Min et l'Optimisation Robuste Distributionnelle

Les auteurs proposent un cadre principiel basé sur la théorie des jeux et l'optimisation robuste distributionnelle (DRO).

A. Formulation Max-Min

Le problème est formulé comme un jeu à somme nulle entre l'expérimentateur et une "nature" adverse :

1. L'expérimentateur choisit une politique de conception stochastique $\pi$ (une distribution sur l'espace des designs).
2. La nature choisit un processus de génération de données $q$ (une perturbation du modèle nominal $p$) pour minimiser le gain d'information, dans le but de contrecarrer l'expérimentateur.
3. Contrainte : La nature est contrainte par un "budget" de mal-spécification $\rho$, défini par une boule de Kullback-Leibler (KL) autour du modèle nominal. La nature ne peut pas choisir n'importe quel $q$, mais doit rester à une distance KL moyenne $\le \rho$ du modèle nominal.

Le problème devient :
$$V^* = \sup_{\pi} \inf_{q \in \mathcal{Q}_\rho} \mathbb{E}_{\pi} [U(\xi, q)]$$
où $U$ est l'utilité (gain d'information).

B. Résolution Analytique : L'Information Mutuelle de Sibson

En résolvant le problème d'optimisation interne (le pire cas pour la nature), les auteurs démontrent que l'objectif robuste optimal correspond à l'Information Mutuelle de Sibson d'ordre $\alpha$ ($I_\alpha^S$) :
$$I_\alpha^S(\theta; x) = D_\alpha \left( p(\theta, x) \parallel p(\theta) p_\alpha(x) \right)$$
où :

• $D_\alpha$ est la divergence de Rényi d'ordre $\alpha$.
• $\alpha \in (0, 1)$ est un paramètre de régularisation lié au budget de mal-spécification $\rho$ (via la dualité $\alpha = \beta / (1+\beta)$).
• $p_\alpha(x)$ est une marge inclinée (tilted marginal), qui pondère les régions de haute vraisemblance.

Interprétation clé :

• Mise à jour des croyances : La règle de mise à jour bayésienne robuste n'est plus la règle standard, mais une postérieure inclinée : $q^*(\theta|x) \propto p(\theta) p(x|\theta)^\alpha$. Cela atténue l'impact de la vraisemblance (down-weighting) pour compenser la mal-spécification.
• Gain d'information : Le gain conditionnel est mesuré par la divergence de Rényi entre la postérieure et l'a priori.

C. Estimation et Optimisation via PAC-Bayes

Le calcul de $I_\alpha^S$ est intraitable analytiquement dans la plupart des cas et nécessite des estimateurs de Monte Carlo imbriqués (Nested Monte Carlo), qui sont biaisés et bruyants. Optimiser directement un design déterministe sur un estimateur biaisé conduit à des solutions sous-optimales.

Pour contourner cela, les auteurs adoptent une approche PAC-Bayésienne :

1. Ils optimisent une politique stochastique $\pi$ (distribution sur les designs) plutôt qu'un design unique.
2. Ils dérivent une borne inférieure à haute probabilité sur le gain d'information robuste réel, basée sur l'estimateur bruité et une pénalité de divergence KL par rapport à une politique a priori $\pi_0$.
3. L'objectif à maximiser devient une fonction de type Gibbs :
   $$\pi^* \propto \pi_0(\xi) \exp(\lambda \tilde{I}_\alpha^S(\xi))$$
   Cela permet d'utiliser des méthodes d'optimisation de politiques stochastiques (comme la descente de miroir) tout en garantissant théoriquement la performance.

3. Contributions Clés

1. Cadre Théorique Unifié : Première formulation unifiant la robustesse de la génération de données et de l'inférence bayésienne via un problème Max-Min, aboutissant naturellement à l'information mutuelle de Sibson.
2. Lien avec la Postérieure Inclinée : Démonstration que la robustesse face à la mal-spécification implique l'utilisation d'une postérieure inclinée ($\alpha$-tilted posterior) comme règle de mise à jour optimale, reliant la théorie du jeu à l'inférence bayésienne généralisée.
3. Algorithme PAC-Bayésien : Développement d'une méthode d'optimisation de politiques stochastiques avec des garanties de convergence rigoureuses (bornes de probabilité) pour gérer l'incertitude des estimateurs de Monte Carlo imbriqués.
4. Analyse de la Complexité : Étude de l'erreur de biais et de la concentration des estimateurs imbriqués, fournissant des bornes explicites pour le choix des tailles d'échantillons internes et externes.

4. Résultats Numériques

Les auteurs évaluent leur méthode sur deux cas d'usage : une régression linéaire continue et un test A/B discret.

• Robustesse et Calibration :
  • Les designs optimisés avec l'approche robuste (Sibson) produisent des postérieures conservatrices mais bien calibrées.
  • Contrairement à l'approche nominale (Shannon) qui est souvent sur-confiante (sous-couverture des intervalles de crédibilité), l'approche robuste garantit que la vraie valeur des paramètres tombe dans les intervalles de crédibilité avec la fréquence attendue, même sous mal-spécification.
• Performance Prédictive :
  • Les designs robustes obtiennent une densité prédictive log-espérée supérieure sur des ensembles de test tenus à l'écart, démontrant que la conservatisme induit améliore la généralisation.
• Efficacité de l'Optimisation PAC-Bayes :
  • Dans des espaces de haute dimension, les optimiseurs déterministes "naïfs" (basés sur des estimateurs bruités) souffrent d'un regret élevé et d'une grande variabilité.
  • La politique PAC-Bayesienne converge systématiquement vers des designs proches de l'optimum théorique avec un regret nettement inférieur, validant l'importance de l'approche stochastique face au bruit d'estimation.

5. Signification et Impact

Cet article apporte une avancée majeure dans le domaine de la conception expérimentale en adressant le problème critique de la mal-spécification du modèle, souvent négligé dans les approches bayésiennes classiques.

• Théorique : Il établit un pont solide entre la théorie de l'information (divergences de Rényi), la théorie des jeux (Max-Min) et l'apprentissage statistique (PAC-Bayes).
• Pratique : Il fournit une méthode opérationnelle pour concevoir des expériences fiables dans des environnements réels incertains (robotique, épidémiologie, biologie), où les modèles sont par nature des approximations.
• Héritage : La démonstration que l'optimisation de politiques stochastiques est nécessaire pour surmonter le biais des estimateurs imbriqués ouvre la voie à des applications plus larges de l'inférence bayésienne robuste dans des contextes complexes.

En résumé, l'article propose de remplacer l'optimisation aveugle de l'information par une optimisation prudente et robuste, garantissant que les expériences conçues restent informatives même lorsque nos modèles du monde sont imparfaits.