Résumé technique : Optimisation Bayésienne Sécurisée avec Politiques Contrefactuelles

Définition du Problème

Le document traite du défi consistant à réaliser une Optimisation Bayésienne Sécurisée (SafeOpt) dans des contextes où les contraintes de sécurité dépendent de résultats contrefactuels. Dans de nombreux scénarios de prise de décision séquentielle (par exemple, les essais cliniques), une nouvelle intervention $x_t$ n'est jugée sûre que si son résultat $Y(x_t)$ ne tombe pas significativement en dessous du résultat d'une politique de soins standard établie, $Y(x_{soc,t})$.

La difficulté fondamentale réside dans le fait que $x_{soc,t}$ est un contrefactuel : la politique de soins standard n'est pas appliquée au temps $t$, donc $Y(x_{soc,t})$ est inobservé. Les méthodes SafeOpt traditionnelles reposent sur des valeurs de contraintes observées pour maintenir un ensemble d'actions sûres. Or, lorsque la contrainte $q(x_t)$ dépend d'un contrefactuel inobservé, de simples estimations ponctuelles de $Y(x_{soc,t})$ sont insuffisantes, car elles peuvent conduire à des violations des contraintes de sécurité dépassant le taux de tolérance $\alpha$ spécifié par l'utilisateur.

Méthodologie : SafeOpt-CPC

Les auteurs proposent SafeOpt-CPC (SafeOpt avec Contraintes de Politiques Contfactuelles), un cadre qui intègre la prédiction conforme scindée (split conformal prediction) dans la boucle SafeOpt pour gérer les contrefactuels inobservés.

1. Estimation Conforme des Contrefactuels

Au lieu d'utiliser une estimation ponctuelle pour le résultat contrefactuel, la méthode construit un intervalle d'incertitude valide (spécifiquement une borne supérieure $\hat{U}^{soc}_t$ ou une borne inférieure $\hat{L}^{soc}_t$) en utilisant la prédiction conforme scindée.

• Scission des données : Les données pré-collectées sont divisées en un ensemble d'entraînement $D_{train}$ (pour entraîner un prédicteur ponctuel $\hat{Y}$) et un ensemble de calibration $D_{cal}$.
• Scoring : Une fonction de score $S(x, Y(x))$ est définie comme la différence entre le résultat réel et la prédiction (par exemple, $Y(x) - \hat{Y}(x)$ pour les problèmes de maximisation).
• Construction de l'intervalle : La borne supérieure est calculée comme suit :
  $$\hat{U}^{soc}_t(x_{soc,t}) = \hat{Y}(x_{soc,t}) + Q_{soc}\left(1 - \epsilon; \sum \tilde{w}_i \delta_{S_i} + \tilde{w}_t \delta_{+\infty}\right)$$
  où $Q_{soc}$ est le quantile des scores, $\epsilon$ est un taux d'échec spécifié par l'utilisateur, et $\tilde{w}$ sont des poids normalisés.

2. Gestion du Changement de Covariable (Covariate Shift)

La méthode prend en compte les décalages de distribution entre les données de calibration et l'environnement de test (où SafeOpt est déployé) en utilisant la prédiction conforme pondérée :

• Scénario 1 (Politique différente) : Si les données de calibration ont été collectées sous une politique différente de celle des soins standards, des poids de Score de Propension Inverse (IPS) sont utilisés : $w_i = \pi_{soc}(x_i) / \pi_{cal}(x_i)$.
• Scénario 2 (Changement de covariable) : Si la population de test diffère de la population de calibration (par exemple, démographie hospitalière différente), les poids sont dérivés du ratio des densités de covariables de test et de calibration : $w_i = P_{test}(x_i) / P_{cal}(x_i)$.
• Non-stationnarité : Le document présente des algorithmes (Algorithmes 3 et 4) pour gérer les points de rupture (changements soudains) et la dérive (changements graduels) en recalculant les poids ou en appliquant des poids à décroissance temporelle, respectivement.

3. Ajustement de la Garantie de Sécurité

Parce que la méthode imbrique la prédiction conforme dans SafeOpt, le taux de violation cible doit être ajusté. Soit $\epsilon'$ la probabilité de défaillance combinée des estimations conformes (dérivée via une borne d'union pour plusieurs termes estimés), l'algorithme cible un taux de violation interne plus strict $\alpha'$ pour garantir que le taux de violation global reste inférieur à $\alpha$ défini par l'utilisateur :
$$\alpha' \leq \frac{\alpha - \epsilon'}{1 - \epsilon'}$$
Cet ajustement tient compte de la probabilité que le véritable résultat contrefactuel tombe en dehors de l'intervalle conforme.

4. Intégration avec SafeOpt

À chaque étape $t$ :

1. Si l'action proposée $x_t$ est le soin standard, la contrainte est trivialement satisfaite.
2. Sinon, l'algorithme calcule la borne supérieure conforme $\hat{U}^{soc}_t$ pour le résultat contrefactuel.
3. La contrainte de sécurité est évaluée comme $q(x_t) = Y(x_t) - \hat{U}^{soc}_t(x_{soc,t}) + \omega \geq 0$, où $\omega$ est un paramètre de tolérance.
4. La logique standard de SafeOpt (utilisant des processus gaussiens et des mises à jour conformes en ligne pour $\beta_t$) sélectionne l'action suivante pour maximiser l'objectif tout en maintenant l'ensemble sûr.

Contributions Clés

1. Cadre SafeOpt-CPC : Une méthode novatrice qui garantit que les actions d'optimisation bayésienne sécurisées ne sont pas moins performantes que la politique de soins standard d'un montant supérieur à une tolérance $\omega$ pour $100(1-\alpha)\%$ des échantillons, même lorsque les résultats de la politique sont inobservés.
2. Robustesse au changement de covariable : La méthode démontre comment adapter les estimations conformes à différents scénarios de changement de covariable (mismatch de politique et dérive de population) via des mécanismes de repondération.
3. Preuves de Sécurité Formelles : Le document fournit une preuve (Théorème 4.1) que la méthode satisfait les contraintes de sécurité sous l'hypothèse d'échangeabilité pondérée. Il évalue également l'écart de couverture lorsque cette hypothèse est violée (Annexe B).
4. Validation Empirique : Des expériences sur un simulateur de réaction chimique (où les contrefactuels réels sont connus) et sur le jeu de données MovieLens (où les contrefactuels sont simulés) valident que la méthode maintient les taux de violation en dessous de $\alpha$ tout en optimisant l'objectif.

Résultats

• Taux de Violation : Dans les expériences, SafeOpt-CPC maintient systématiquement le taux de violation réel en dessous du seuil spécifié $\alpha$ (par exemple, 0,1). En revanche, l'optimisation bayésienne standard sans contraintes de sécurité dépasse significativement ce seuil.
• Comparaison à l'Oracle : SafeOpt-CPC est légèrement plus conservateur qu'une base de référence "Oracle" (qui connaît le vrai contrefactuel), ce qui entraîne une valeur d'objectif maximale légèrement inférieure, mais il garantit la sécurité là où l'Oracle ne le fait pas.
• Sensibilité à la Tolérance : À mesure que le paramètre de tolérance $\omega$ augmente, l'algorithme revient moins fréquemment à la politique de soins standard et atteint des valeurs d'objectif plus élevées.
• Non-stationnarité : La méthode s'adapte avec succès aux points de rupture et à la dérive lorsque les poids sont correctement recalculés. Ignorer ces changements entraîne une rupture des garanties de couverture.
• Sensibilité : La méthode est robuste aux données bruitées et au biais/variance de l'estimateur, bien que ces facteurs augmentent le nombre d'étapes de repli vers le soin standard.

Signification et Revendications

Le document affirme que SafeOpt-CPC fournit une solution rigoureuse pour les applications à haut risque (telles que les traitements médicaux) où la sécurité est définie par rapport à un soin standard plutôt que par un seuil absolu. Les auteurs soulignent que :

• Le contrôle du taux de violation est critique pour la sécurité, mais la méthode est conçue pour être indépendante de la distribution (distribution-free) concernant les observations de la contrainte de sécurité.
• L'approche est généralisable à toute contrainte nécessitant une quantité estimée, pas seulement aux contrefactuels.
• La méthode opère sous des hypothèses minimales (échangeabilité pondérée) et fournit des limites formelles sur les violations de sécurité.

Les auteurs notent modestement des limites : si les quantiles conformes sont trop larges ou si la tolérance $\omega$ est trop faible, l'algorithme peut devenir excessivement conservateur, revenant fréquemment à la politique de soins standard. De plus, si plusieurs termes estimés sont présents dans la contrainte, le taux de violation effectif $\alpha'$ devient très petit, ce qui peut restreindre l'exploration. Le document conclut que, bien qu'il se concentre sur le contrôle du taux de violation, le cadre peut être étendu à d'autres fonctions de contrainte, une direction laissée pour des travaux futurs.