Résumé Technique : Apprentissage de Politiques à Valeur d'Ensemble

Énoncé du Problème

L'apprentissage conventionnel des politiques de traitement en médecine de précision associe généralement les covariables des patients à une unique intervention recommandée afin de maximiser les résultats cliniques attendus. Cependant, cette approche à valeur ponctuelle présente des limitations significatives :

1. Sensibilité à l'incertitude : Les recommandations sont hautement sensibles à l'incertitude d'estimation, à la spécification du modèle et à la variabilité des échantillons finis.
2. Absence de guidance sur la confiance : Les politiques standard offrent peu d'indication sur le niveau de confiance qu'il convient d'accorder à l'action recommandée.
3. Ignorance de l'ambiguïté : Lorsque plusieurs traitements produisent des résultats comparables, les politiques à valeur ponctuelle échouent à capturer cette ambiguïté, entrant potentiellement en conflit avec les préférences des praticiens concernant des coûts non quantifiés ou des événements indésirables.
4. Indisponibilité de la vérité terrain : En inférence causale, seul le résultat du traitement administré est observé ; les résultats contrefactuels (et donc le traitement optimal véritable) sont non observés, ce qui complique la construction de politiques dotées de garanties formelles.

Les auteurs proposent un paradigme d'apprentissage de politiques à valeur d'ensemble pour des contextes multi-traitements ($K > 1$). Au lieu d'une recommandation unique, la politique renvoie un sous-ensemble de traitements plausibles. L'objectif principal est de construire des politiques $C$ telles que l'ensemble contienne au moins un traitement optimal avec une probabilité élevée :
$$P(\Pi^\star(X) \cap C(X) \neq \emptyset) \geq 1 - \alpha$$
où $\Pi^\star(X)$ est l'ensemble des traitements optimaux pour les covariables $X$, et $\alpha$ est un niveau d'erreur spécifié par l'utilisateur. Cela modifie le rôle du modèle, passant de la prescription d'une décision au soutien de celle-ci en fournissant un ensemble filtré d'options, quantifiant ainsi naturellement l'incertitude via la cardinalité de l'ensemble.

Méthodologie

L'article introduit deux cadres principaux pour l'apprentissage de politiques à valeur d'ensemble avec des garanties formelles de couverture :

1. Méthode de la Plus Grande borne Inférieure (GLB)

Cette approche étend le cadre « learning-to-defer » (apprentissage pour déléguer) à plusieurs traitements en utilisant des estimateurs de la moyenne conditionnelle des résultats.

• Mécanisme : Elle repose sur des bornes de confiance inférieures ($\ell_n$) et supérieures ($u_n$) fiables pour les moyennes conditionnelles des résultats $\mu(x, a)$.
• Construction :
  1. Identifier le traitement $a_{maxmin}$ qui maximise la borne inférieure : $a_{maxmin}(x) \in \arg\max_a \ell_n(x, a)$.
  2. Construire l'ensemble $C_\alpha(x)$ en incluant tous les traitements dont la borne supérieure dépasse la référence de la plus grande borne inférieure :
     $$C_\alpha(x) = \{a \in A : u_n(x, a) \geq \ell_n(x, a_{maxmin}(x))\}$$
• Garantie : Sous l'hypothèse que des bornes de confiance valides existent, cette méthode atteint une couverture conditionnelle, impliquant une couverture marginale.
• Limitation : Elle nécessite la construction non triviale de bornes valides et est sensible aux imprécisions d'estimation.

2. Apprentissage de Politiques à Valeur d'Ensemble Conformal (Régime d'Étiquettes Bruyantes)

Reconnaissant que les traitements optimaux ne sont pas observés, les auteurs formulent l'apprentissage de politiques comme une tâche de classification dans un régime d'étiquettes bruyantes, où les traitements optimaux estimés servent de substituts à la vérité terrain.

• Méta-algorithme :

  1. Génération d'étiquettes boîte noire : Entraîner un apprenant de politiques (par exemple, Q-learning, arbres de politiques) sur un sous-ensemble de données pour générer des étiquettes bruyantes $\hat{A}^*$ (estimations des traitements optimaux).
  2. Score de non-conformité : Apprendre une fonction de score $s_n(x, a)$ (par exemple, basée sur la marge) en utilisant un sous-ensemble d'entraînement pour quantifier l'alignement d'un traitement candidat par rapport aux données de calibration.
  3. Calibration bruyante : Calculer les scores sur un ensemble de calibration en utilisant les étiquettes bruyantes $\hat{A}^*$ et dériver un seuil de quantile $\hat{q}_{1-\alpha}$.
  4. Ensemble de prédiction : Définir $C_\alpha(x) = \{a : s_n(x, a) < \hat{q}_{1-\alpha}\}$.

• Résolution des lacunes de couverture : La prédiction conforme standard sur des étiquettes bruyantes ne garantit pas la couverture pour les traitements optimaux réels sans hypothèses. Les auteurs proposent deux stratégies pour assurer une couverture marginale :

  1. Hypothèse de préservation du rang : Suppose que l'estimateur préserve l'ordre des moyennes de traitement. Si cette condition est remplie, la couverture est garantie.
  2. Injection d'aléatoire : Une approche novatrice pour imposer une dominance stochastique sans hypothèses structurelles strictes.
     • Perturber les étiquettes bruyantes en les mélangeant avec des étiquettes purement aléatoires avec une probabilité $r$ : $\hat{A}^*_{r,i} = R_i \cdot A^{rd}_i + (1-R_i) \cdot \hat{A}^*_i$.
     • Cette aléa contrôlée augmente stochastiquement les scores de non-conformité, garantissant que les ensembles de prédiction sont suffisamment conservateurs pour couvrir les traitements optimaux réels. Le théorème 1 fournit une condition sur $r$ pour garantir la couverture.

Métriques d'Évaluation

L'article introduit la Valeur de Politique d'Ensemble pour évaluer ces politiques, car les métriques de valeur de politique standard sont insuffisantes pour les ensembles.

• Fonction de Choix ($\delta$) : Une fonction de mappage sélectionnant un traitement unique à partir de l'ensemble.
• Valeur de Politique d'Ensemble Uniforme ($\bar{V}_P(C)$) : Le résultat attendu si un traitement est sélectionné uniformément au hasard dans l'ensemble. Cela sert de borne inférieure pour la valeur atteinte par un décideur qui effectue mieux que la sélection aléatoire.

Résultats Clés

Expériences Synthétiques

• Couverture : Les expériences démontrent que sans injection d'aléatoire ($r=0$), les garanties de couverture sont souvent violées en raison d'erreurs d'estimation. L'introduction d'un niveau modéré d'aléatoire (par exemple, $r=0,2$) restaure avec succès la couverture marginale.
• Compromis : L'augmentation de $r$ accroît la cardinalité moyenne des ensembles prédits (les rendant plus grands et plus conservateurs) pour assurer la couverture. La méthode GLB atteint également la couverture mais a tendance à sur-couvrir en raison de sa sensibilité aux erreurs d'estimation.
• Valeur : Des niveaux de confiance plus élevés (un $\alpha$ plus faible) ou des niveaux d'aléatoire plus élevés sont nécessaires pour maintenir des valeurs de politique d'ensemble élevées, équilibrant le compromis entre la taille de l'ensemble (informativité) et la fiabilité de la couverture.

Application Réelle : Fécondation In Vitro (FIV)

• Jeu de données : 18 538 cycles de stimulation ovarienne avec des dosages ordinaux de gonadotrophines et des résultats (rendement folliculaire et niveaux d'œstradiol).
• Constats :
  • Les politiques à valeur d'ensemble filtrent avec succès les doses extrêmes, préservant la structure ordinaire des traitements.
  • Soutien à la décision : Le cadre permet l'intégration d'objectifs secondaires. Par exemple, une stratégie de « dose minimale » ($\delta_{lower}$) appliquée à la sortie à valeur d'ensemble contrôle efficacement les niveaux d'œstradiol (réduisant le risque de syndrome d'hyperstimulation ovarienne) avec une réduction marginale du rendement folliculaire par rapport à un échantillonnage uniforme.
  • Cardinalité : Comme dans les contextes synthétiques, des niveaux d'aléatoire plus élevés conduisent à des ensembles plus grands, offrant des espaces de décision plus sûrs mais potentiellement plus contraignants.

Signification et Revendications

L'article revendique être le premier à apprendre des politiques à valeur d'ensemble avec des garanties formelles de couverture dans le cadre de l'apprentissage de politiques causales. Sa signification réside dans :

1. Changement de paradigme : Passer de la « prescription » d'une décision unique au « soutien » des décideurs par un ensemble d'options plausibles, généralisant ainsi le cadre « learning-to-defer » aux contextes multi-traitements.
2. Quantification intrinsèque de l'incertitude : La taille de l'ensemble prédit reflète naturellement le degré d'ambiguïté décisionnelle, fournissant aux cliniciens des niveaux de confiance actionnables.
3. Indépendance du modèle : L'approche conforme est indépendante du modèle et peut être combinée avec des méthodes d'apprentissage de politiques boîte noire arbitraires sans nécessiter de modifications spécialisées de robustesse.
4. Gestion de la vérité terrain non observée : En tirant parti des enseignements de la littérature sur les étiquettes bruyantes et en introduisant l'injection d'aléatoire, la méthode comble le fossé entre les traitements optimaux non observés et les règles estimées, fournissant des garanties de couverture rigoureuses sans dépendre des propriétés de robustesse de l'estimateur sous-jacent.
5. Pertinence clinique : L'application à la FIV démontre que ces méthodes produisent des politiques robustes et actionnables capables d'intégrer des contraintes cliniques (par exemple, désescalade de dose) et d'équilibrer performance et sécurité.

Les auteurs concluent que la prise de décision individualisée fiable nécessite des méthodes qui restent dignes de confiance en présence d'incertitude statistique et d'erreurs de modélisation. Leur cadre soutient plutôt qu'il ne remplace les décideurs humains, facilitant des choix conscients du contexte intégrant des objectifs secondaires et le jugement clinique.