📊 statistics

PERRY: Policy Evaluation with Confidence Intervals using Auxiliary Data

Cet article propose deux nouvelles méthodes pour construire des intervalles de confiance valides dans l'évaluation hors politique en exploitant des données auxiliaires potentiellement biaisées, en utilisant la prédiction conforme pour les valeurs conditionnées par l'état et l'estimation doublement robuste pour la performance de la politique moyenne, permettant ainsi une quantification fiable de l'incertitude pour le déploiement de l'apprentissage par renforcement sûr dans des domaines à enjeux élevés comme la santé.

Auteurs originaux : Aishwarya Mandyam, Jason Meng, Ge Gao, Jiankai Sun, Mac Schwager, Barbara E. Engelhardt, Emma Brunskill

Publié 2026-06-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aishwarya Mandyam, Jason Meng, Ge Gao, Jiankai Sun, Mac Schwager, Barbara E. Engelhardt, Emma Brunskill

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un médecin essayant de décider d'un nouveau plan de traitement pour des patients. Vous possédez un immense carnet de dossiers de patients passés (les données de comportement) montrant ce qui s'est passé lorsque les médecins utilisaient l'ancien traitement. Maintenant, vous voulez savoir : « Si nous passons à ce nouveau traitement, quelle sera son efficacité ? »

C'est ce qu'on appelle l'Évaluation Hors-Politique (Off-Policy Evaluation ou OPE). C'est comme essayer de prédire le futur en se basant sur un passé qui est différent du futur que vous voulez créer.

Le problème est que votre carnet pourrait manquer certains scénarios. Peut-être que les anciens médecins ont rarement traité un patient avec un symptôme spécifique et rare, de sorte que vous n'avez pas assez de données pour prédire comment le nouveau traitement fonctionnerait pour eux.

Pour corriger cela, des chercheurs ont commencé à utiliser des « générateurs » d'IA pour créer des dossiers de patients factices (synthétiques) afin de combler les lacunes. C'est comme utiliser un simulateur pour exécuter des milliers de tests supplémentaires. Mais il y a un piège : les données factices peuvent être biaisées. Si le simulateur commet des erreurs, votre prédiction pourrait être dangereusement erronée. Dans des domaines à enjeux élevés comme la santé, on ne peut pas simplement deviner ; vous devez savoir à quel point vous êtes sûr de votre réponse.

Ce papier, PERRY, introduit deux nouvelles façons d'utiliser ces données factices tout en vous offrant un « filet de sécurité » fiable sous la forme d'un Intervalle de Confiance. Pensez à un intervalle de confiance non pas comme un chiffre unique, mais comme une plage (par exemple, « Le nouveau traitement sauvera probablement entre 80 % et 90 % des patients »). Si la plage est trop large, elle est inutile. Si elle est trop étroite mais fausse, elle est dangereuse. PERRY vise à vous donner une plage qui soit à la fois serrée et digne de confiance.

Voici les deux méthodes qu'ils ont inventées, expliquées avec des analogies :

1. CP-Gen : Le détective du « Patient Spécifique »

L'Objectif : Parfois, vous ne vous souciez pas du patient moyen ; vous vous souciez d'un type de patient spécifique (par exemple, « Comment ce nouveau médicament fonctionnera-t-il pour une personne de 65 ans souffrant d'hypertension artérielle ? »).

Le Problème : Il peut y avoir très peu de dossiers réels pour ce type de personne spécifique. Le générateur d'IA peut créer des milliers de faux dossiers similaires, mais ils pourraient être légèrement « décalés ».

La Solution (CP-Gen) :
Imaginez que vous avez un dossier de patient réel (Trajectoire Réelle) et un dossier fictif généré par l'IA (Trajectoire Synthétique) qui commence avec exactement les mêmes symptômes.

L'Astuce : Au lieu de faire confiance au score final du dossier fictif, CP-Gen examine la différence entre le dossier réel et le dossier fictif.
L'Analogie : Pensez à cela comme une balance de calibration. Vous placez un poids connu (la donnée réelle) d'un côté et un poids « simulé » (la donnée fictive) de l'autre. Vous mesurez l'écart entre eux.
La Magie : Le papier utilise une technique appelée Prédiction Conforme (Conformal Prediction). C'est comme une règle intelligente qui dit : « Sur la base de la façon dont les données fictives diffèrent habituellement des données réelles par le passé, nous sommes sûrs à 95 % que la vraie réponse se situe dans cet écart spécifique. »
Le Résultat : Cela vous donne un intervalle de confiance pour ce type de patient spécifique, même si l'espace d'états (le nombre de conditions de patients possibles) est immense et continu.

2. DR-PPI : L'auditeur de la « Population »

L'Objectif : Parfois, vous voulez simplement connaître la performance moyenne de la nouvelle politique pour tout le monde (par exemple, « Quelle est l'efficacité de ce nouveau médicament pour l'ensemble de la population de l'hôpital ? »).

Le Problème : Si vous faites simplement la moyenne des données fictives, vous pourriez obtenir un résultat biaisé car le générateur d'IA n'est pas parfait.

La Solution (DR-PPI) :
Cette méthode combine deux idées puissantes : l'Estimation Doublement Robuste (Doubly Robust Estimation) et l'Inférence Propulsée par la Prédiction (Prediction-Powered Inference).

L'Analogie : Imaginez que vous avez une Équipe d'Auditeurs.
1. Auditeur A (Le Modèle) : Utilise le générateur d'IA pour prédire le résultat pour toute la population. C'est rapide et cela couvre tout le monde, mais cela peut être légèrement erroné.
2. Auditeur B (La Correction) : Prend un petit échantillon de données réelles et vérifie la différence entre ce que l'Auditeur A a prédit et ce qui s'est réellement passé.
La Magie : DR-PPI prend la grande prédiction de l'Auditeur A et ajoute le « facteur de correction » de l'Auditeur B.
- Si le modèle d'IA est parfait, la correction est nulle et vous obtenez une excellente estimation.
- Si le modèle d'IA est mauvais, la correction provenant des données réelles le rectifie.
- Crucialement, cette méthode est « Doublement Robuste », ce qui signifie qu'elle fonctionne bien même si l'un des deux auditeurs commet une erreur, tant que l'autre est correct.
Le Résultat : Il produit un intervalle de confiance pour l'ensemble de la population qui est valide même en utilisant des données synthétiques.

Qu'ont-ils trouvé ?

Les auteurs ont testé ces méthodes dans quatre « mondes » différents :

Contrôle des stocks (Inventory Control) : Gérer les stocks dans un entrepôt.
Traitement du sepsis : Une simulation du traitement de l'infection généralisée.
Robotique : Faire courir rapidement un guépard virtuel.
Données de santé réelles (MIMIC-IV) : Dossiers de santé électroniques réels de patients recevant du potassium.

Le Verdict :

Les anciennes méthodes qui tentaient d'utiliser des données fictives produisaient souvent des intervalles de confiance qui étaient soit trop larges (inutiles), soit ne couvraient pas la vérité (dangereux).
Les méthodes de PERRY ont réussi à utiliser les données fictives pour rendre les intervalles plus serrés (plus précis) tout en couvrant la vérité (sécurité).
Ils ont prouvé mathématiquement que ces méthodes fonctionnent, même lorsque les données sont désordonnées et que les données « fictives » ne sont pas parfaites.

En résumé

PERRY est un ensemble d'outils qui permet aux chercheurs d'utiliser en toute sécurité des données fictives générées par l'IA pour prédire comment de nouvelles politiques fonctionneront. Il fournit une marge de sécurité garantie (intervalle de confiance) afin que, dans des décisions à enjeux élevés, nous puissions dire : « Nous sommes convaincus que la nouvelle politique performera dans cette plage », sans avoir à attendre des années d'essais et d'erreurs en conditions réelles.

Résumé Technique : PERRY – Évaluation de Politiques avec Intervalles de Confiance utilisant des Données Auxiliaires

Énoncé du Problème

L'évaluation hors-politique (OPE - Off-Policy Evaluation) est cruciale pour estimer la valeur d'une nouvelle politique d'apprentissage par renforcement (RL) avant son déploiement, particulièrement dans des domaines à enjeux élevés comme la santé, où l'expérimentation directe est risquée. Les méthodes standard d'OPE peinent souvent lorsque la politique cible diffère significativement de la politique de comportement en raison d'une couverture limitée des données. Des avancées récentes suggèrent que l'utilisation de jeux de données auxiliaires, tels que des trajectoires synthétiques générées par des modèles génératifs, peut améliorer la précision de l'OPE. Cependant, ces jeux de données auxiliaires peuvent introduire un biais, et les méthodes existantes pour utiliser l'augmentation de données en OPE manquent de quantification principled de l'incertitude. Dans les contextes à enjeux élevés, des intervalles de confiance (CI) fiables sont essentiels pour une sélection de politique sûre. Actuellement, aucune méthode existante ne fournit de garanties formelles pour les CI dans les contextes d'OPE combinant des données réelles (offline) et des trajectoires synthétiques.

Méthodologie

Le papier propose deux méthodes, CP-Gen et DR-PPI, pour construire des intervalles de confiance valides pour l'OPE dans les processus de décision de Markov (MDP) en utilisant à la fois des données réelles et synthétiques.

1. CP-Gen : Prédiction Conforme pour les Valeurs Conditionnées par l'État

CP-Gen traite de la tâche d'estimation de la valeur de la politique conditionnée par un état initial spécifique, $V^\pi(s)$ . Ceci est crucial dans des scénarios où les parties prenantes doivent sélectionner des politiques pour des individus partant du même état (par exemple, des patients présentant des stades de maladie identiques).

Concept Central : La méthode décompose la valeur de la politique en une estimation par simulateur (utilisant des trajectoires synthétiques) et un terme de "biais de modèle" (la divergence entre les retours réels et synthétiques).
Mécanisme : Elle emploie un nouveau cadre de prédiction conforme adapté aux MDP avec des espaces d'états continus.
- Elle construit un intervalle de prédiction pour la différence de retour entre une trajectoire réelle et une trajectoire synthétique correspondante partant du même état.
- Pour gérer le décalage de distribution entre la politique de comportement ( $\pi_b$ ) et la politique cible ( $\pi_e$ ), ainsi que la nature continue de l'espace d'états, les auteurs introduisent une technique d' $\epsilon$ -approximation. Cela approxime les poids d'importance en conditionnant sur des voisinages locaux (des boules de rayon $\epsilon_s$ autour de l'état et $\epsilon_r$ autour de la différence de retour) plutôt que sur des points exacts, rendant l'estimation des poids traitable.
- L'intervalle de confiance final pour $V^\pi(s)$ est formé en ajoutant la bande conforme de la divergence de retour à l'estimation synthétique.

2. DR-PPI : Estimation Doublement Robuste pour les Valeurs Inconditionnelles

DR-PPI cible la tâche plus courante d'estimation de la performance moyenne d'une politique sur la distribution des états initiaux, $V^\pi = \mathbb{E}_{s_0}[V^\pi(s_0)]$ .

Concept Central : Cette méthode s'inspire de l'estimation Doublement Robuste (DR) et de l'Inférence Propulsée par la Prédiction (PPI - Prediction-Powered Inference).
Mécanisme :
- Le jeu de données de comportement est divisé en deux parties ( $D_1, D_2$ ) pour le cross-fitting.
- Un modèle génératif est entraîné sur une division pour produire des trajectoires synthétiques (rollouts) sous la politique cible.
- L'estimateur combine un terme basé sur le modèle (moyenne des retours des trajectoires synthétiques) avec un terme de correction dérivé des données réelles. Le terme de correction utilise l'échantillonnage d'importance (IS) sur les trajectoires réelles pour ajuster le biais introduit par le modèle génératif.
- Plus précisément, pour chaque trajectoire réelle, plusieurs trajectoires synthétiques sont générées à partir du même état initial pour estimer le retour synthétique attendu, qui est ensuite soustrait du retour réel repondéré.
- L'estimation finale est la moyenne de deux estimateurs par cross-fitting, et la variance est calculée pour construire un intervalle de confiance asymptotique.

Principales Contributions

Formalisation : Les auteurs formalisent le problème de la quantification de l'incertitude pour l'OPE dans les MDP qui exploitent des trajectoires synthétiquement générées.
Algorithmes Nouveaux : Ils introduisent CP-Gen et DR-PPI, deux méthodes conçues respectivement pour l'estimation de la valeur de politique conditionnée par l'état et inconditionnelle.
Garanties Théoriques :
- CP-Gen : Il est prouvé qu'elle produit des intervalles de prédiction conforme avec des garanties de couverture qui tiennent asymptotiquement ou avec une petite marge d'erreur pour des échantillons finis, même dans des espaces d'états continus. La marge d'erreur est explicitement bornée en fonction des rayons d'approximation ( $\epsilon_s, \epsilon_r$ ).
- DR-PPI : Il est prouvé qu'elle produit des intervalles de confiance asymptotiquement valides, même si le modèle génératif est mal spécifié, à condition que la correction par échantillonnage d'importance soit cohérente.
Validation Empirique : Des expériences approfondies dans quatre domaines (Contrôle d'Inventaire, Traitement du Sepsis, Contrôle Robotique, et données EHR MIMIC-IV) démontrent que ces méthodes exploitent efficacement les données auxiliaires pour produire des CI qui couvrent les valeurs réelles (ground truth), souvent avec des intervalles plus serrés que les bases de référence reposant uniquement sur des données réelles.

Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes par rapport à plusieurs bases de référence, incluant l'Échantillonnage d'Importance (IS), la Méthode Directe (DM), la Méthode Doublement Robuste (DR) et leurs variantes augmentées (AugIS, AugDR), ainsi que des bases de référence conformes de travaux antérieurs (Foffano et al., 2023).

Couverture : CP-Gen et DR-PPI ont systématiquement produit des intervalles de confiance qui couvraient les valeurs de politique réelles à travers tous les domaines testés.
Largeur de l'Intervalle : Dans de nombreux réglages, particulièrement avec des espaces d'états continus (Inventaire, D4RL HalfCheetah, MIMC-IV), les méthodes proposées ont produit des intervalles nettement plus serrés que les bases de référence. Par exemple, dans le domaine de l'Inventaire, CP-Gen a produit une longueur d'intervalle de 5531.60 contre 8550.00 pour la base de référence de Foffano et al., tout en couvrant la valeur réelle.
Robustesse : Les méthodes se sont révélées robustes à une spécification imparfaite modérée de la politique de comportement et aux variations de la qualité (bruit) des trajectoires synthétiques.
Échecs des Bases de Référence : Les bases de référence qui augmentent naïvement les données sans correction d'incertitude principled (ex: AugIS, AugDR) ont souvent produit des intervalles biaisés qui ne couvraient pas la valeur réelle ou qui résultaient en des intervalles exponentiellement larges en raison des problèmes de variance dans le Q-learning.

Signification et Revendications

Le papier affirme qu'il franchit une étape significative vers l'enablement de l'OPE sensible à l'incertitude dans les régimes où des trajectoires réelles et synthétiques sont utilisées conjointement. Les auteurs soulignent que leur travail est fondamental pour les domaines à enjeux élevés où le déploiement sûr de politiques de RL nécessite des estimations d'incertitude rigoureuses.

Combler le fossé : Ce travail répond à une lacune critique où les méthodes d'OPE avec augmentation de données manquent d'assurances formelles sur la qualité des estimations.
Scalabilité : En introduisant l' $\epsilon$ -approximation, CP-Gen étend la prédiction conforme aux MDP avec des espaces d'états continus et de dimension supérieure, un cadre où les méthodes de prédiction conforme antérieures éprouvaient des difficultés.
Utilité Pratique : Les résultats empiriques suggèrent que l'exploitation de données synthétiques, lorsqu'elle est couplée à ces techniques spécifiques de quantification de l'incertitude, peut améliorer la précision des estimations d'OPE sans sacrifier la validité.

Les auteurs restent modestes quant aux limites, notant que le choix des hyperparamètres ( $\epsilon_s, \epsilon_r$ ) devient de plus en plus crucial dans les environnements à haute dimension et que des travaux futurs sont nécessaires pour développer des procédures plus principled pour leur sélection et pour explorer des modèles génératifs alternatifs comme les modèles de diffusion. Ils reconnaissent également que les garanties théoriques pour CP-Gen impliquent une petite marge d'erreur dépendant de ces paramètres.