Résumé technique : CANDOR – Évaluation Contrefactuelle Annotée Doublement Robuste Hors Politique

Énoncé du problème

L'évaluation hors politique (OPE) est essentielle pour le déploiement sécurisé d'algorithmes de bandits contextuels dans des domaines à haut risque comme la santé, où de nouvelles politiques de traitement doivent être évaluées à l'aide de données rétrospectives avant leur mise en œuvre dans le monde réel. Cependant, les techniques OPE standard sont fondamentalement limitées par la couverture de l'ensemble de données comportementales disponibles. Si les données historiques manquent d'observations pour certaines paires état-action (par exemple, un nouveau médicament jamais prescrit), les méthodes OPE ne peuvent pas estimer de manière fiable la valeur d'une politique recommandant ces actions.

Les approches récentes, telles que l'estimateur IS+, tentent de pallier cela en augmentant les ensembles de données comportementales avec des échantillons contrefactuels annotés par des experts (récompenses prédites pour des actions non observées). Cependant, ces méthodes supposent généralement que les annotations sont parfaites. En pratique, les annotations d'experts (ou celles générées par des modèles de langage de grande taille) sont souvent imparfaites, contenant des biais ou du bruit. L'intégration naïve de telles annotations imparfaites dans les estimateurs existants peut dégrader les performances, produisant parfois des résultats pires que l'ignorance totale des annotations. Le défi central abordé par ce travail consiste à déterminer comment intégrer des annotations contrefactuelles imparfaites dans les estimateurs OPE sans amplifier les erreurs, en particulier en présence de modèles de récompense mal spécifiés.

Méthodologie

Les auteurs proposent une famille d'estimateurs OPE fondée sur le cadre Doubly Robust (DR) (Doubly Robust), qui combine l'échantillonnage par l'importance (IS) et un modèle de récompense de type Méthode Directe (DM). Le cadre DR est choisi pour sa garantie théorique d'absence de biais si soit les scores de propension (IS), soit le modèle de récompense (DM) est correctement spécifié.

L'article examine trois stratégies spécifiques pour intégrer les annotations contrefactuelles ($g_i$) dans l'estimateur DR, définies par la manière dont les annotations sont utilisées dans les composantes DM et IS :

1. DM+-IS : Le modèle de récompense ($\hat{R}^+$) est entraîné sur l'ensemble de données augmenté (factuel + contrefactuel), mais la composante IS utilise uniquement les données factuelles originales et les scores de propension standards.
   $$\hat{V}_{DM^+-IS} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \rho_{s_i}(a_i)(r_i - \hat{R}^+(s_i, a_i)) \right)$$
2. DM-IS+ : Le modèle de récompense ($\hat{R}$) est entraîné uniquement sur les données factuelles, tandis que la composante IS est augmentée à l'aide des annotations contrefactuelles avec un re-pesage (similaire à l'approche IS+).
   $$\hat{V}_{DM-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}(s_i, a)) \right)$$
3. DM+-IS+ : Tant le modèle de récompense que la composante IS utilisent l'ensemble de données augmenté.
   $$\hat{V}_{DM^+-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}^+(s_i, a)) \right)$$

Analyse théorique

Les auteurs fournissent une analyse rigoureuse du biais et de la variance sous trois régimes d'annotation :

• Annotations parfaites : Les trois estimateurs sont non biaisés.
• Annotations biaisées : Les auteurs prouvent que DM+-IS reste un estimateur non biaisé de la valeur de la politique cible, même lorsque les annotations sont systématiquement biaisées. En revanche, DM-IS+ et DM+-IS+ introduisent un terme de biais proportionnel à l'erreur d'annotation ($\epsilon_G$), les rendant susceptibles de subir une dégradation des performances.
• Annotations bruitées : Bien que tous les estimateurs subissent une augmentation de la variance due au bruit d'annotation, la dérivation théorique montre que DM+-IS isole l'impact de la variance sur l'estimation du modèle de récompense, tandis que les autres méthodes cumulent le bruit via le terme IS re-pesé.

Résultats expérimentaux

Les méthodes proposées ont été évaluées dans trois domaines :

1. Heartsteps : Un simulateur semi-synthétique de santé mobile pour les interventions d'activité physique.
2. Sepsis : Un simulateur semi-synthétique pour le traitement de la sepsis (adapté d'un cadre MDP vers un bandit contextuel).
3. MIMIC-IV : Un ensemble de données réel de dossiers médicaux électroniques (EHR) axé sur la reconstitution intraveineuse de potassium. Les annotations contrefactuelles pour cet ensemble de données ont été générées à l'aide du modèle "o1" d'OpenAI.

Principales constatations :

• Robustesse au biais : Dans les scénarios avec des annotations biaisées, DM+-IS a constamment obtenu l'erreur quadratique moyenne (RMSE) la plus faible. Le RMSE de DM+-IS est resté stable à mesure que le biais d'annotation augmentait, tandis que DM-IS+ et DM+-IS+ ont montré une dégradation significative des performances.
• Robustesse à la mauvaise spécification : Lorsqu'ils sont combinés à des modèles de récompense mal spécifiés (un scénario réel courant), DM+-IS est resté l'estimateur le plus robuste. Il a exploité efficacement les données contrefactuelles pour améliorer la couverture sans hériter du biais des annotations.
• Performance en conditions réelles : Sur l'ensemble de données MIMIC-IV, DM+-IS a surpassé tous les points de référence (y compris IS standard, DM, DR et les variantes augmentées par annotation) sur un nombre variable d'annotations contrefactuelles. Notamment, à mesure que le nombre d'annotations augmentait, la performance de DM+-IS s'est améliorée puis a atteint un plateau, tandis que d'autres estimateurs (comme IS+ et DM-IS+) ont vu leurs taux d'erreur augmenter ou rester élevés.
• Qualité de l'annotation : Les expériences ont démontré que le biais d'annotation a un impact négatif bien plus grand sur la performance de l'estimateur que la variance (bruit) de l'annotation.

Importance et contributions

L'article apporte les contributions suivantes :

1. Famille d'estimateurs novatrice : Il introduit et analyse théoriquement une famille d'estimateurs inspirés du DR, conçus spécifiquement pour gérer les annotations contrefactuelles imparfaites.
2. Insight théorique : Il identifie que l'intégration des annotations contrefactuelles uniquement dans la composante Méthode Directe (DM) (la stratégie DM+-IS) est l'approche optimale. Cette stratégie préserve l'absence de biais de l'estimateur même lorsque les annotations sont biaisées, une propriété non partagée par les méthodes qui augmentent la composante IS.
3. Validation empirique : Grâce à des expériences extensives sur des données synthétiques, semi-synthétiques et réelles du domaine de la santé, les auteurs démontrent que DM+-IS est le choix le plus robuste pour l'évaluation de politiques lorsque la précision du modèle de récompense et la qualité des annotations sont inconnues.

Conclusion

Ce travail comble le fossé critique entre la promesse théorique de l'augmentation de données contrefactuelles et la réalité pratique des annotations imparfaites. En proposant l'estimateur DM+-IS, les auteurs fournissent une méthode qui élargit l'applicabilité de l'OPE dans des contextes à haut risque comme la santé. Cette approche permet aux praticiens d'utiliser en toute sécurité des annotations imparfaites, générées par des experts ou par l'IA, pour évaluer des politiques concernant des actions mal couvertes dans les données historiques, sans risquer d'introduire un biais systématique pouvant conduire à un déploiement de politiques dangereux. L'article conclut que dans des conditions réalistes où la qualité de l'annotation est inconnue, DM+-IS offre la voie la plus fiable pour l'évaluation hors politique.