Résumé technique : Quand peut-on faire confiance à l'évaluation hors ligne d'une allocation top-$k$ à coût égal ?

Énoncé du problème

Les organisations sont régulièrement confrontées à des problèmes d'allocation sous contrainte budgétaire, comme la sélection du top-$k$ fraction de clients pour une offre de rétention ou de patients pour un traitement, sur la base d'estimations d'effets de traitement. Avant de déployer une nouvelle politique déterministe « top-$k » ($\pi_e$), les praticiens s'appuient sur l'Évaluation Hors-Politique (OPE - Off-Policy Evaluation) en utilisant des données enregistrées par une politique précédente ($\pi_b$) pour estimer la valeur de la politique.

La difficulté fondamentale réside dans la nature déterministe de la politique cible. Contrairement aux politiques stochastiques, une règle top-$k$ déterministe assigne une probabilité de 1 à une action unique et 0 aux autres. Cela élimine la moyenne sur les actions, provoquant des poids d'importance ($w = \pi_e(a|x)/\pi_b(a|x)$) extrêmes (0 ou $1/\pi_b$) là où le logarithme a rarement pris l'action exigée par la cible. Alors que la littérature standard sur l'OPE traite du faible chevauchement dans les contextes stochastiques, cet article examine si l'évaluation hors ligne reste fiable lorsque la cible est une politique top-$k$ déterministe, spécifiquement sous des poids bornés (propensions plafonnées à 0,02).

Méthodologie

L'auteur construit un benchmark contrôlé et reproductible pour évaluer six estimateurs (DM, IPS, SNIPS, DR, Switch-DR, mIPS) à travers cinq jeux de données et deux balayages de durcissement d'effets connus.

• Jeux de données : L'étude utilise cinq jeux de données couvrant trois régimes :
  1. Synthétique : Résultats potentiels connus ($\mu_0, \mu_1$) avec effets ajustables, fournissant une vérité terrain exacte.
  2. Semi-synthétique : IHDP (résultat continu, effets connus) et Jobs (résultat binaire, sous-ensemble randomisé).
  3. RCT réels : Expériences marketing Hillstrom et Lenta avec des probabilités de traitement constantes connues.
  4. Couche de durcissement : Six processus de génération de données (DGP) de type ACIC-2017 sur des covariables réelles d'IHDP pour tester la robustesse à travers les surfaces de réponse.
• Conception du log : Le feedback enregistré est synthétisé via un échantillonnage par rejet d'un essai randomisé ou d'une propension connue. La politique de log est une softmax à température graduée sur un score candidat. Crucialement, l'article fait varier l'alignement entre le logger et la cible :
  • Auto-aligné : Logger construit à partir du propre score de la cible (mais pas de sa frontière top-$k$ spécifique).
  • Désaligné : Logger construit à partir du score d'un autre candidat.
  • Indépendant : Logger construit à partir d'un score indépendant des candidats.
• Protocole d'évaluation : Chaque estimation est couplée à une valeur de référence explicite. Pour les données synthétiques/IHDP, il s'agit de la vérité terrain exacte. Pour les essais randomisés, il s'agit d'une estimation de Horvitz–Thompson bruitée. L'étude sépare explicitement ces types de références pour éviter de confondre l'erreur de l'estimateur avec le bruit de la référence.
• Variables clés : L'étude effectue des balayages sur la température de log ($\tau$), le budget ($k$), et les politiques candidates (T-learner, S-learner, baseline aléatoire). Elle teste également l'impact des propensions estimées ($\hat{\pi}_b$) par rapport aux propensions exactes ($\pi_b$) et la qualité du modèle de résultat ($\hat{\mu}$).

Contributions clés

1. Le chevauchement est régi par l'alignement des actions, non par l'aiguisement du log

L'article corrige une idée reçue selon laquelle « aiguiser » une politique de log (en abaissant la température $\tau$) améliore intrinsèquement le chevauchement pour les cibles déterministes.

• Constat : Pour une cible top-$k$ déterministe, le chevauchement est déterminé par la probabilité du logger de choisir les actions spécifiques que la cible sélectionne, et non par la netteté de la distribution des scores.
• Mécanisme : Si un logger est « aligné sur le score » (centré sur la moyenne des scores) mais que la cible coupe à un seuil de budget, l'aiguissement du logger ne fait que concentrer la masse loin des actions de la cible, faisant s'effondrer la taille d'échantillon effective (ESS). Inversement, un logger « aligné sur l'action » (centré sur la coupure) s'aiguise vers un support complet.
• Diagnostic : L'ESS et la déficience du support peuvent classer le risque entre différents environnements de log (ex: choisir entre des logs), mais sont faibles pour classer des candidats au sein d'un seul log fixe.

2. La malédiction de l'optimiseur et les stratégies de division (splitting)

L'article traite de la « malédiction de l'optimiseur » où une politique apprise sur les mêmes données utilisées pour l'évaluation présente un biais optimiste.

• Constat : Le cross-fitting uniquement du modèle de nuisance de résultat (tout en gardant la politique figée) ne supprime pas le biais de réutilisation ; en fait, cela rend souvent l'optimisme pire par rapport à une estimation Doubly Robust (DR) simple.
• Raisonnement : L'optimiseur sélectionne des unités avec des scores gonflés par le bruit d'estimation. Un modèle de nuisance honnête (hors échantillon/out-of-fold) ne parvient pas à réduire ces résidus, réintroduisant l'optimisme.
• Solution : Une division « honnête » au niveau de la politique (ré-apprendre la politique sur des données hors échantillon et l'évaluer sur des plis tenus à l'écart) est nécessaire pour éliminer le biais de réutilisation. Cela cible la valeur de la procédure d'apprentissage plutôt que la politique spécifique à échantillon complet, changeant l'estimand mais fournissant une évaluation valide du processus de déploiement.

3. L'erreur d'estimation de la propension est le mode de défaillance dominant

Remplacer les propensions exactes par des propensions estimées ($\hat{\pi}_b$) cause la plus grande dégradation des performances.

• Constat : Pour l'Inverse Propensity Scoring (IPS), l'erreur d'estimation augmente les taux d'échec (biais relatif > 10 %) de ~6 % à 37–63 %.
• Inversion des diagnostics : Un mauvais modèle de propension peut inverser le diagnostic de l'ESS. Si la propension estimée est presque constante, elle ne porte aucune information de dispersion, ce qui fait que l'ESS estimé s'effondre vers la couverture. Cela conduit à des scores d'ESS élevés dans des régions où la propension réelle est extrême (risque élevé), rendant le diagnostic activement trompeur.
• Robustesse : Les estimateurs Doubly Robust (DR) restent stables sous l'erreur d'estimation de la propension car le terme du modèle de résultat absorbe l'erreur.

Résultats

• Précision des estimateurs (RQ1) : Les estimateurs basés sur des modèles (DM, DR) surpassent généralement les estimateurs de pondération pure (IPS, SNIPS) sur les jeux de données à valeurs exactes, le DR montrant la plus grande stabilité. Sur les jeux de données avec des références bruitées (RCT), l'écart de performance se réduit et les classements deviennent peu fiables en raison du bruit de la référence.
• Diagnostics de chevauchement (RQ2) : Le risque de faible chevauchement est classable entre différents environnements de log en utilisant l'ESS, à condition qu'un modèle de propension crédible existe. Cependant, au sein d'un seul log, l'ESS ne peut pas classer de manière fiable quel candidat politique est sûr à déployer.
• Sélection de politique (RQ4) : Lors de la sélection parmi des candidats, utiliser un « log commun » (un seul log historique pour tous les candidats) est essentiel. Utiliser des logs spécifiques aux candidats (où chaque candidat est évalué sur un log aligné avec lui-même) fausse la sélection en comparant des paires politique-logger plutôt que des politiques. L'IPS a tendance à sur-sélectionner les candidats les plus faciles à évaluer (plus faible variance), et non nécessairement les meilleurs.
• Vérification non simulée : Une vérification sur le jeu de données « Twins » (résultats appariés réels) a confirmé que les mécanismes (effets d'alignement, signes du cross-fitting) se reproduisent, bien que les points de coupure calibrés ne soient pas transférables.

Signification et affirmations

L'article affirme fournir un guide opérationnel pour les praticiens, soulignant que l'évaluation hors ligne des politiques top-$k$ déterministes est hautement sensible à l'alignement entre le logger et la cible.

• Conseils pratiques :
  1. Vérifier l'alignement : Avant de faire confiance à une estimation pondérée par l'importance, vérifiez si la politique du logger est globalement en accord avec les actions de la cible.
  2. Utiliser le DR en cas d'incertitude : L'estimation Doubly Robust est l'option la plus sûre lorsque l'adéquation du modèle de résultat est incertaine ou lorsqu'une estimation de la propension est requise.
  3. Division honnête (Honest Splitting) : Pour éviter la malédiction de l'optimiseur, utilisez une division au niveau de la politique plutôt qu'un simple cross-fitting de nuisance.
  4. Logs partagés pour la sélection : Lors de la comparaison de plusieurs politiques candidates, évaluez-les toutes sur un seul log historique partagé pour éviter le biais de sélection.
• Limites : L'étude est limitée à l'allocation top-$k$ à actions binaires et coût égal. Les conclusions sur les points de coupure sont spécifiques aux distributions de données du benchmark et ne se transfèrent pas directement à d'autres domaines sans recalibrage. L'article précise explicitement qu'il ne résout pas le problème de l'estimation des propensions à partir de données observationnelles, mais souligne le coût sévère d'une mauvaise exécution de celle-ci.

L'article conclut que bien que l'OPE soit un outil nécessaire pour l'allocation sous contrainte budgétaire, sa fiabilité est conditionnée par des choix de conception spécifiques (alignement du logger, modélisation de la propension et stratégies de division) qui sont souvent négligés dans la pratique courante.