Adaptive Off-Policy Inference for M-Estimators Under Model Misspecification

Résumé Technique : Inférence Hors-Politique Adaptative pour les M-Estimateurs sous Misspecification de Modèle

1. Problématique (Le Problème)

Dans les contextes de collecte de données adaptatives (comme les algorithmes de bandits contextuels ou l'apprentissage par renforcement), les données ne sont pas indépendantes et identiquement distribuées (i.i.d.), car les choix de traitement dépendent de l'historique des récompenses passées. Cela pose deux défis majeurs pour l'inférence statistique classique :

• Instabilité de la variance : Les algorithmes de bandits (ex: UCB, Thompson Sampling) tendent à converger vers des stratégies de plus en plus "gloutonnes" (greedy), ce qui peut rendre la variance des estimateurs instable et non convergente.
• Misspecification du modèle : La plupart des méthodes d'inférence actuelles supposent que le modèle utilisé pour l'estimation est correctement spécifié. Or, dans la pratique, le modèle de travail est souvent une simplification. Sous une collecte adaptative, une erreur de spécification peut rendre le paramètre d'intérêt mal défini ou biaisé, car la distribution des récompenses est non stationnaire.

L'objectif de l'article est de permettre une inférence valide (construction d'intervalles de confiance) sur un paramètre cible (une solution projetée) même lorsque le modèle est faux et que la politique de collecte de données est instable.

2. Méthodologie

Les auteurs introduisent une approche basée sur l'inférence hors-politique (off-policy). Au lieu de chercher à estimer un paramètre lié à la politique de collecte (qui change avec le temps), ils définissent une cible $\theta^\star$ par rapport à une politique d'évaluation fixe $\pi_e$ (ex: une politique uniforme).

Les composantes clés de leur méthode sont :

• L'estimateur MAIPWM (Misspecified Augmented Inverse Propensity Weighted M-estimator) : Pour pallier la misspecification, ils utilisent une forme augmentée de l'estimateur de score. Ils intègrent un modèle prédictif $f_t$ (appris au fil du temps) pour stabiliser l'estimation. L'estimateur utilise des poids d'importance inverses (IPW) pour garantir que la cible reste $\theta^\star$ malgré la misspecification.
• Stabilisation de la variance par matrices de pondération : Pour résoudre le problème de la variance instable, ils proposent de construire des matrices de normalisation $\hat{V}_t$ qui ajustent la variance du score à chaque étape $t$.
• Stratégies d'estimation de la covariance : Comme la variance exacte est inconnue, ils proposent deux approches pratiques :
  1. Données externes : Utiliser un jeu de données indépendant pour estimer les moments de la distribution.
  2. Découpage séquentiel (Sample Splitting) : Diviser l'historique en deux flux parallèles pour estimer la variance sur l'un tout en effectuant l'inférence sur l'autre, garantissant ainsi l'indépendance nécessaire.
• Théorème Central Limite (CLT) : Ils prouvent un nouveau CLT (Théorème 1) qui garantit que l'estimateur suit une loi normale asymptotique, permettant ainsi la construction d'intervalles de confiance valides.

3. Contributions Clés

1. Robustesse à la misspecification : Contrairement aux travaux précédents (ex: Zhang et al., 2021), leur méthode fonctionne même si le modèle de récompense est incorrect.
2. Gestion de l'adaptivité non convergente : Leur méthode est capable de fournir des intervalles de confiance valides même lorsque les politiques de traitement ne convergent pas (cas fréquent avec les algorithmes de bandits sans arme optimale unique).
3. Cadre général pour les M-estimateurs : La méthodologie ne se limite pas aux modèles linéaires mais s'étend aux modèles linéaires généralisés (GLM) et d'autres fonctions de perte complexes.
4. Preuves théoriques rigoureuses : Établissement de conditions de régularité (hypothèses 1 à 7) permettant de garantir la consistance et la normalité asymptotique sous des conditions de dépendance temporelle.

4. Résultats Empiriques

Les auteurs ont testé leur méthode sur des données semi-synthétiques basées sur l'initiative Osteoarthritis Initiative (OAI). Les simulations ont comparé leur méthode à des approches classiques (Naive MLE, IPW, SQ-IPW).

• Couverture (Coverage) : Les méthodes classiques (Naive, IPW, SQ-IPW) échouent souvent à maintenir le taux de couverture nominal (ex: 90%) lorsque le modèle est mal spécifié ou que la politique est très adaptative (Thompson Sampling). La méthode MAIPWM maintient une couverture correcte dans tous les scénarios testés.
• Largeur des intervalles (Width) : Bien que l'approche par "découpage séquentiel" (Sample Splitting) produise des intervalles plus larges (plus conservateurs), elle reste statistiquement valide. L'utilisation de données externes ou la réutilisation des données (bien que non prouvée théoriquement) offre une meilleure puissance statistique.

5. Signification et Impact

Ce travail est crucial pour les domaines où la collecte de données est intrinsèquement adaptative, tels que :

• La médecine personnalisée : Où les traitements sont ajustés en fonction de la réponse du patient.
• Les systèmes de recommandation : Où les algorithmes apprennent et changent de comportement dynamiquement.

En fournissant un cadre mathématique pour l'inférence sous misspecification, les auteurs permettent aux praticiens de passer de la simple "prédiction" (maximiser la récompense) à une véritable "inférence scientifique" (comprendre l'effet réel d'un traitement avec une incertitude quantifiée), même dans des environnements complexes et imparfaits.