Estimate Level Adjustment For Inference With Proxies Under Random Distribution Shifts

Résumé technique : Ajustement du niveau d'estimation pour l'inférence avec des indicateurs de substitution sous des décalages de distribution aléatoires

Énoncé du problème
Dans les expérimentations scientifiques et industrielles, les chercheurs s'appuient souvent sur des indicateurs de substitution (par exemple, des métriques à court terme, des points de terminaison de substitution ou des prédictions de modèles) pour tirer des inférences sur des résultats principaux difficiles, coûteux ou retardés à mesurer. Bien que les indicateurs de substitution facilitent une prise de décision plus rapide, les garanties statistiques dérivées des données de substitution (telles que l'absence de biais ou des intervalles de confiance valides) ne se transfèrent pas automatiquement au paramètre d'intérêt principal.

Les méthodes existantes pour corriger le biais des indicateurs de substitution — telles que les hypothèses de substitution, les ajustements de décalage de covariables ou l'inférence alimentée par la prédiction (PPI) — reposent sur des hypothèses d'identification strictes. Ces hypothèses sont souvent difficiles à valider et peuvent être violées par des décalages de distribution non observés (par exemple, un dérive de concept). Lorsque de telles hypothèses échouent, les intervalles de confiance basés sur des indicateurs de substitution peuvent être systématiquement mal calibrés, conduisant à des estimations de paramètres biaisées et à une sous-couverture du vrai paramètre principal. Une contrainte pratique critique est que les données historiques au niveau individuel, nécessaires pour réajuster ou recalibrer ces modèles, sont souvent indisponibles ; typiquement, seules des estimations de métriques agrégées et des résumés d'incertitude sont conservées.

Méthodologie
Les auteurs proposent un cadre générique au niveau de l'estimation pour calibrer empiriquement l'inférence basée sur des indicateurs de substitution sans nécessiter de données historiques au niveau individuel. L'approche de base traite le biais résiduel entre l'indicateur de substitution et la métrique principale comme une variable aléatoire latente.

1. Modèle de biais latent :
   La méthode suppose qu'à travers $K$ domaines (où $K-1$ sont des domaines d'entraînement historiques et $K$ est le domaine cible), l'écart entre l'estimateur de substitution ($\hat{\theta}^*_k$) et l'estimateur principal ($\hat{\theta}_k$) suit un modèle de biais additif gaussien :
   $$\phi_k := \theta^*_k - \theta_k \sim N(\rho, \gamma^2)$$
   Ici, $\rho$ représente le biais moyen et $\gamma^2$ représente la variance inter-domaines du biais. Cette formulation permet à la méthode de modéliser la distribution du biais résiduel de substitution en utilisant uniquement les estimations agrégées historiques et leurs structures de covariance.

2. Estimation par la méthode des moments :
   En utilisant les domaines historiques, les auteurs définissent la différence intra-domaine $d_k = \hat{\theta}^*_k - \hat{\theta}_k$. Ils dérivent un estimateur par la méthode des moments pour les paramètres de la distribution du biais $(\rho, \gamma^2)$ :

   • $\hat{\rho} = \frac{1}{K-1} \sum d_k$
   • $\hat{\gamma}^2 = \frac{1}{K-1} \sum (d_k - \hat{d})^2 - \frac{1}{K-1} \sum \tilde{\sigma}^2_k$
     où $\tilde{\sigma}^2_k$ est la variance estimée de la différence $d_k$. L'estimation $\hat{\gamma}^2$ est tronquée à zéro pour gérer le bruit d'échantillonnage fini.

3. Inférence et ajustement :

   • Grand $K$ (Plug-in) : Lorsque le nombre de domaines historiques est élevé, les paramètres de biais estimés sont traités comme connus. La méthode construit un intervalle de confiance de style Wald pour la métrique principale cible $\theta_K$ en centrant l'intervalle sur l'estimation débiaisée $(\hat{\theta}^*_K - \hat{\rho})$ et en gonflant la variance pour inclure la variance de biais inter-domaines estimée ($\hat{\gamma}^2$).
   • Petit $K$ (Bootstrap de domaine) : Lorsque le nombre de domaines historiques est limité, l'incertitude sur $(\hat{\rho}, \hat{\gamma}^2)$ peut affecter la couverture. Les auteurs proposent une procédure de bootstrap de domaine qui rééchantillonne les domaines historiques pour propager cette incertitude, générant une distribution empirique pour le paramètre cible.

4. Protocole d'évaluation :
   L'article introduit un diagnostic « Leave-One-Domain-Out » (LOO) pour évaluer la calibration des intervalles. En traitant chaque domaine historique comme une cible (en cachant son résultat principal) et en vérifiant si l'intervalle de substitution ajusté chevauche l'intervalle principal réel, la méthode fournit un indicateur observable et conservateur de non-mauvaise calibration.

Contributions clés

1. Cadre générique pour le biais de substitution : L'article formalise le biais inhérent aux estimateurs de substitution comme un problème de variable latente, en supposant la normalité conjointe des distributions d'échantillonnage. Cela permet de caractériser le biais résiduel sans hypothèses d'identification strictes.
2. Procédure d'ajustement évolutive : Les auteurs introduisent un estimateur par la méthode des moments sous forme fermée et une procédure de bootstrap de domaine qui reposent uniquement sur des estimations agrégées historiques. Cela permet un déploiement évolutif dans des contextes où les données au niveau individuel sont indisponibles.
3. Gonflement sélectif et validation empirique : La méthode agit comme une étape de post-traitement qui gonfle sélectivement les intervalles de confiance uniquement lorsque les diagnostics historiques indiquent une sous-couverture. De nombreuses simulations et applications réelles démontrent que cette approche améliore la calibration et la couverture à travers diverses procédures de substitution et décalages de distribution.

Résultats

• Simulations : Dans des simulations multi-domaines impliquant un décalage de covariables et une dérive de concept, les estimateurs de substitution non ajustés ont systématiquement sous-couvert. Bien que les corrections standard (comme la PPI pondérée) aient amélioré la calibration dans des contextes stables, elles se sont dégradées sous une forte dérive de concept. L'ajustement de biais aléatoire proposé a stabilisé la couverture à tous les niveaux de dérive. Notamment, pour les estimateurs avec un biais résiduel élevé, les longueurs d'intervalle se sont stabilisées à mesure que la taille de l'échantillon augmentait, reflétant correctement que l'incertitude était dominée par le biais inter-domaines plutôt que par le bruit d'échantillonnage.
• Applications réelles :
  • Jeu de données Civil Comments : Dans l'estimation de la prévalence des commentaires toxiques à travers les publications web, les intervalles de substitution ajustés ont augmenté le taux de chevauchement avec les vrais intervalles principaux de 0,64 à 0,96 (à $\alpha=0,05$), avec une augmentation correspondante de la largeur d'intervalle normalisée de 0,5 à 1,3.
  • Expériences à long terme : Dans l'estimation des effets moyens du traitement (ATE) en utilisant des indicateurs de substitution prédits par modèle, l'ajustement a augmenté le taux de chevauchement de 0,68 à 1,0. La méthode a efficacement gonflé l'incertitude dans les expériences où le biais résiduel était grand par rapport à la variabilité d'échantillonnage.

Signification et affirmations
L'article affirme offrir une solution pratique et modulaire pour améliorer la fiabilité de l'inférence basée sur des indicateurs de substitution en l'absence de données historiques au niveau individuel. En modélisant le biais résiduel comme un effet aléatoire, la méthode fournit un « filet de sécurité » qui ajuste les violations des hypothèses d'identification standard (telles que le décalage de covariables ou la substitution).

Les auteurs soulignent que cette approche n'améliore pas l'estimateur de substitution lui-même, mais améliore plutôt la quantification de l'incertitude qui lui est associée. Elle est conçue pour être superposée aux méthodes de correction existantes (comme la PPI ou la pondération par importance). La signification réside dans sa capacité à prévenir les faux positifs issus d'une inférence de substitution trop confiante, permettant ainsi une prise de décision plus sûre et plus rigoureuse dans les expérimentations à grande échelle et les domaines scientifiques où les résultats principaux sont retardés ou non observables. Les auteurs notent modestement que l'efficacité de la méthode dépend de l'informativité des domaines historiques et que l'hypothèse de biais gaussien est une approximation de travail qui peut nécessiter des modèles plus riches pour des schémas de biais complexes.