Résumé technique : Les prédictions comme substituts : une réévaluation des variables de substitution à l'ère de l'IA

1. Énoncé du problème

Dans de nombreux domaines scientifiques, l'acquisition de la variable de résultat réelle $Y$ est coûteuse, chronophage ou invasive, ce qui conduit à des ensembles de données où $Y$ n'est que partiellement observée. Les chercheurs s'appuient souvent sur des variables de substitution (variables auxiliaires $\hat{Y}$) qui sont moins coûteuses à obtenir et corrélées avec $Y$. Bien que les modèles de substitution traditionnels aient été établis en biostatistique et en économie, l'essor de l'IA a introduit une nouvelle classe de substituts : les prédictions issues de modèles d'apprentissage automatique pré-entraînés (par exemple, les grands modèles de langage, les modèles de vision par ordinateur).

Le document identifie une lacune dans l'inférence basée sur la prédiction (PPI - Prediction-Powered Inference), un domaine naissant qui cherche à intégrer ces prédictions d'IA dans l'inférence statistique. Les méthodes de PPI existantes traitent souvent les prédictions comme des substituts directs aux résultats ou appliquent de simples corrections linéaires. Cependant, ces approches font face à des limites :

1. Inefficacité : Elles peuvent ne pas atteindre la borne d'efficacité semi-paramétrique, surtout lorsque les prédictions sont biaisées ou s'écartent systématiquement du résultat réel.
2. Biais de surapprentissage (Overfitting Bias) : Lorsque des modèles d'apprentissage automatique flexibles sont utilisés pour apprendre la relation entre les substituts et les résultats, l'utilisation des mêmes données pour l'apprentissage et pour l'inférence (ajustement sur le même échantillon) peut introduire un biais de premier ordre, invalidant les intervalles de confiance.
3. Décalages de modalité et de distribution : Les modèles pré-entraînés souffrent souvent de décalages de modalité (par exemple, prédire à partir d'images alors que l'inférence nécessite des covariables tabulaires) ou de décalages de distribution (entraînés sur des données générales, appliqués à des sous-populations spécifiques), ce qui conduit à des prédictions mal calibrées.

Le problème central est de développer un cadre statistiquement rigoureux, calculablement faisable et efficace qui exploite les prédictions d'IA pré-entraînées comme substituts tout en corrigeant leurs biais inhérents et en garantissant une inférence valide.

2. Méthodologie : Inférence basée sur la prédiction recalibrée (RePPI)

Les auteurs proposent la méthode RePPI (Recalibrated Prediction-Powered Inference), qui unifie la littérature classique sur les variables de substitution (spécifiquement les travaux de Robins et al. [1994] et Chen & Chen [2000]) avec la PPI moderne.

2.1 Fondement théorique

Le paramètre cible $\theta^\star$ est défini via une équation d'estimation $E[U_{\theta}(X, Y)] = 0$ (ou de manière équivalente, en minimisant une perte convexe $E[\ell_\theta(X, Y)]$). Les données consistent en $n$ échantillons étiquetés $(Y, X, \hat{Y})$ et $N$ échantillons non étiquetés $(X, \hat{Y})$.

Les auteurs établissent que la perte imputée optimale $g_\theta$ qui minimise la variance asymptotique de l'estimateur est donnée par :
$$\nabla g_\theta^\star(X, \hat{Y}) = \frac{1}{1+r} E[\nabla \ell_\theta(X, Y) \mid X, \hat{Y}]$$
où $r = \lim n/N$. Ce score optimal représente l'espérance conditionnelle du gradient réel étant donné le substitut et les covariables.

2.2 L'algorithme RePPI

Pour opérationnaliser cette théorie, RePPI utilise deux innovations clés :

1. Recalibrage flexible via l'apprentissage automatique : Au lieu de supposer une forme paramétrique pour l'espérance conditionnelle, RePPI utilise des algorithmes d'apprentissage automatique flexibles (par exemple, forêts aléatoires, réseaux de neurones) pour estimer la fonction de score optimale $s(X, \hat{Y}) \approx E[\nabla \ell_{\hat{\theta}_0}(X, Y) \mid X, \hat{Y}]$, où $\hat{\theta}_0$ est un estimateur initial (par exemple, issu des données étiquetées uniquement).
2. Cross-Fitting (Validation croisée) : Pour prévenir le biais de surapprentissage lors de l'utilisation d'apprenants flexibles, les données étiquetées sont divisées en plis (folds). La fonction de score est entraînée sur un sous-ensemble et évaluée sur un autre (hors échantillon). Cela garantit l'indépendance requise pour une théorie asymptotique valide.
3. Ajustement par puissance matricielle (Variables de contrôle) : Pour garantir l'efficacité même si l'estimation du score est imparfaite, RePPI applique une matrice de transformation linéaire $\hat{M}$ au score estimé. Cette matrice est estimée comme la covariance empirique entre le gradient réel et le score estimé, normalisée par la variance du score. Cela agit comme une variable de contrôle optimale, garantissant que l'estimateur n'est jamais moins performant que la base de référence "XY-uniquement" (qui ignore les prédictions).

L'estimateur final minimise un risque empirique linéarisé :
$$\hat{\theta}_{RePPI} = \arg\min_\theta \left( \frac{1}{n}\sum_{i=1}^n \ell_\theta(X_i, Y_i) - \frac{1}{n}\sum_{i=1}^n \hat{g}_\theta(X_i, \hat{Y}_i) + \frac{1}{N}\sum_{i=n+1}^{n+N} \hat{g}_\theta(X_i, \hat{Y}_i) \right)$$
où $\hat{g}_\theta$ est construit à l'aide du score recalibré.

3. Principales contributions

1. Cadre unifié : Le document connecte formellement la littérature de plusieurs décennies sur les variables de substitution avec le domaine émergent de la PPI, clarifiant que les prédictions de modèles pré-entraînés sont un type spécifique de substitut.
2. PPI Recalibrée (RePPI) : Les auteurs introduisent un nouvel estimateur qui :
   • Atteint l'efficacité semi-paramétrique (plus petite variance asymptotique) si le score optimal est estimé de manière cohérente.
   • Est toujours plus efficace que l'estimateur "XY-uniquement", même si l'estimation du score est incohérente (grâce au mécanisme de variable de contrôle).
   • Maintient la convexité de l'objectif d'optimisation (contra-irement à certaines propositions de PPI antérieures) en utilisant une perte imputée linéarisée.
3. Garanties théoriques : Le document fournit des preuves rigoureuses de la normalité et de l'efficacité asymptotiques sous cross-fitting, démontant que la méthode est robuste à l'utilisation d'apprenants à haute capacité et flexibles.
4. Analyse des bénéfices du recalibrage : Les auteurs analysent théoriquement et numériquement trois scénarios spécifiques où le recalibrage est critique :
   • Décalage de modalité : Lorsque les prédictions sont basées sur des données non structurées (ex: images) mais que l'inférence nécessite des covariables structurées.
   • Décalage de distribution : Lorsque le modèle de prédiction est entraîné sur une population différente de la population d'inférence cible.
   • Prédictions discrètes : Lorsque les modèles produisent des catégories discrètes grossières et non calibrées (ex: étoiles de 1 à 5) plutôt que des valeurs continues.

4. Résultats

Le document valide RePPI à travers des modèles théoriques stylisés et des applications réelles utilisant des modèles d'IA de pointe.

4.1 Gains d'efficacité théorique

Dans des modèles stylisés, RePPI atteint systématiquement une variance asymptotique plus faible que les méthodes existantes (XY-uniquement, PPI standard, et PPI++) :

• Décalage de modalité : RePPI réduit la variance en utilisant efficacement l'information de la modalité non structurée tout en corrigeant l'absence de covariables structurées dans la prédiction.
• Décalage de distribution : RePPI corrige le biais introduit lorsque la distribution d'entraînement du modèle de prédiction diffère de la population d'inférence, là où la PPI standard peut être moins performante que la base de référence "XY-uniquement".
• Prédictions discrètes : RePPI apprend une application non linéaire de la prédiction discrète vers l'échelle du résultat, surpassant PPI++ qui repose sur des corrections linéaires.

4.2 Applications empiriques

Trois applications réelles démontrent des gains significatifs en taille d'échantillon effective (réduction des données étiquetées nécessaires pour atteindre une largeur d'intervalle de confiance cible) :

1. Diagnostic par rayons X (NIH ChestX-ray14) : Utilisation d'un modèle DenseNet-121 entraîné sur CheXpert pour prédire l'épanchement pleural. RePPI a réduit la taille de l'échantillon étiqueté requis d'environ 5,7 % par rapport à PPI++ pour obtenir la même longueur d'intervalle.
2. Mesure de toxicité (CivilComments-WILDS) : Utilisation d'un modèle DistilBERT entraîné sur des commentaires Wikipedia pour prédire la toxicité dans des commentaires de presse (décalage de distribution). RePPI a réduit la taille de l'échantillon étiqueté requis d'environ 5,8 %.
3. Critiques de vin (WineEnthusiast) : Utilisation de GPT-5.4 pour prédire les notes à partir de critiques textuelles (prédictions discrètes). RePPI a réduit la taille de l'échantillon étiqueté requis de 17,6 % à 19 % par rapport à PPI++, soulignant le bénéfice substantiel du recalibrage non linéaire pour les substituts discrets.

Dans tous les cas, RePPI a maintenu une couverture d'intervalle de confiance à 95 % valide, alors que la PPI standard produisait souvent des intervalles plus larges ou une couverture invalide en raison d'un mauvais calibrage.

5. Signification et affirmations

Le document affirme que RePPI représente une étape importante dans l'exploitation de l'IA pour l'inférence statistique en :

• Réunissant théorie et pratique : Il fournit une stratégie de calcul pratique (cross-fitting + perte linéarisée) pour atteindre les bornes d'efficacité asymptotique établies par la statistique semi-paramétrique, qui étaient auparavant difficiles à atteindre avec des modèles d'apprentissage automatique flexibles.
• Robustesse : Contrairement aux méthodes précédentes qui pourraient échouer ou devenir inefficaces lorsque les prédictions sont biaisées, RePPI est conçu pour être "sûr", garantissant une amélioration par rapport à l'ignorance totale des prédictions.
• Répondre à l'ère de l'IA : Il traite spécifiquement les défis uniques de l'utilisation des modèles de fondation pré-entraînés (haute dimensionnalité, données non structurées, décalages de distribution) comme substituts, allant au-delà de l'hypothèse que les prédictions sont parfaites ou simplement des transformations linéaires de la vérité.

Les auteurs notent modestement des limites, notamment la dépendance à la théorie asymptotique, l'hypothèse de données i.i.d. (bien que des extensions au décalage de distribution soient discutées), et l'accent actuel mis sur l'utilisation des prédictions comme substituts plutôt que sur l'utilisation directe de sorties de modèles plus riches comme les embeddings. Néanmoins, ce travail établit une base solide pour la science "basée sur la prédiction" à l'ère de l'IA.