Résumé Technique : Inférence Sensible au Biais Assistée par Modèle Externe dans la Régression à Haute Dimension

Énoncé du Problème

La pratique statistique moderne est souvent confrontée à une asymétrie d'information : des covariables abondantes sont disponibles, mais les réponses étiquetées de référence (gold-standard) sont rares en raison du coût de l'annotation experte ou de l'expérimentation. Simultanément, des prédicteurs appris par apprentissage automatique (souvent issus de l'apprentissage par transfert ou de modèles de fondation) peuvent imputer les réponses manquantes de manière peu coûteuse mais imparfaite. Le défi inférentiel consiste à exploiter ces covariables non étiquetées abondantes et ces prédicteurs externes pour affiner les conclusions sur les paramètres cibles sans hériter du biais du prédicteur.

Les cadres existants, tels que la PPI (Prediction-Powered Inference) et sa variante optimisée PPI++, tentent de corriger les sorties du prédicteur à l'aide d'un « rectificateur » estimé sur le petit échantillon étiqueté. Cependant, cet article identifie une faiblesse structurelle de la PPI pour la régression linéaire : lorsque le modèle de travail et le prédicteur sont tous deux linéaires, le rectificateur annule exactement la contribution du prédicteur. Par conséquent, la PPI et la PPI++ se réduisent aux moindres carrés ordinaires (OLS) sur les seules données étiquetées. De plus, si le prédicteur est estimé et proche de la fonction oracle, le rectificateur peut injecter du bruit, gonflant la variance au-dessus du seuil minimal des données uniquement étiquetées. Les véritables gains d'efficacité dans les contextes de haute dimension doivent donc provenir d'un mécanisme autre que la rectification de la prédiction.

Méthodologie : L'Estimateur DEAL

Les auteurs proposent l'estimateur DEAL (Debiased External-model-Assisted Lasso), une procédure en quatre étapes conçue pour extraire l'efficacité de la conception non étiquetée à travers la variance d'un estimateur débiaisé plutôt qu'à travers un rectificateur de prédiction.

1. Initialisation Sensible au Biais :
   La procédure commence par un estimateur externe $\hat{\beta}_{ext}$ (potentiellement issu de l'apprentissage par transfert). Au lieu d'utiliser directement cet estimateur, DEAL construit une « correction en une étape » $C$ basée sur les données étiquetées. Un niveau de contraction (shrinkage) piloté par les données $\hat{t} \in [0, 1]$ est estimé à l'aide d'un sous-échantillon de réglage distinct. Cette contraction traite la correction comme une observation bruitée d'un vecteur de biais inconnu. L'initialiseur est formé comme $\tilde{\beta}_{init} = \hat{\beta}_{ext} + \hat{t}C$.

   • Si l'estimateur externe n'est pas informatif, $\hat{t} \to 0$, revenant à une approche ciblant uniquement les données réelles.
   • Si l'estimateur est proche de l'oracle, $\hat{t} \to 0$ (désactivant la correction pour éviter l'injection de bruit).
   • Si l'estimateur est biaisé mais informatif, $\hat{t} \to 1$, utilisant la correction.

2. Imputation de Pseudo-Labels :
   En utilisant l'initialiseur $\tilde{\beta}_{init}$, des pseudo-labels $\tilde{f} = \tilde{X}\tilde{\beta}_{init}$ sont imputés pour les covariables non étiquetées $\tilde{X}$.

3. Lasso Empilé (Stacked Lasso) :
   Un estimateur Lasso est ajusté sur l'ensemble de données empilées comprenant les données étiquetées originales $(X_0, y_0)$ et les pseudo-labels $(\tilde{X}, \tilde{f})$. Cette étape tire parti de l'augmentation de la taille de l'échantillon ($n_0 + N$) pour obtenir un ajustement initial plus précis et une estimation plus stable de la matrice de précision.

4. Débiaisage Final :
   Une étape de débaisage standard est appliquée à l'estimateur Lasso empilé à l'aide d'une matrice de covariance inverse approximative (construite via les méthodes de Javanmard-Montanari ou de Lasso nodewise). Cela restaure la normalité asymptotique et des intervalles de confiance valides.

Adaptations Clés :

• Règle d'Équilibre de la Variance : La taille de l'échantillon non étiqueté $N$ n'est pas fixe mais choisie à partir des données pour équilibrer la réduction de la variance du bruit principal et l'introduction de la variance du biais résiduel.
• Gestion du Décalage de Covariables (Covariate Shift) : Une règle de substitution unilatérale pour la matrice de débaisage est introduite pour restaurer la couverture lorsque la distribution des covariables non étiquetées est plus dispersée que celle de la cible (décalage de covariables).
• Étiqueteurs Non Linéaires : Le cadre s'étend aux étiququeteurs non linéaires en linéarisant le prédicteur sur un échantillon auxiliaire tiré de la marge cible, garantissant que l'étape de sensibilisation au biais reste valide sous spécification erronée du modèle.

Contributions Clés et Résultats Théoriques

1. Limitation Structurelle de la PPI : L'article prouve (Proposition 1) que sous un modèle linéaire correctement spécifié, le rectificateur de la PPI annule la contribution du prédicteur, réduisant la PPI à l'OLS étiqueté seul. Cela établit que l'efficacité ne peut provenir de la moyenne du rectificateur dans les contextes linéaires.
2. Efficacité du Canal de Variance : DEAL dirige les covariables non étiquetées vers la variance de l'estimateur débiaisé. L'analyse théorique montre que sous un étiqueteur linéaire, DEAL obtient un intervalle de confiance strictement plus court que le Lasso débaisé ciblé, la PPI et la PPI++. Le ratio de variance asymptotique est donné par $G(\kappa, t_0) = (\frac{1+t_0\kappa}{1+\kappa})^2$, où $\kappa = N/n_0$. Lorsque l'estimateur externe est informatif ($t_0 < 1$), ce ratio est strictement inférieur à 1.
3. Robustesse à la Spécification Erronée et à la Non-Linéarité :
   • Sous spécification erronée du modèle, DEAL fournit une inférence valide pour le paramètre de projection de la projection des moindres carrés de la population $\beta^*_{proj}$.
   • Sous des étiququeteurs non linéaires, DEAL domine strictement la PPI++ optimisée à saturation totale des données non étiquetées, alors que la PPI++ est plafonnée par le bruit irreducible des données étiquetées.
4. Validité du Décalage de Covariables : L'article introduit une modification sensible au décalage qui préserve la couverture nominale même lorsque les covariables non étiquetées sont tirées d'une distribution ayant une covariance (décalage vers le haut) plus grande que la cible, un régime où les estimateurs groupés standards échouent.
5. Contraction Adaptative : Le paramètre de contraction piloté par les données $\hat{t}$ s'adapte à la qualité de l'estimateur externe, garantissant la validité à travers des régimes allant de l'absence d'information à la proximité de l'oracle.

Résultats Empiriques

Les auteurs valident la théorie par des simulations de Monte Carlo et un portefeuille de six applications de données réelles couvrant l'astronomie, la chimie des matériaux, la protéomique et l'oncologie.

• Simulation : Dans les contextes de haute dimension ($p \gg n_0$), les intervalles de confiance de DEAL étaient compris entre 0,49 et 0,87 de la longueur des intervalles du Lasso débaisé ciblé à couverture nominale. En revanche, les intervalles de la PPI et de la PPI++ restaient proches de la ligne de base du Lasso débaisé (ratios $\approx 1,0$).
• Applications de Données Réelles : À travers six applications diverses (incluant une utilisant un Grand Modèle de Langage comme oracle zero-shot), DEAL a systématiquement resserré les intervalles de confiance. Le ratio médian des intervalles de DEAL par rapport à ceux du Lasso débaisé variait de 0,23 à 0,53.
  • Reproductibilité : Les coordonnées significatives sélectionnées par DEAL présentaient une plus grande stabilité de bootstrap (fréquences de sélection de 0,66–0,97) par rapport au Lasso débaisé (0,26–0,63) et à la PPI++ (0,26–0,61).
  • Généralisation : Dans les applications avec ajustement hors échantillon (morphologie galactique et bande interdite), les découvertes de DEAL ont atteint un $R^2$ hors échantplon positif, tandis que les autres méthodes ont produit des $R^2$ négatifs ou proches de zéro.
• Indépendance de l'Étiququeteur : Crucialement, le gain d'efficacité a été observé même lorsque l'étiququeteur externe avait une précision prédictive très faible (ex. corrélation $\approx 0,09$ en protéomique). Lorsque les étiququeteurs ont été remplacés par des substituts permutés (sans information), les intervalles de DEAL sont revenus à la ligne de base du Lasso débaisé, confirmant que le gain provient de l'affinement de la matrice de précision par la conception non étiquetée, et non de la précision de l'étiququeteur.

Signification et Revendications

L'article affirme que la contribution principale est un déplacement du rôle du modèle externe : de la moyenne (via un rectificateur) vers la variance (via un estimateur débaisé). Ce changement permet à la méthode de contourner l'annulation structurelle inhérente à la PPI pour les modèles linéaires.

Les auteurs soulignent que DEAL est particulièrement pertinent à l'ère des modèles de fondation et des données synthétiques, où les analystes manquent de contrôle ou de capacité d'audit sur la calibration des prédicteurs externes. En traitant l'étiququeteur externe comme une « boîte noire » et en protégeant l'inférence contre son biais via une sauvegarde par contraction, DEAL transforme un étiququeteur non contrôlé en un outil inoffensif ou bénéfique. La méthode est présentée comme l'outil le plus précis spécifiquement dans le régime linéaire creux de haute dimension, offrant une inférence valide et des intervalles strictement plus courts là où les méthodes basées sur la prédiction ne parviennent pas à s'améliorer par rapport à la ligne de base uniquement étiquetée.

Le papier reste modeste quant à son champ d'application, reconnaissant que :

• Sous spécification erronée, il infère la meilleure projection linéaire, et non la véritable moyenne conditionnelle non linéaire.
• Le gain d'efficacité est conditionné par le fait que la conception étiquetée soit la contrainte limitante ; si l'échantillon étiqueté est déjà large ou bien conditionné, le bénéfice diminue.
• La méthode repose sur des mécanismes de Lasso débaisé et de Lasso nodewise (haute dimension, parcimonie linéaire) et n'est pas un estimateur M généraliste comme la PPI.