Résumé Technique : Déconfondage par Apprentissage par Transfert Profilé

1. Énoncé du Problème

Dans l'estimation d'effets par régression et l'inférence causale, les facteurs de confusion non mesurés sont une source primaire de biais, menant à des corrélations spécieuses et à des conclusions causales invalides. Les méthodes de déconfondage traditionnelles opèrent généralement dans des cadres de jeux de données uniques et reposent soit sur l'estimation directe des structures de confusion (ex: analyse factorielle), soit sur l'incorporation de variables auxiliaires (ex: variables instrumentales ou variables de substitution/proxys). Ces approches font souvent face à des défis pratiques, tels que la difficulté de sélectionner des variables auxiliaires appropriées ou la dépendance à des hypothèses strictes comme la restriction d'exclusion ou les tendances parallèles.

De plus, bien que l'apprentissage par transfert soit de plus en plus utilisé pour exploiter des jeux de données sources ayant des structures similaires afin d'améliorer l'estimation cible, les paradigmes conventionnels d'apprentissage par transfert ne parviennent pas à traiter la confusion cachée. L'application directe de l'apprentissage par transfert standard à des modèles confondus ne permet pas d'exploiter les structures de confusion partagées entre les données sources et cibles, ce qui entraîne des estimations biaisées des décalages de modèle et des paramètres cibles.

2. Méthodologie : Cadre ProTrans

Le papier propose ProTrans (Apprentissage par Transfert Profilé), un cadre conçu pour atténuer les effets de confusion dans un jeu de données cible en exploitant des jeux de données sources supplémentaires partageant des structures de confusion similaires. L'innovation centrale est le concept de résidus profilés, qui caractérisent et transfèrent les motifs de confusion partagés des sources vers la cible.

2.1 Configuration du Modèle

Le modèle cible est défini comme un modèle d'équation structurelle avec des facteurs de confusion cachés $H_t$ :
$$Y_{ti} = \beta_t^\top X_{ti} + \phi_t^\top H_{ti} + \varepsilon_{ti}$$
$$X_{ti} = f(H_{ti}) + E_{ti}$$
où $\beta_t$ est le paramètre d'intérêt, et $f(\cdot)$ est une application inconnue décrivant la structure de confusion. L'objectif est d'estimer le paramètre cible $\beta_t$ ou le décalage de modèle $\eta_0 = \beta_t - \beta_s$ (où $\beta_s$ est le paramètre moyen de la source).

2.2 L'Algorithme ProTrans

La méthode procède en deux étapes principales :

1. Estimation des Paramètres de la Source et Construction des Résidus :

   • Les données sources sont regroupées pour estimer un paramètre de source initial $\hat{\beta}_{init}$ (qui n'a pas besoin d'être déconfondu).
   • Des Résidus de Source Profilés sont construits : $\hat{Z}_s^{(k)} = Y_s^{(k)} - X_s^{(k)}\hat{\beta}_{init}$. Ces résidus encodent l'information sur les facteurs de confusion cachés dans les données sources.
   • Un estimateur de source déconfondu $\hat{\beta}_s$ est obtenu (par exemple, via une transformation de trim ou LASSO sur les données sources regroupées). En raison de la grande taille de l'échantillon des données sources ($n_s \gg n_t$), le déconfondage des modèles de source est plus réalisable et précis que celui de la cible.

2. Transfert de Résidus Profilés et Estimation Cible :

   • Un résidu cible profilé $\hat{Z}_t$ est construit en alignant la corrélation covariable-résidu de la cible avec la corrélation covariable-résidu de la source :
     $$\hat{Z}_t = \arg \min_{Z_t} \left\| \frac{1}{n_t} X_t^\top Z_t - \frac{1}{n_s} \sum_{k=1}^K X_s^{(k)\top} \hat{Z}_s^{(k)} \right\|_\infty$$
   • Cette étape transfère efficacement les effets de confusion des sources vers la cible, garantissant que le terme $(X_t^\top X_t)^\dagger X_t^\top (H_t \phi_t - \hat{Z}_t)$ approxime le biais induit par l'estimateur initial.
   • Estimation du Décalage de Modèle : Le décalage de modèle $\eta_0$ est estimé en régressant la réponse cible ajustée $(Y_t - \hat{Z}_t - X_t \hat{\beta}_{init})$ contre $X_t$ en utilisant un estimateur de moindres carrés pénalisé (ex: LASSO).
   • Estimation du Paramètre Cible : Le paramètre cible final est estimé comme $\hat{\beta}_t = \hat{\beta}_s + \hat{\eta}$.

2.3 Sélection de la Source

Pour gérer les scénarios où les effets de confusion varient selon les sources, les auteurs proposent une procédure de sélection de sources informatives basée sur un score de qualité nouvellement proposé. Cela permet au cadre de filtrer les sources non informatives tout en préservant les garanties théoriques.

3. Résultats Théoriques

Le papier établit des bornes d'erreur non asymptotiques et l'optimalité minimax pour les estimateurs ProTrans sous des conditions modérées.

• Estimation du Décalage de Modèle ($\hat{\eta}$) :

  • L'estimateur atteint le taux de convergence oracle de $\sqrt{s_\eta \log p / n_t}$, correspondant au taux optimal pour les modèles sans facteurs de confusion cachés.
  • Crucialement, ce taux est atteint sans imposer d'hypothèses spécifiques sur la véritable structure de confusion (ex: linéarité) ou nécessiter des variables auxiliaires.
  • En revanche, les estimateurs d'apprentissage par transfert conventionnels ($\tilde{\eta}$) souffrent de bornes d'erreur dominées par le biais de confusion, spécifiquement des termes impliquant $\sqrt{p \|\phi_t\|_2^2 / (n_t \lambda_q(\Psi)^2)}$, qui peuvent dominer l'erreur si la structure de confusion est mal conditionnée.

• Estimation du Paramètre Cible ($\hat{\beta}_t$) :

  • L'erreur d'estimation se compose de deux éléments : l'erreur sans confusion de l'estimation du décalage de modèle et l'erreur d'estimation de la source.
  • Le biais de confusion est réduit de l'ordre $n_t^{-1/2}$ (dans les méthodes classiques) à l'ordre $n_s^{-1/2}$ car les effets de confusion sont atténués grâce à la grande taille de l'échantillon de la source.
  • L'estimateur ProTrans atteint la borne inférieure minimax pour l'estimation du paramètre cible sous des conditions modérées.

• Robustesse :

  • Le cadre est robuste aux sources non informatives via la stratégie de sélection proposée.
  • Les garanties théoriques tiennent même lorsque la structure de confusion $f(\cdot)$ est non linéaire et inconnue, à condition que les effets de confusion soient similaires entre la source et la cible (ou qu'au moins une source soit similaire).

4. Contributions Clés et Signification

Les auteurs résument les contributions de ProTrans comme suit :

1. Premier Approche d'Apprentissage par Transfert pour le Déconfondage : ProTrans est la première tentative d'exploiter des informations sources supplémentaires spécifiquement pour atténuer les effets de confusion. Contrairement aux méthodes de déconfondage existantes, elle ne nécessite pas d'hypothèses restrictives sur les structures de confusion cachées ou la disponibilité de variables auxiliaires (variables instrumentales ou de substitution).
2. Correction de l'Apprentissage par Transfert Conventionnel : Le papier démontre que l'application directe de l'apprentissage par transfert conventionnel à des modèles confondus échoue à éliminer le biais induit par la confusion. ProTrans complète la littérature sur l'apprentissage par transfert en transférant explicitement la structure de confusion via des résidus profilés.
3. Estimation de l'Effet de Traitement : En tant que sous-produit, le cadre offre une nouvelle approche pour estimer les effets de traitement où le groupe de traitement sert de cible et le groupe de contrôle de source. Dans ce cadre, le décalage de modèle fournit directement l'estimation de l'effet de traitement sans avoir besoin de variables instrumentales.
4. Optimalité Théorique : Le papier prouve que ProTrans atteint des taux minimax optimaux pour le décalage de modèle et l'estimation du paramètre cible, surpassant de manière significative les méthodes classiques d'apprentissage par transfert en présence de confusion forte ou complexe.

5. Validation Empirique

L'efficacité de ProTrans est validée par des expériences simulées et des applications de données réelles. Ces expériences confirment que ProTrans atténue efficacement les effets de confusion latents et soutient les conclusions théoriques concernant les taux de convergence et la robustesse aux sources non informatives.