Résumé technique : Apprentissage de caractéristiques spectrales sensible au résultat pour la régression par variables instrumentales

Énoncé du problème

L'article traite du défi de l'estimation des effets causaux en présence de facteurs de confusion cachés à l'aide de la régression par variables instrumentales non paramétriques (NPIV). Le modèle de base suppose une relation structurelle $Y = h_0(X) + U$ avec $E[U|Z]=0$, où $X$ est le traitement, $Y$ est le résultat, $Z$ est l'instrument, et $U$ est un facteur de confusion non observé. L'objectif est de récupérer la fonction structurelle $h_0$ à partir d'échantillons i.i.d. de $(Y, X, Z)$.

Ce problème est formulé comme un problème inverse linéaire $T h_0 = r_0$, où $T$ est l'opérateur d'espérance conditionnelle qui transforme $h(X)$ en $E[h(X)|Z]$. Bien que les méthodes de pointe comme SpecIV (Sun et al., 2025) apprennent des caractéristiques spectrales en approximant les principaux sous-espaces singuliers de $T$, les auteurs identifient une limitation fondamentale : ces caractéristiques sont insensibles au résultat (outcome-agnostic). Elles capturent les modes dominants de la relation entre $X$ et $Z$, mais peuvent échouer à représenter la fonction structurelle $h_0$ si celle-ci se situe en dehors du sous-espace singulier dominant de $T$ (un scénario qualifié de « désalignement spectral »). Dans de tels cas, les méthodes spectrales standard se dégradent considérablement.

Méthodologie : Apprentissage de caractéristiques spectrales augmenté

Pour atténuer le désalignement spectral, les auteurs proposent l'Apprentissage de caractéristiques spectrales augmenté, un cadre qui rend le processus d'apprentissage de caractéristiques sensible au résultat (outcome-aware).

1. Opérateur augmenté et fonction de perte

La méthode introduit un opérateur augmenté $T_\delta$ qui incorpore des informations provenant du résultat $Y$. Plus précisément, $T_\delta$ est défini comme une perturbation de rang un de $T$ :
$$T_\delta: L^2(X) \times \mathbb{R} \to L^2(Z), \quad (h, a) \mapsto Th + a \cdot \delta \cdot r_0$$
où $r_0 = E[Y|Z]$ et $\delta$ est un hyperparamètre contrôlant la force du signal du résultat.

L'objectif d'apprentissage est modifié pour minimiser une nouvelle perte contrastive $L^{(d)}_\delta(\theta, \omega)$, qui combine la perte spectrale standard $L^{(d)}_0$ (approximant $T$) avec un terme de régularisation dérivé du résultat :
$$L^{(d)}_\delta(\theta, \omega) = L^{(d)}_0(\theta) - 2\delta E[Y \psi^{(d)}_\theta(Z)]^\top \omega + \omega^\top C_{\psi^{(d)}_\theta} \omega$$
Ici, $\psi^{(d)}_\theta$ et $\phi^{(d)}_\theta$ sont des cartes de caractéristiques de réseaux de neurones pour $Z$ et $X$, et $\omega$ est une variable auxiliaire. Minimiser cette perte est théoriquement équivalent à trouver la meilleure approximation de rang $d$ de l'opérateur augmenté $T_\delta$.

2. Mécanisme théorique

En augmentant $T$ avec le signal du résultat $r_0$, la méthode amplifie les composantes singulières de $T$ qui sont pertinentes pour $h_0$. Même si $h_0$ s'aligne avec une direction « mauvaise » (faible valeur singulière) de $T$, la perturbation peut déplacer le sous-espace singulier dominant de $T_\delta$ pour qu'il s'aligne avec $h_0$. Cela permet aux caractéristiques apprises de capturer le signal nécessaire pour prédire $Y$, même lorsque les caractéristiques spectrales standard le manqueraient.

3. Procédure d'estimation

Le cadre s'intègre à l'estimateur des doubles moindres carrés (2SLS).

• Étape 1 : Apprendre les caractéristiques $\phi^{(d)}_\theta$ et $\psi^{(d)}_\theta$ en minimisant la perte augmentée empirique sur un ensemble de données $\tilde{D}_m$.
• Étape 2 : Estimer la fonction structurelle $h_0$ en utilisant les caractéristiques apprises dans une régression 2SLS standard sur un ensemble de données distinct $D_n$.

Contributions clés

1. Identification de la limitation : Les auteurs identifient formellement que les méthodes spectrales existantes pour la NPIV sont insensibles au résultat, ce qui conduit à une dégradation des performances sous un désalignement spectral.
2. Cadre augmenté : Ils proposent l'Apprentissage de caractéristiques spectrales augmenté, introduisant l'opérateur $T_\delta$ et une perte contrastive correspondante qui incorpore l'information du résultat dans le processus d'apprentissage des caractéristiques.
3. Garanties théoriques :
   • Une borne d'erreur non asymptotique à haute probabilité pour l'estimateur 2SLS est fournie, séparant l'erreur d'approximation de l'erreur statistique.
   • L'analyse démontre que la méthode reste robuste dans les scénarios « mauvais » (désalignement spectral) où la SpecIV standard échoue. Plus précisément, si le rapport signal sur bruit est suffisant, la méthode peut récupérer $h_0$ avec une seule caractéristique même quand $h_0$ s'aligne avec une composante de faible valeur singulière de $T$.
4. Validation empirique : L'approche est validée sur des données synthétiques, des benchmarks semi-synthétiques dSprites (incluant une nouvelle fonction structurelle plus complexe), et des tâches d'évaluation hors-politique (OPE) en apprentissage par renforcement.

Résultats expérimentaux

• Données synthétiques : Dans les scénarios de faible alignement spectral (où $h_0$ s'aligne avec de faibles valeurs singulières de $T$), l'augmentation de $\delta$ réduit significativement l'erreur quadratique moyenne (MSE) par rapport à la SpecIV standard ($\delta=0$).
• Benchmark dSprites :
  • Sur le benchmark standard « bien aligné », la méthode montre des améliorations modestes.
  • Sur un nouveau benchmark « désaligné » ($h_{new}$), où la fonction structurelle dépend de la rotation (une caractéristique de faible valeur singulière), la SpecIV classique est très peu performante. La méthode sensible au résultat, avec un $\delta$ ajusté, égale ou dépasse légèrement la performance de Deep Feature IV (DFIV), un concurrent solide.
• Évaluation hors-politique (OPE) : Dans les contextes d'apprentissage par renforcement (CartPole, Mountain Car, Catch), la méthode démontre sa robustesse. Bien qu'aucune méthode unique n'ait dominé toutes les tâches, l'Augmented SpecIV a montré une meilleure adaptabilité au désalignement spectral par rapport à la SpecIV standard, particulièrement dans l'environnement CartPole.

Signification et affirmations

L'article affirme que l'Apprentissage de caractéristiques spectrales augmenté répond à une limitation fondamentale des méthodes spectrales actuelles en garantissant que les représentations apprises sont non seulement prédictives du traitement, mais aussi pertinentes pour le résultat causal. Les auteurs soulignent que cette approche offre une robustesse dans les régimes où les méthodes standard échouent en raison du désalignement spectral.

Ce travail est positionné comme une étape vers une estimation NPIV plus adaptative. Les auteurs notent que si leur approche actuelle repose sur une augmentation de rang un, étendre le cadre à des perturbations de rang supérieur (par exemple, en utilisant plusieurs fonctions de $Y$) reste une direction prometteuse pour la recherche future. L'article conclut que leur méthode élargit l'applicabilité de l'estimation NPIV basée sur des caractéristiques spectrales, particulièrement dans des contextes complexes comme l'évaluation hors-politique où la fonction cible peut changer dynamiquement.