Résumé technique : Estimation des effets causaux bidirectionnels par apprentissage à noyau en ligne à grande échelle

Énoncé du problème

L'article traite du défi de l'estimation des effets causaux bidirectionnels dans les systèmes caractérisés par une dépendance mutuelle et une hétéroscédasticité. Alors que l'inférence causale traditionnelle se concentre souvent sur les relations unidirectionnelles, de nombreux systèmes du monde réel (par exemple, la dynamique prédateur-proie, les interventions politiques et les interactions cerveau-comportement) présentent une causalité réciproque. Un fossé méthodologique important existe dans l'application de l'apprentissage automatique à ces scénarios, particulièrement lors du traitement de données à grande échelle, de haute dimension et en flux continu (streaming).

Les approches existantes font face à deux limitations principales :

1. Méthodes de variables instrumentales (VI) : Les méthodes de VI conventionnelles reposent sur des décalages exogènes de la moyenne conditionnelle des variables de traitement. Elles éprouvent souvent des difficultés avec les systèmes bidirectionnels, à moins de disposer de variables instrumentales valides capables de déplacer une courbe tout en laissant l'autre fixe.
2. Identification basée sur l'hétéroscédasticité : Bien que cette approche (reposant sur les variations exogènes de la variance conditionnelle) permette l'identification de modèles d'équations simultanées (SEM) sans instruments externes, les implémentations traditionnelles nécessitent souvent de diviser les échantillons en sous-échantillons ou d'utiliser des approximations polynomiales complexes. Ces méthodes peuvent manquer de flexibilité pour modéliser les variances moyennes et conditionnelles non linéaires, ou souffrir d'une inefficacité computationnelle dans des contextnements de haute dimension.

Méthodologie

Le cadre proposé intègre l'identification basée sur l'hétéroscédasticité avec l'apprentissage à noyau en ligne à grande échelle. Les composantes centrales sont :

1. Spécification du modèle

Les auteurs définissent un Modèle d'Équations Simultanées (SEM) avec deux variables endogènes ($y_1, y_2$) et des covariables exogènes ($x$) :
$$\begin{aligned} y_{1,i} &= \gamma_1 y_{2,i} + h_1(x_i, \beta_1) + \varepsilon_{1,i} \\ y_{2,i} &= \gamma_2 y_{1,i} + h_2(x_i, \beta_2) + \varepsilon_{2,i} \end{aligned}$$
Crucialement, les variances conditionnelles des termes d'erreur sont modélisées comme des fonctions des covariables :
$$g_{j,i} = V(\varepsilon_{j,i}|x_i) = \exp(f_j(x_i, \alpha_j))$$
L'objectif est d'estimer les paramètres causaux $\gamma_1$ et $\gamma_2$ ainsi que les fonctions inconnues $h_j$ et $f_j$.

2. Stratégie d'identification

La méthode repose sur l'estimation par quasi-maximum de vraisemblance (QML). L'identification est réalisée si les variances conditionnelles des deux équations ne sont pas proportionnelles entre elles ($g_1 \not\propto g_2$). Cela permet d'identifier les pentes des équations structurelles grâce à la variation des variances d'erreur, une variante de l'approche par variables instrumentales qui exploite l'hétéroscédasticité plutôt que les décalages de moyenne.

3. Approximation de fonction via les caractéristiques de Fourier aléatoires (RFF)

Pour gérer la non-linéarité et la haute dimension, les fonctions inconnues $h_j(\cdot)$ et $f_j(\cdot)$ sont approximées par des représentations fonctionnelles à base de noyaux.

• Au lieu de stocker la matrice de noyau complète (ce qui est prohibitivement coûteux pour un grand $N$), les auteurs emploient des caractéristiques de Fourier aléatoires (RFF).
• Sur la base du théorème de Bochner, les noyaux invariants par translation (ex: Gaussien) sont approximés en projetant les entrées $x$ vers un espace de caractéristiques de dimension finie $z(x)$ via des projections sinusoïdales aléatoires :
  $$z(x) = (\sin(u_1^\top x), \cos(u_1^\top x), \dots, \sin(u_m^\top x), \cos(u_m^\top x))^\top$$
• Cela transforme la méthode à noyau en un modèle linéaire dans l'espace des caractéristiques, permettant un calcul efficace.

4. Optimisation en ligne

Les paramètres sont estimés à l'aide d'un algorithme de descente de gradient adaptatif en ligne :

• Fonction de perte : Dérivée de la quasi-vraisemblance log-gaussienne.
• Optimisation : L'algorithme traite les données de manière séquentielle (une observation à la fois ou par petits lots).
• Adaptativité : Il utilise l'optimisation Adam pour l'ajustement du pas de l'apprentissage (step-size) et un écrêtage de gradient adaptatif (adaptive gradient clipping) pour assurer la stabilité. Le seuil d'écrêtage est mis à jour comme une moyenne mobile exponentielle corrigée du biais des normes de gradient passées.

Contributions clés

1. Estimation bidirectionnelle scalable : L'article propose le premier cadre d'apprentissage en ligne scalable spécifiquement conçu pour estimer conjointement les effets causaux bidirectionnels dans les SEM en utilisant l'identification basée sur l'hétéroscédasticité.
2. Modélisation non linéaire flexible : En intégrant les RFF avec la QML, la méthode modélise de manière flexible les moyennes et variances conditionnelles non linéaires sans la rigidité des approximations polynomiales ou le coût computationnel des matrices de noyaux complets.
3. Efficacité computationnelle : L'approche atteint une mise à l'échelle computationnelle quasi-linéaire par rapport au nombre d'observations et de covariables, ce qui la rend adaptée aux données en streaming de haute dimension ($d=1000$) et de grand échantillon ($N=20\,000$).
4. Fondement théorique : La méthode fait le pont entre la théorie d'identification économétrique (spécifiquement les conditions d'identification locale pour les SEM sous hétéroscédasticité) et les techniques modernes d'apprentissage automatique.

Résultats expérimentaux

Les auteurs ont évalué la méthode par rapport à deux lignes de base :

• Single-Kernel : Estime les équations indépendamment (en ignorant la simultanéité).
• SEM-PAB : Utilise des approximations polynomiales avec des poids de fonction bêta et des transformations Box–Cox (la spécification la plus flexible des travaux antérieurs [11]).

Résultats :

• Précision : La méthode proposée SEM-Kernel a systématiquement obtenu un biais et une erreur quadratique moyenne (RMSE) plus faibles à travers divers processus de génération de données (DGP), incluant des scénarios complexes de non-linéarité et d'hétéroscédasticité (DGP-3).
• Biais des lignes de base : La méthode Single-Kernel a présenté un biais systématique, confirmant que l'ignorance de l'endogénéité conduit à des estimations incohérentes. La méthode SEM-PAB a montré une instabilité numérique et des erreurs nettement plus élevées.
• Scalabilité :
  • Précision vs Caractéristiques : Augmenter le nombre de composantes de Fourier aléatoires ($m$) améliore la précision jusqu'à $m \approx 500$, après quoi les gains deviennent négligeables.
  • Temps de calcul : La méthode SEM-Kernel n'a nécessité qu'un peu plus de temps que la ligne de base Single-Kernel (ex: ~4,5s contre ~3,0s pour $N=20\,000, d=1000$), mais elle est orders of magnitude plus rapide que SEM-PAB (qui a pris >100s).
• Robustesse : La méthode a maintenu sa stabilité à travers différentes tailles d'échantillons et dimensions de caractéristiques sans nécessiter de recalibrage.

Signification et affirmations

L'article affirme que le cadre proposé offre une solution pratique, scalable et théoriquement fondée pour l'inférence causale à grande échelle dans les sciences naturelles/sociales, la prise de décision politique et les applications commerciales où une dépendance mutuelle est présente.

En combinant la logique d'identification économétrique avec l'apprentissage automatique moderne, la méthode capture efficacement les effets causaux bidirectionnels complexes avec une mise à l'échelle computationnelle quasi-linéaire. Les auteurs soulignent que cette approche surmonte les limitations de l'inférence causale unidirectionnelle traditionnelle et les goulots d'étranglement computationnels des méthodes précédentes basées sur l'hétéroscédasticité.

Limites et travaux futurs :
Les auteurs notent modestement que le cadre actuel estime uniquement des effets causaux linéaires (en termes de paramètres structurels $\gamma$) et suppose des termes d'erreur symétriques. Ils identifient l'extension du cadre pour accommoder des relations causales non linéaires et des données fortement asymétriques comme des directions importantes pour les recherches futures.