Résumé Technique : Quand les découvertes d'interactions neuronales sont-elles réelles ?

Énoncé du Problème

L'article aborde une question fondamentale de la modélisation de séries temporelles interprétable : lorsqu'un modèle neuronal (spécifiquement un modèle conçu pour capturer des interactions) rapporte qu'une variable module l'effet d'une autre sur une cible, cette interaction découverte est-elle une propriété réelle du processus générateur de données, ou n'est-elle qu'un artefact de la flexibilité du modèle ?

Bien que la régression vectorielle additive neuronale (NAVAR) et les méthodes de causalité de Granger apparentées puissent décomposer la dynamique en contributions de sources interprétables, elles ne peuvent pas exprimer naturellement la modification d'effet (où l'influence d'une variable dépend du niveau d'une autre). L'extension de ces modèles par l'inclusion de portes multiplicatives (G-NAVAR) permet de telles interactions, mais les auteurs soutiennent que la capacité de représentation ne garantit pas l'identifiabilité. Un modèle flexible peut admettre plusieurs décompositions d'interactions équivalentes sur le plan observationnel qui s'ajustent de la même manière aux données, mais diffèrent dans leur interprétation structurelle. Le problème central est de déterminer si la structure d'interaction récupérée est un quotientementment identifiable à partir de données observationnelles, ou s'il s'agit d'un artefact d'optimisation piloté par la géométrie du support d'entrée.

Méthodologie

Architecture du Modèle : G-NAVAR

Les auteurs étudient la Régression Vectorielle Additive Neuronale à Portes (G-NAVAR). Pour une variable cible $x_i$, le modèle décompose la moyenne conditionnelle en une somme de produits d'arêtes :
$$\hat{x}_{i,t} = \beta_i + \sum_j f_{ij}(x^{(K)}_{j,t}) \prod_{k \in M_{ij}} g_{ijk}(x^{(K)}_{k,t})$$
Ici, $f_{ij}$ est une fonction de base pour la source $j$, et $g_{ijk}$ sont des portes multiplicatives strictement positives pilotées par des modulateurs candidats $k \in M_{ij}$. Le produit $F_{ij} = f_{ij} \prod g_{ijk}$ représente la contribution effective de la source $j$.

Cadre Théorique

L'article établit des conditions d'identifiabilité en analysant les symétries de jauge et la géométrie du support :

1. Normalisation et Minimalité : Pour éliminer les symétries triviales (redistribution d'échelle, permutation des modulateurs, insertion de portes égales à 1), les auteurs imposent :
   • Normalisation : $E[g_{ijk}] = 1$.
   • Minimalité : Seuls les modulateurs essentiels (ceux qui modifient de manière non triviale le produit d'arête) sont inclus.
2. Obstructions à l'Identifiabilité :
   • Fuite induite par la dépendance : Si les entrées sont dépendantes, le conditionnement n'isole pas les effets de source ; des variations d'ordre inférieur peuvent fuiter entre les termes spécifiques à l'arête.
   • Support de faible dimension : Si le support conjoint des modulateurs est effectivement de faible dimension (ex: colinéarité), des fonctions de porte distinctes peuvent s'accorder parfaitement sur les données observées tout en différant ailleurs, rendant la récupération impossible.
3. Théorème d'Identifiabilité : Les auteurs prouvent un théorème d'identifiabilité de population pour le G-NAVAR minimal normalisé sous des conditions spécifiques :
   • Séparabilité des arêtes : Les contributions de différentes sources doivent être distinguables. Cela est réalisé via une condition de somme directe pour des supports disjoints ou une Décomposition Fonctionnelle Orthogonale Hiérarchique (HOFD) pour des modulateurs partagés.
   • Richesse du Support : Le support conjoint de l'ensemble des modulateurs doit être un ensemble produit ouvert, de pleine dimension et connexe avec une densité strictement positive.
   • Fidélité de l'Interaction-Porte : L'ensemble des modulateurs listés doit correspondre aux composantes d'interaction structurelles.

Outils de Diagnostic Pratique

La théorie produit deux outils opérationnels pour les praticiens :

1. Diagnostic Pré-ajustement (Rang Effectif) : Le rang effectif ($r_{eff}$) de la matrice de covariance de bloc de retard conjointe sert de proxy pour la richesse du support.
   $$r_{eff}(S) = \frac{(\text{tr } \Sigma_S)^2}{\text{tr}(\Sigma_S^2)}$$
   Un rang effectif faible indique un effondrement du support (dégénérescence), prédisant la non-identifiabilité avant même tout ajustement de modèle.
2. Vérification de Stabilité Post-ajustement : Une vérification de stabilité à deux graines consiste à ajuster le modèle deux fois à partir de graines aléatoires indépendantes. Si les classements de modulateurs récupérés divergent de manière significative, la structure d'interaction n'est probablement pas récupérable de manière stable, même si le support semble riche.

Résultats Clés

Expériences Synthétiques

• Récupération à l'Échelle : Dans un cadre synthétique à support riche, le G-NAVAR récupère avec succès les ensembles de modulateurs réels et les formes des portes à mesure que la taille de l'échantillon augmente, surpassant les bases additives (qui ne peuvent capturer la structure multiplicative) et égalant la précision prédictive des modèles MLP "boîte noire" et des modèles ANOVA fonctionnels (GA2M).
• Transition d'Effondrement du Support : À mesure que la corrélation entre les modulateurs augmente (réduisant le rang effectif), la récupération des ensembles de modulateurs s'effondre. L'erreur dans l'estimation des portes augmente continuellement à mesure que $r_{eff}$ diminue, confirmant que l'identifiabilité est une fonction de la géométrie du support, et non seulement de la taille de l'échantillon.
• Agnosticisme du Modèle : Sous un support riche, plusieurs modèles conscients des interactions (G-NAVAR, GA2M) récupèrent la structure, suggérant que la paramétrisation est moins critique que la condition de support pour la récupération.

Expériences sur Données Réelles

Les auteurs valident la théorie à travers trois régimes empiriques distincts :

1. Qualité de l'Air à Beijing (Support Riche, Récupérable) :
   • Contexte : Modélisation des arêtes $NO_2 \to O_3$ et $PM_{2.5} \to PM_{10}$.
   • Résultat : Un rang effectif élevé ($r_{eff} > 4$) coïncide avec une récupération stable des modulateurs attendus (Température pour l'ozone, Vitesse du vent pour la dispersion) sur tous les sites. Le diagnostic pré-ajustement a correctement prédit la récupérabilité.
2. Indicateurs de Développement WDI (Support Riche, Instable) :
   • Contexte : Modélisation de l'effet des rentes de ressources sur la croissance du PIB modulé par l'investissement/le commerce.
   • Résultat : Malgré un rang effectif élevé ($r_{eff} \approx 4,47$), la vérification à deux graines a révélé une instabilité (désaccord sur les modulateurs principaux, inversions de signes dans les pentes des portes). Cela démontre que le support riche est nécessaire mais non suffisant ; la structure d'interaction elle-même peut être faible ou non identifiable dans la distribution des données.
3. Volatilité Réalisée (Support Effondré, Non Récupérable) :
   • Contexte : Modélisation des transferts de volatilité entre les indices boursiers mondiaux.
   • Résultat : Un rang effectif extrêmement bas ($r_{eff} < 2$) dû à la forte corrélation croisée entre les marchés. Le diagnostic pré-ajustement a correctement signalé le régime comme non identifiable. La récupération était instable et le modèle n'a pas réussi à surpasser les bases additives.

Signification et Revendications

L'article affirme que la découvrabilité des interactions est fondamentalement un problème d'identifiabilité régi par la géométrie du support d'entrée observé, plutôt que par l'architecture neuronale spécifique utilisée.

• Distinction entre Capacité et Identifiabilité : La capacité d'un modèle à représenter des interactions n'implique pas qu'il puisse les récupérer de manière unique à partir des données.
• Principes Agnostiques au Modèle : Bien que les preuves formelles soient dérivées pour le G-NAVAR, les auteurs soutiennent que les phénomènes de non-identifiabilité dépendante du support et la nécessité des vérifications de stabilité s'appliquent à toute méthode autoregressive neuronale flexible tentant de découvrir des interactions.
• Flux de Travail Pratique : L'article fournit un flux de travail concret en deux étapes pour les praticiens :
  1. Calculer le rang effectif de l'ensemble des modulateurs candidats avant l'ajustement. Si le rang est faible, la récupération est impossible quelle que soit la complexité du modèle.
  2. Si le rang est adéquat, effectuer une vérification de stabilité à deux graines. Si les résultats sont instables, l'interaction découverte est probablement un artefact d'optimisation plutôt qu'une propriété des données.
• Limites : Les auteurs sont modestes dans leurs revendications, notant que le diagnostic est nécessaire mais non suffisant (il ne peut détecter une erreur de spécification d'ordre supérieur) et que la "stabilité" d'un résultat ne garantit pas l'exactitude, mais seulement la reproductibilité.

En résumé, l'article déplace l'attention de "pouvons-nous ajuster une interaction ?" vers "l'interaction est-elle déterminée de manière unique par les données ?", fournissant à la fois un fondement théorique et des outils pratiques pour distinguer les découvertes réelles des artefacts d'optimisation.