Résumé Technique : Émergence de la Computation d'États Latents sous Volatilité Stochastique

Énoncé du Problème

La recherche en interprétabilité mécaniste s'est principalement concentrée sur les modèles de langage et les tâches synthétiques déterministes où les calculs cibles sont entièrement observables. Il existe un écart significatif dans la compréhension de la manière dont les modèles de séquences neuronaux représentent les dynamiques stochastiques latentes dans des environaux bruités et partiellement observés.

Cet article comble cette lacune en utilisant les modèles de Volatilité Stochastique (SV) comme référence contrôlée. Dans les modèles SV, les rendements des actifs sont des observations bruitées d'un état de log-volatilité latent non observé ($h_t$). Contrairement aux modèles ARCH/GARCH où la volatilité est une fonction déterministe des rendements passés, les modèles SV exigent que le modèle effectue un filtrage implicite pour inférer les états cachés à partir de données bruitées. Le défi est de déterminer si de petits réseaux de neurones, entraînés uniquement pour prévoir les rendements au carré futurs ($r^2_{t+1}$), récupèrent des représentations internes de l'état de volatilité latente réel ($h_{t+1}$) et comment ces représentations émergent à travers l'architecture du réseau.

Méthodologie

Configuration Expérimentale

• Génération de Données : Les auteurs utilisent un processus de Volatilité Stochastique Multivariée (MSV) contrôlé avec $N=6$ actifs. Les rendements ($r_t$) sont générés comme des observations bruitées d'un état de log-volatilité latent ($h_t$) suivant un modèle d'espace d'état linéaire avec des effets de contagion entre les actifs.
• Tâche : Les modèles sont entraînés pour prédire le rendement au carré de l'étape suivante ($y = r^2_{T+1}$) étant donné un historique de $T=21$ rendements passés. L'état latent de vérité terrain $h_{T+1}$ est connu du chercheur mais caché au modèle.
• Architectures :
  • Transformer : Un encodeur compact avec une couche et une tête d'attention. Les actifs sont traités comme des jetons (tokens) avec des historiques de rendements comme caractéristiques. L'architecture comprend un plongement linéaire (embedding), une normalisation $\ell_2$, des plongements positionnels, une auto-attention, et un réseau de neurones de type feed-forward (FFN) avec une activation GELU.
  • Base MLP : Un MLP à trois couches qui traite l'historique de chaque actif indépendamment, isolant l'effet des interactions inter-actifs basées sur l'attention.
• Objectifs d'Entraînement : Deux fonctions de perte sont comparées :
  1. MSE : Erreur Quadratique Moyenne sur les rendements au carré (un proxy bruité de la variance conditionnelle).
  2. NLL : Log-Vraisemblance Négative Gaussienne, qui est théoriquement alignée avec l'estimation de la variance conditionnelle.

Techniques d'Analyse

• Sondage Linéaire (Linear Probing) : Des sondes de régression Ridge sont ajustées sur les représentations cachées intermédiaires ($z_i$) pour mesurer la décodabilité linéaire de l'état latent $h_{i, T+1}$.
• Analyse par Étapes : Les auteurs suivent la décodabilité ($R^2$) à chaque étape architecturale (plongement, normalisation, attention, FFN, sortie) pour identifier où l'information latente émerge.
• Interventions Causales :
  • Remplacement de la tête de sortie : Remplacer la tête de sortie apprise par une lecture alignée sur la sonde pour tester si la dégradation de la prévision provient d'un échec de représentation ou d'un désalignement de la lecture.
  • Ablation d'Activation : Perturber des composants spécifiques (par exemple, la normalisation post-$\ell_2$) pour mesurer les effets en aval sur la décodabilité et l'erreur de prédiction.

Principaux Résultats

1. Décomposition Robuste en Deux Étapes de l'État Latent

À travers les Transformers et les MLP, et indépendamment de la fonction de perte ou de l'activation, les modèles présentent une computation cohérente en deux étapes :

1. Inférence Latente : Les représentations cachées encodent une information substantielle sur le prochain état de volatilité latente ($h_{T+1}$). Les sondes linéaires atteignent un $R^2$ élevé (souvent > 0,85) à travers les architectures.
2. Cartographie de Prévision : La tête de sortie mappe cette représentation vers les prévisions de rendement au carré.

• Observation : Sous un entraînement MSE, la tête de sortie apprise présente souvent un alignement ($R^2$) nettement inférieur avec l'état latent par rapport à la sonde, même lorsque l'état caché est hautement décodable. Cela suggère que les erreurs de prédiction sous MSE proviennent souvent d'un désalignement de la lecture plutôt que d'un échec d'encodage de l'état latent.

2. Émergence par Étapes dans les Transformers

Le point auquel la décodabilité de l'état latent émerge dépend de manière critique de la période de volatilité ($\omega$) :

• Régimes à Cycles Longs ($\omega \ge 365$) : La décodabilité émerge immédiatement après la normalisation $\ell_2$ du plongement linéaire. La représentation devient largement décodable avant le traitement par l'attention ou le FFN.
• Régimes Intermédiaires ($\omega \in \{30, 90\}$) : La décodabilité nécessite un raffinement supplémentaire par le FFN après l'attention.
• Contrôle à Cycle Court ($\omega = 21$) : La décodabilité est proche de zéro jusqu'à ce que les plongements positionnels soient ajoutés, après quoi elle bondit à $\approx 1,0$. Cela suggère que le modèle repose sur la mémorisation de la périodicité plutôt que sur un filtrage dynamique dans ce régime spécifique.
• Comparaison : Le MLP montre une émergence de la décodabilité moins modulaire et plus diffuse à travers les couches, manquant les transitions nettes par étape observées dans les Transformers.

3. Filtres Latents Explicites dans les Régimes à Cycles Longs

Dans les régimes à cycles longs, le calcul du Transformer se simplifie en un filtre explicite :
$$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$$
Cela indique que la majeure partie de l'information de l'état latent est extraite par une projection linéaire apprise suivie d'une normalisation $\ell_2$. L'ablation causale confirme que la représentation post-norme $\ell_2$ est l'étape la plus précoce où le signal latent devient causalement pertinent pour la prévision en aval ; perturber cette étape provoque l'effondrement le plus important de la décodabilité.

Signification et Revendications

L'article soutient que les modèles de volatilité stochastique constituent une référence utile pour l'interprétabilité mécaniste sous des dynamiques latentes bruitées et une observabilité partielle.

• Combler les Écarts : Contrairement aux tâches de jeu déterministes, les modèles SV nécessitent une inférence d'état implicite, tout en laissant la vérité terrain disponible pour l'évaluation. Cela permet une étude contrôlée de la manière dont les modèles représentent, transforment et utilisent la structure stochastique latente.
• Aperçu Mécaniste : L'étude révèle que même de petits Transformers compacts peuvent apprendre à effectuer un filtrage implicite qui reflète les pipelines économétriques classiques (inférence suivie de prédiction).
• Interprétabilité des Modèles Financiers : Les résultats suggèrent que les tâches de prévision de séries temporelles financières peuvent servir de pont entre l'interprétabilité mécaniste, la modélisation de séries temporelles et l'inférence d'espace d'état, offrant un cadre pour étudier comment les réseaux de neurones gèrent l'incertitude irréductible.

Les auteurs font preuve de modestie concernant leurs revendications, notant que leurs résultats sont basés sur des données synthétiques avec des états latents connus et de petites architectures. Ils ne prétendent pas que ces mécanismes se transposent directement aux modèles financiers réels à grande échelle ou qu'ils fournissent un compte rendu complet au niveau des circuits de tous les calculs SV, mais qu'ils identifient des mécanismes émergents spécifiques et interprétables dans des contextes contrôlés.