Resumen Técnico: Computación de Estado Latente Emergente bajo Volatilidad Estocástica

Planteamiento del Problema

La investigación en interpretabilidad mecánica se ha centrado predominantemente en modelos de lenguaje y tareas sintéticas deterministas donde las computaciones objetivo son totalmente observables. Existe una brecha significativa en la comprensión de cómo los modelos de secuencias neuronales representan internamente la dinámica estocástica latente en entornos ruidosos y parcialmente observados.

Este artículo aborda esta brecha utilizando modelos de Volatilidad Estocástica (SV) como un banco de pruebas controlado. En los modelos SV, los rendimientos de los activos son observaciones ruidosas de un estado de log-volatilidad latente no observado ($h_t$). A diferencia de los modelos ARCH/GARCH, donde la volatilidad es una función determinista de rendimientos pasados, los modelos SV requieren que el modelo realice un filtrado implícito para inferir los estados ocultos a partir de datos ruidosos. El desafío es determinar si redes neuronales pequeñas, entrenadas únicamente para pronosticar futuros rendimientos al cuadrado ($r^2_{t+1}$), recuperan representaciones internas del verdadero estado de volatilidad latente ($h_{t+1}$) y cómo estas representaciones emergen a través de la arquitectura de la red.

Metodología

Configuración Experimental

• Generación de Datos: Los autores utilizan un proceso de Volatilidad Estocástica Multivariante (MSV) controlado con $N=6$ activos. Los rendimientos ($r_t$) se generan como observaciones ruidosas de un estado de log-volatilidad latente ($h_t$) que sigue un modelo de espacio de estados lineal con desbordamientos (spillovers) entre activos.
• Tarea: Los modelos se entrenan para predecir el siguiente paso de los rendimientos al cuadrado ($y = r^2_{T+1}$) dado un historial de $T=21$ rendimientos pasados. El estado latente real ($h_{T+1}$) es conocido para el investigador pero está oculto para el modelo.
• Arquitecturas:
  • Transformer: Un codificador compacto con una capa y una cabeza de atención. Los activos se tratan como tokens y los historiales de rendimientos como características (features). La arquitectura incluye un embedding lineal, normalización $\ell_2$, embeddings posicionales, auto-atención y una red de alimentación hacia adelante (FFN) con activación GELU.
  • Línea Base MLP: Un MLP de tres capas que procesa el historial de cada activo de forma independiente, aislando el efecto de las interacciones entre activos basadas en la atención.
• Objetivos de Entrenamiento: Se comparan dos funciones de pérdida:
  1. MSE: Error Cuadrático Medio sobre los rendimientos al cuadrado (un proxy ruidoso de la varianza condicional).
  2. NLL: Log-Verosimilitud Negativa Gaussiana, que está teóricamente alineada con la estimación de la varianza condicional.

Técnicas de Análisis

• Sondeo Lineal (Linear Probing): Se ajustan sondas de regresión de Ridge a las representaciones ocultas intermedias ($z_i$) para medir la decodificabilidad lineal del estado latente $h_{i, T+1}$.
• Análisis por Etapas: Los autores rastrean la decodificabilidad ($R^2$) en cada etapa arquitectónica (embedding, normalización, atención, FFN, salida) para identificar dónde emerge la información latente.
• Intervenciones Causales:
  • Reemplazo de la cabeza de salida: Reemplazar la cabeza de salida aprendida con una lectura alineada con la sonda para probar si la degradación del pronóstico proviene de un fallo de representación o de un desalineamiento de la lectura (readment).
  • Ablación de Activación: Perturbar componentes específicos (por ejemplo, la normalización post-$\ell_2$) para medir los efectos descendentes en la decodificabilidad y el error de pronóstico.

Hallazgos Clave

1. Descomposición de Estado Latente en Dos Etapas Robusta

A través de tanto Transformers como MLPs, e independientemente de la función de pérdida o la activación, los modelos exhiben una consistencia en la computación de dos etapas:

1. Inferencia Latente: Las representaciones ocultas codifican información sustancial sobre el siguiente estado de volatilidad latente ($h_{T+1}$). Las sondas lineales logran un $R^2$ alto (a menudo >0.85) en todas las arquitecturas.
2. Mapeo de Pronóstico: La cabeza de salida mapea esta representación hacia los pronósticos de rendimientos al cuadrado.

• Observación: Bajo el entrenamiento con MSE, la cabeza de salida aprendida a menudo exhibe una alineación ($R^2$) significativamente menor con el estado latente en comparación con la sonda, incluso cuando el estado oculto es altamente decodificable. Esto sugiere que los errores de pronóstico bajo MSE a menudo surgen de un desalineamiento de la lectura más que de un fallo en la codificación del estado latente.

2. Emergencia por Etapas en Transformers

El punto en el que la decodificabilidad del estado latente emerge depende críticamente del periodo de volatilidad ($\omega$):

• Regímenes de Ciclo Largo ($\omega \ge 365$): La decodificabilidad emerge inmediatamente después de la normalización $\ell_2$ del embedding lineal. La representación se vuelve mayormente decodificable antes del procesamiento de atención o FFN.
• Regímenes Intermedios ($\omega \in \{30, 90\}$): La decodificabilidad requiere un refinamiento adicional por parte del FFN tras la atención.
• Control de Ciclo Corto ($\omega = 21$): La decodificabilidad es cercana a cero hasta que se añaden los embeddings posicionales, tras lo cual salta a $\approx 1.0$. Esto sugiere que el modelo depende de la memorización de la periodicidad en lugar de un filtrado dinámico en este régimen específico.
• Comparación: El MLP muestra una emergencia de decodificabilidad menos modular y más difusa a través de las capas, careciendo de las transiciones nítidas por etapa observadas en los Transformers.

3. Filtros Latentes Explícitos en Regímenes de Ciclo Largo

En los regímenes de ciclo largo, la computación del Transformer se simplifica en un filtro explícito:
$$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$$
Esto indica que la mayor parte de la información del estado latente es extraída por una proyección lineal aprendida seguida de una normalización $\ell_2$. La ablación causal confirma que la representación post-norma $\ell_2$ es la etapa más temprana donde la señal latente se vuelve causalmente relevante para el pronóstico descendente; perturbar esta etapa causa el mayor colapso en la decodificabilidad.

Significancia y Reivindicaciones

El artículo argumenta que los modelos de volatilidad estocástica proporcionan un banco de pruebas útil para la interpretabilidad mecánica bajo dinámicas latentes ruidosas y observabilidad parcial.

• Cerrando Brechas: A diferencia de las tareas de juguete deterministas, los modelos SV requieren la inferencia de estados implícitos, aunque la verdad fundamental (ground truth) permanece disponible para la evaluación. Esto permite un estudio controlado de cómo los modelos representan, transforman y utilizan la estructura estocástica latente.
• Perspectiva Mecánica: El estudio revela que incluso los Transformers compactos y pequeños pueden aprender a realizar un filtrado implícito que imita los procesos econométricos clásicos (inferencia seguida de predicción).
• Interpretabilidad de Modelos Financieros: Los hallazgos sugieren que las tareas de pronóstico de series temporales financieras pueden servir como un puente entre la interpretabilidad mecánica, el modelado de series temporales y la inferencia de espacio de estados, ofreciendo un entorno para estudiar cómo las redes neuronales manejan la incertidumbre irreducible.

Los autores mantienen la modestia respecto a sus afirmaciones, señalando que sus resultados se basan en datos sintéticos con estados latentes conocidos y arquitecturas pequeñas. No pretenden que estos mecanismos escalen directamente a modelos financieros del mundo real a gran escala o que proporcionen un recuento completo a nivel de circuito de todas las computaciones de SV, sino que identifican mecanismos emergentes específicos e interpretables en entornos controlados.