Resumo Técnico: Computação de Estado Latente Emergente sob Volatilidade Estocástica

Declaração do Problema

A pesquisa em interpretabilidade mecanística tem se concentrado predominantemente em modelos de linguagem e tarefas sintéticas determinísticas onde as computações alvo são totalmente observáveis. Existe uma lacuna significativa na compreensão de como modelos de sequência neural representam internamente dinâmicas estocásticas latentes em ambientes ruidosos e parcialmente observados.

Este artigo aborda essa lacuna utilizando modelos de Volatilidade Estocástica (SV) como um benchmark controlado. Nos modelos SV, os retornos dos ativos são observações ruidosas de um estado de log-volatilidade latente não observado ($h_t$). Ao contrário dos modelos ARCH/GARCH, onde a volatilidade é uma função determinística de retornos passados, os modelos SV exigem que o modelo realize uma filtragem implícita para inferir estados ocultos a partir de dados ruidosos. O desafio é determinar se redes neurais pequenas, treinadas unicamente para prever retornos quadrados futuros ($r^2_{t+1}$), recuperam representações internas do verdadeiro estado de volatilidade latente ($h_{t+1}$) e como essas representações emergem através da arquitetura da rede.

Metodologia

Configuração Experimental

• Geração de Dados: Os autores utilizam um processo de Volatilidade Estocástica Multivariada (MSV) controlado com $N=6$ ativos. Os retornos ($r_t$) são gerados como observações ruidosas de um estado de log-volatilidade latente ($h_t$) seguindo um modelo de espaço de estados linear com transbordamentos (spillovers) entre os ativos.
• Tarefa: Os modelos são treinados para prever o próximo passo de retornos quadrados ($y = r^2_{T+1}$) dado um histórico de $T=21$ retornos passados. O estado latente de verdade ($h_{T+1}$) é conhecido pelo pesquisador, mas está oculto para o modelo.
• Arquiteturas:
  • Transformer: Um codificador compacto com uma camada e uma cabeça de atenção. Os ativos são tratados como tokens com históricos de retornos como características (features). A arquitetura inclui incorporação linear (linear embedding), normalização $\ell_2$, embeddings posicionais, autoatenção e uma rede feed-forward (FFN) com ativação GELU.
  • Baseline MLP: Um MLP de três camadas que processa o histórico de cada ativo de forma independente, isolando o efeito das interações entre ativos baseadas em atenção.
• Objetivos de Treinamento: Duas funções de perda são comparadas:
  1. MSE: Erro Quadrático Médio nos retornos quadrados (um proxy ruidoso para a variância condicional).
  2. NLL: Log-Verossimilhança Negativa Gaussiana, que é teoricamente alinhada com a estimativa de variância condicional.

Técnicas de Análise

• Probing Linear: Probes de regressão Ridge são ajustados às representações ocultas intermediárias ($z_i$) para medir a decodificabilidade linear do estado latente $h_{i, T+1}$.
• Análise por Estágios: Os autores rastreiam a decodificabilidade ($R^2$) em cada estágio arquitetônico (incorporação, normalização, atenção, FFN, saída) para identificar onde a informação latente emerge.
• Intervenções Causais:
  • Substituição da cabeça de saída: Substituir a cabeça de saída aprendida por um readout alinhado ao probe para testar se a degradação da previsão decorre de falha de representação ou desalinhamento de readout.
  • Ablação de Ativação: Perturbar componentes específicos (ex: pós-normalização $\ell_2$) para medir os efeitos a jusante (downstream) na decodificabilidade e no erro de previsão.

Principais Descobertas

1. Decomposição de Estado Latente em Dois Estágios Robusto

Em ambos os modelos (Transformer e MLP), e independentemente da função de perda ou ativação, os modelos exibem uma computação consistente de dois estágios:

1. Inferência Latente: Representações ocultas codificam informação substancial sobre o próximo estado de volatilidade latente ($h_{T+1}$). Probes lineares alcançam alto $R^2$ (frequentemente >0,85) em ambas as arquiteturas.
2. Mapeamento de Previsão: A cabeça de saída mapeia esta representação para previsões de retornos quadrados.

• Observação: Sob treinamento MSE, a cabeça de saída aprendida frequentemente exibe um alinhamento ($R^2$) significativamente menor com o estado latente em comparação ao probe, mesmo quando o estado oculto é altamente decodificável. Isso sugere que os erros de previsão sob MSE frequentemente surgem de um desalinhamento de leitura (readout misalignment) em vez de uma falha em codificar o estado latente.

2. Emergência por Estágios no Transformer

O ponto em que a decodificabilidade do estado latente emerge depende criticamente do período de volatilidade ($\omega$):

• Regimes de Ciclo Longo ($\omega \ge 365$): A decodificabilidade emerge imediatamente após a normalização $\ell_2$ da incorporação linear. A representação torna-se amplamente decodificável antes do processamento por atenção ou FFN.
• Regimes Intermediários ($\omega \in \{30, 90\}$): A decodificabilidade requer refinamento adicional pelo FFN após a atenção.
• Controle de Ciclo Curto ($\omega = 21$): A decodificabilidade é próxima de zero até que os embeddings posicionais sejam adicionados, após o qual salta para $\approx 1,0$. Isso sugere que o modelo depende da memorização de periodicidade em vez de filtragem dinâmica neste regime específico.
• Comparação: O MLP mostra uma emergência de decodificabilidade menos modular e mais difusa através das camadas, carecendo das transições nítas por estágio observadas nos Transformers.

3. Filtros Latentes Explícitos em Regimes de Ciclo Longo

Em regimes de ciclo longo, a computação do Transformer simplifica-se em um filtro explícito:
$$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$$
Isso indica que a maior parte da informação do estado latente é extraída por uma projeção linear aprendida seguida de normalização $\ell_2$. A ablação causal confirma que a representação pós-norma $\ell_2$ é o estágio mais precoce onde o sinal latente torna-se causalmente relevante para a previsão a jusante; perturbar este estágio causa o maior colapso na decodificabilidade.

Significância e Alegações

O artigo argumenta que os modelos de volatilidade estocástica fornecem um benchmark útil para a interpretabilidade mecanística sob dinâmicas latentes ruidosas e observabilidade parcial.

• Preenchendo Lacunas: Diferente de tarefas lúdicas (toy tasks) determinísticas, os modelos SV exigem inferência de estado implícita, embora o ground truth permaneça disponível para avaliação. Isso permite o estudo controlado de como os modelos representam, transformam e utilizam a estrutura estocástica latente.
• Insight Mecanístico: O estudo revela que mesmo Transformers compactos e pequenos podem aprender a realizar filtragem implícita que espelha pipelines econométricos clássicos (inferência seguida de previsão).
• Interpretabilidade de Modelos Financeiros: As descobertas sugerem que tarefas de previsão de séries temporais financeiras podem servir como uma ponte entre interpretabilidade mecanística, modelagem de séries temporais e inferência de espaço de estados, oferecendo um cenário para estudar como redes neurais lidam com a incerteza irredutível.

Os autores mantêm modéstia quanto às suas alegações, observando que seus resultados baseiam-se em dados sintéticos com estados latentes conhecidos e arquiteturas pequenas. Eles não alegam que esses mecanismos escalam diretamente para modelos financeiros do mundo real ou que fornecem uma conta completa de todos os circuitos de computação de SV, mas sim que identificam mecanismos emergentes específicos e interpretáveis em ambientes controlados.