Resumo Técnico: GS-Fuse

Declaração do Problema

Prever com precisão o impacto de eventos financeiros salientes (por exemplo, divulgações macroeconômicas, decisões de política) sobre os preços dos ativos é crítico para investidores e formuladores de políticas. Embora avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) e Modelos Fundamentais de Séries Temporais tenham melhorado a previsão unimodal, as abordagens multimodais existentes para previsão financeira orientada a eventos enfrentam três limitações primárias:

1. Fusão Invariante ao Evento: Os métodos atuais tipicamente fundem dados de texto e preços simetricamente usando camadas compartilhadas, assumindo um equilíbrio estável entre modalidades. Isso falha em adaptar-se à natureza heterogênea dos mercados financeiros, onde alguns eventos são impulsionados por sentimento, enquanto outros seguem padrões técnicos preexistentes.
2. Falta de Fusão Consciente de Causalidade: Os modelos existentes carecem de mecanismos explícitos para determinar quando o texto do evento fornece valor preditivo incremental além dos preços históricos. Eles frequentemente fundem modalidades simetricamente, arriscando o uso excessivo de texto ruidoso ou não informativo.
3. Alinhamento de Granularidade Grossa: Mecanismos de alinhamento padrão operam no nível de instância (embedding global do evento vs. embedding global de série temporal). Isso ignora o fato de que apenas passagens específicas em divulgações financeiras (por exemplo, orientação prospectiva em declarações do FOMC) impulsionam reações de mercado, levando a sinais diluídos de conteúdo irrelevante.

Metodologia

Os autores propõem o GS-Fuse, um framework multimodal projetado para abordar essas limitações por meio de um mecanismo de fusão em portão supervisionado por Granger, consciente de causalidade, e alinhamento de multi-granularidade. A arquitetura consiste em quatro componentes principais:

1. Codificadores

• Codificador de Texto: Utiliza um LLM pré-treinado (por exemplo, LLaMA, Phi-3) para codificar roteiros de eventos ($E_i$) em representações ao nível de token, que são projetadas em um espaço de embedding compartilhado.
• Codificador de Série Temporal: Utiliza um Modelo Fundamental de Série Temporal pré-treinado (por exemplo, MOMENT, Kronos) para codificar segmentos de mercado pré-evento ($X_i$) em representações passo a passo.
• Estratégia de Congelamento: O LLM principal e os modelos fundamentais de TS permanecem congelados; apenas as cabeças de projeção e módulos a jusante são treinados.

2. Alinhamento Cruzado Multimodal de Multi-Granularidade

Para fechar a lacuna de modalidade, o GS-Fuse impõe alinhamento em dois níveis:

• Alinhamento Global no Nível de Instância: Usa atenção cruzada bidirecional para intercalar representações de token e passo, seguido por uma perda contrastiva InfoNCE para alinhar embeddings globais de evento e série temporal.
• Alinhamento Fino Token/Passo: Alinha tokens de texto individuais com passos específicos de série temporal. Um classificador de saliência identifica os top-$K$ tokens "âncora", e uma perda contrastiva incentiva esses tokens salientes a alinhar-se com seus padrões temporais correspondentes, enquanto repele passos não relacionados de outras instâncias.

3. Portão Causal Supervisionado por Granger

Esta é a inovação central. O modelo emprega um mecanismo de portão que decide se incorpora o texto do evento com base em sua utilidade preditiva incremental:

• Sinal de Utilidade de Granger: Durante o treinamento, o modelo compara um preditor "restrito" (usando apenas dados de série temporal, $\hat{Y}_{ts}$) contra um preditor "ilimitado" (usando texto e série temporal, $\hat{Y}_{full}$).
• Supervisão: A diferença de perda ($\Delta_i = \ell(Y_i, \hat{Y}_{ts}) - \ell(Y_i, \hat{Y}_{full})$) serve como proxy para causalidade de Granger. Se incorporar texto reduzir o erro de previsão, o texto é considerado útil.
• Treinamento do Portão: Uma rede de portão prevê uma pontuação de abertura escalar ($\alpha_i$) para cada instância. Essa pontuação é supervisionada via uma perda de destilação para corresponder a um alvo suave de "responsabilidade" ($r_i$) derivado da utilidade de Granger. O portão abre ($\alpha_i \approx 1$) apenas quando o texto fornece valor mensurável e fecha caso contrário.

4. Decodificador

Um decodificador Transformer leve toma a representação fundida (ponderada pelo portão) e gera a trajetória futura do mercado ao longo do horizonte de previsão $H$.

Esquema de Treinamento

O modelo é treinado em três estágios para estabilidade:

1. Pré-treinamento apenas em TS: Treinamento do ramo de série temporal para estabelecer uma linha de base forte.
2. Aquecimento apenas em Texto: Treinamento do ramo de texto para garantir que as representações de eventos sejam relevantes para previsão.
3. Ajuste Fino Multimodal: Treinamento conjunto dos módulos de fusão e alinhamento com um objetivo combinado de perda de previsão, perda de alinhamento e supervisão de portão.

Contribuições Principais

1. Fusão em Portão Supervisionada por Granger: Um módulo inovador que aprende a confiar seletivamente no texto do evento apenas quando ele fornece valor preditivo incremental além dos preços históricos, modelando efetivamente a direção causal do evento para o preço.
2. Alinhamento de Multi-Granularidade: Um esquema de alinhamento conjunto que opera tanto no nível de instância quanto no nível fino de token/passos, permitindo que o modelo localize pistas textuais específicas que impulsionam reações de mercado.
3. Framework Plug-and-Play: Um adaptador agnóstico ao modelo que pode envolver LLMs e modelos fundamentais de séries temporais arbitrários, tornando-o flexível em diversas arquiteturas principais e configurações de mercado.

Resultados Experimentais

Os autores avaliaram o GS-Fuse em um dataset curado integrando divulgações macroeconômicas (CAMEF) e notícias financeiras (FNSPID) contra cinco ativos (S&P500, NASDAQ, INDU, USGG1M, USGG5YR) em três horizontes de previsão ($H \in \{35, 70, 140\}$ passos de 5 minutos).

• Desempenho: O GS-Fuse superou consistentemente as linhas de base unimodais de última geração (ARIMA, DLinear, iTransformer, FEDformer) e as linhas de base multimodais (GPT4MTS, TimeCMA, TEST). Ele alcançou o menor MSE e MAE em todos os ativos e horizontes.
• Estudos de Ablação: A remoção do portão de Granger ou do alinhamento de multi-granularidade resultou em quedas significativas de desempenho, confirmando que ambos os componentes são essenciais e complementares.
• Generalidade da Arquitetura Principal: O framework demonstrou robustez em diferentes combinações de LLM (LLaMA vs. Phi) e fundamentais de TS (MOMENT vs. Kronos), embora combinações específicas tenham produzido variações marginais no desempenho.
• Análise Causal: A abertura média do portão foi de aproximadamente 51% para índices de ações, mas maior (60,68%) para rendimentos de títulos do Tesouro, indicando que o modelo ajusta dinamicamente sua dependência do texto com base na classe de ativo e na utilidade específica da narrativa do evento.

Significado e Alegações

O artigo afirma que o GS-Fuse aborda a falha fundamental na previsão multimodal existente: a suposição de que dados de texto e preços devem sempre ser fundidos simetricamente. Ao introduzir um portão supervisionado por Granger, o modelo aprende explicitamente a dependência condicional dos preços em relação ao texto do evento, evitando o ruído de narrativas não informativas. O alinhamento de multi-granularidade garante ainda mais que o modelo se concentre nas partes específicas de um roteiro de evento que impulsionam movimentos de mercado.

Os autores posicionam o GS-Fuse não apenas como uma melhoria de desempenho, mas como uma mudança metodológica em direção à fusão multimodal consciente de causalidade e adaptativa nas finanças. O framework é apresentado como uma solução flexível, plug-and-play, que pode ser instanciada com vários modelos fundamentais, oferecendo uma abordagem robusta para previsão financeira orientada a eventos, onde o valor preditivo da informação é heterogêneo e não estacionário.