Retrieval-Augmented Large-Language-Model-Based Time-Series Forecasting for Cross-Market Equity Analysis

Resumo Técnico: Previsão de Séries Temporais Baseada em Grandes Modelos de Linguagem com Recuperação Aumentada para Análise de Ações Cross-Market

Definição do Problema
O artigo aborda o desafio de prever retornos de ações em mercados financeiros ruidosos e parcialmente não estacionários. Embora modelos de fundação de séries temporais, como o Lag-Llama, ofereçam backbones probabilísticos de previsão reutilizáveis e capazes de generalização zero-shot, permanece incerto se a recuperação explícita de janelas históricas análogas pode reduzir consistentemente os erros de previsão em diferentes regimes de mercado, ativos e horizontes. A literatura existente foca frequentemente em modelos específicos para tarefas ou estudos de caso de mercado único, deixando uma lacuna na compreensão de como os mecanismos de recuperação aumentada funcionam como correções de memória externa para modelos de fundação pré-treinados em configurações de ações cross-market.

Metodologia
O estudo introduz o Cross-Market Retrieval-Augmented Lag-Llama (CM-RAF-Lag-Llama), um framework controlado que aumenta um previsor probabilístico Lag-Llama fixo com uma camada de recuperação sem retreinar o backbone.

• Dados e Painéis: A avaliação utiliza três painéis equilibrados de sete ativos de mercados emergentes e desenvolvidos: IDX7 (Indonésia), US7 (Estados Unidos) e JP7 (Japão). Os dados consistem em preços de fechamento diários do Yahoo Finance (2019–2025), pré-processados com preenchimento para frente (forward-filling), médias móveis de 5 dias e transformação de retorno percentual.
• Fluxo de Trabalho Híbrido:
  1. Previsão Base: O Lag-Llama gera uma previsão probabilística baseada em uma janela de contexto.
  2. Recuperação: Janelas de treinamento históricas são incorporadas (embedded) usando descritores estatísticos (média, desvio padrão, extremos, quantis, resumos da janela recente) e indexadas via FAISS.
  3. Busca de Similaridade: O contexto atual é consultado contra o banco de memória usando distância Euclidiana para recuperar continuações de vizinhos mais próximos do passado.
  4. Fusão: O sinal de continuação recuperado é fundido com a previsão base usando uma média ponderada: $\hat{y}_H = (1 - \alpha)\hat{y}_{LL} + \alpha\hat{y}_R$.
• Design Experimental:
  • Grade Cross-Market: Uma avaliação de grade completa através de 48 configurações (3 painéis × 4 comprimentos de contexto [32, 64, 128, 256] × 4 horizontes de previsão [30, 60, 90, 120 dias]).
  • Variantes de Recuperação: O estudo compara "Lag-Llama-only" contra "RAF-raw" (fusão de fusão fixa) e "RAF-sel." (fusão selecionada por validação, onde a chave de recuperação ótima e a escala de fusão são escolhidas com base em janelas de validação).
  • Extensão de Atributos de Ações (Stock-Feature): Um experimento secundário avalia alvos derivados de OHLCV (log-preço, log-volume, volatilidade de amplitude-range, volatilidade realizada de 20 dias) através de 72 configurações para testar se representações de ações mais ricas melhoram a eficácia da recuperação.
  • Ablação de Nível de Mecanismo: Avaliações detalhadas zero-shot e baseadas em scheduler (taxa de aprendizado de 0.0005) em uma única série (BBCA.JK) para isolar sensibilidades de horizonte e comprimento de contexto.
• Métricas: O desempenho é medido usando Erro Quadrático Médio (MSE) para precisão de previsão pontual e Pontuação de Probabilidade Classificada Contínua (CRPS) para qualidade probabilística.

Principais Resultados

• Validação Cross-Market: No experimento de apenas retornos, pelo menos uma variante de recuperação reduziu o MSE em todas as 48 configurações. As reduções agregadas de MSE foram de 28,85% (IDX7), 27,27% (US7) e 33,60% (JP7) em relação ao Lag-Llama-only. A variante de recuperação selecionada por validação superou consistentemente a recuperação bruta em 41 de 48 configurações.
• Extensão de Atributos de Ações: Para alvos derivados de OHLCV, o RAF selecionado por validação reduziu o MSE em relação ao Lag-Llama-only em 68 de 72 configurações. Alcançou o MSE mais baixo entre todos os sistemas comparados (incluindo baselines externos como Random Forest, KNN e PatchTST) em 22 configurações, dominando notavelmente em alvos de volatilidade e volume de US7 (17 de 18 configurações não-log-preço).
• Insights de Nível de Mecanismo:
  • Sensibilidade ao Horizonte: A recuperação foi mais eficaz em horizontes de médio a longo prazo (60–120 dias). Em configurações zero-shot, previsões de 30 dias frequentemente apresentaram aumento de erro, sugerindo que a recuperação introduz ruído quando a dinâmica local domina.
  • Comprimento de Contexto: Comprimentos de contexto moderados (32 e 64) produziram os melhores resultados. O comprimento de contexto 256 frequentemente degradou o desempenho, particularmente para o CRPS, implicando que janelas excessivamente longas diluem as representações de consulta com regimes de mercado heterogêneos.
  • Adaptação: A configuração baseada em scheduler estabilizou o desempenho, reduzindo o MSE em 14 de 16 configurações comparado a 12 de 16 no zero-shot, embora o zero-shot tenha mostrado reduções médias ligeiramente maiores quando a recuperação estava bem alinhada.
  • MSE vs. CRPS: A recuperação melhorou consistentemente a precisão da previsão pontual (MSE) de forma mais confiável do que a calibração probabilística (CRPS), indicando que o mecanismo corrige primariamente a média da previsão, em vez de remodelar a distribuição de incerteza completa.

Significância e Alegações
O artigo alega fornecer evidência controlada de que a recuperação aumentada serve como uma correção de memória externa eficaz para previsões de modelos de fundação em mercados de ações. Suas principais contribuições são:

1. Validação da Recuperação como uma Camada de Correção: Demonstrar que a recuperação histórica explícita pode reduzir erros para um backbone Lag-Llama pré-treinado e fixo, sem exigir retreinamento total ou mudanças arquitetônicas.
2. Generalização Cross-Market: Estabelecer que essas reduções de erro não são artefatos de um único mercado, mas persistem através de painéis de ações emergentes (IDX) e desenvolvidos (US, JP).
3. Utilidade Dependente de Configuração: Esclarecer que a recuperação não é universalmente benéfica; seu valor é contingente ao horizonte de previsão (mais útil para 60+ dias) e ao comprimento de contexto (ótimo em 32–64 passos).
4. Eficácia Específica do Alvo: Mostrar que o sistema híbrido é particularmente competitivo ao prever alvos com estruturas de volatilidade ou volume reutilizáveis (ex: volatilidade realizada) em vez de níveis de preço brutos.

Os autores posicionam este trabalho como uma alternativa transparente e leve ao retreinamento de grandes modelos, adequada para cenários onde recursos computacionais são limitados ou onde correções de inferência mais interpretáveis são preferidas em vez de atualizações de modelos opacas. Eles explicitamente observam que a melhoria no erro de previsão não garante estratégias de trading lucrativas devido a custos de transação e impacto de mercado não modelados, enquadrando a utilidade primariamente como uma ferramenta de suporte à decisão para análise de cenários e planejamento de risco.