💰 quantitative finance

Leakage-Aware Benchmarking of LLM Forecasting: Real-Time Nowcasts as the Decision-Time Input for Macro Factor Ranking

Este artigo apresenta uma estrutura de benchmarking consciente de vazamento para LLMs com recuperação aumentada no ranking de fatores de ações, demonstrando que, embora o nowcasting de inflação em tempo real e a recuperação de macro-similaridade impulsionem o desempenho mediano comparável a baselines não-LLM, os LLMs fornecem valor marginal ao melhorar os retornos médios e a precisão de ranking extremo essencial para a formação de portfólios long-short.

Autores originais: Mao Guan, Qian Chen

Publicado 2026-06-23

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Mao Guan, Qian Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um treinador financeiro tentando escolher os sete melhores times esportivos (representando diferentes estilos de investimento) para apostar no próximo mês. Você quer ser justo, preciso e, o mais importante, não quer trapacear espiando o placar final antes do jogo começar.

Este artigo trata da construção de um "treinador" usando um cérebro de computador inteligente (um Modelo de Linguagem Grande, ou LLM) para fazer essas previsões, mas com uma regra muito estrita: você só pode usar informações que estavam realmente disponíveis no dia em que a aposta teve que ser feita.

Aqui está a divisão do que eles fizeram e do que descobriram, usando analogias simples:

1. O Problema: A "Trapaça do Viajante do Tempo"

Em muitos estudos financeiros, pesquisadores trapaceiam acidentalmente. Eles podem usar um relatório (como o número da inflação mensal) que é rotulado como "janeiro", mas que, na realidade, só é publicado em meados de fevereiro. Se um modelo de computador usa esse número de janeiro para fazer uma aposta em janeiro, é como um viajante do tempo apostando em uma corrida de cavalos após ver quem venceu.

Os autores dizem: "Parem de fazer isso". Eles construíram um sistema onde o computador é estritamente proibido de ver qualquer coisa que ainda não tenha acontecido.

2. A Solução: O Treinador "Livre de Vazamentos"

Para corrigir o problema da trapaça, eles criaram um campo de treinamento especial para o seu treinador de IA:

As Entradas: Em vez de usar o relatório oficial e tardio da inflação, eles usaram uma "previsão" da inflação que estava disponível no dia da decisão (como a previsão diária de um meteorologista antes de o relatório oficial da tempestade ser lançado).
A Memória: A IA olha para o passado para encontrar meses que foram semelhantes ao de hoje (ex: "Este mês parece com 1990, quando o desemprego estava subindo").
O Time: Eles usaram uma equipe de IA de duas partes:
- O Crítico: Uma IA inteligente que analisa os "meses semelhantes" históricos e escreve uma regra simples para o mês (ex: "Quando a inflação está baixa e os empregos estão escassos, aposte no Time A").
- O Ator: Outra IA que pega os dados de hoje, a regra do "Crítico" e resumos de notícias recentes para escolher os placares finais dos sete times.

3. O Experimento: O Teste de 36 Meses

Eles passaram esse treinador por um teste de 3 anos (36 meses) de 2023 a 2026. Todo mês, o treinador tinha que classificar os sete times do melhor para o pior.

Os Resultados:

Funcionou? Sim, mas não perfeitamente. O treinador acertou os rankings com mais frequência do que um palpite aleatório. Se você observar o desempenho "médio" (a mediana), o treinador foi bastante bom.
Foi mágica? Não exatamente. Quando compararam o sofisticado treinador de IA com um método muito mais simples e não-IA (um modelo matemático básico que apenas olhava para meses passados semelhantes), o modelo simples fez quase tão bem quanto para acertar os rankings "médios".
Onde a IA brilhou? A IA foi ligeiramente melhor nos extremos. Ela foi melhor em dizer com confiança: "Este time é definitivamente o melhor" ou "Este time é definitivamente o pior". Isso é importante porque, no investimento, muitas vezes você quer apostar pesadamente nas opções muito boas e muito ruins.

4. A Grande Conclusão

O artigo conclui que o "ingrediente secreto" não era o cérebro de IA sofisticado em si, mas sim ter a informação certa no momento certo.

O "Nowcast" é a Chave: O maior impulso ao desempenho do treinador veio do uso da previsão de inflação em tempo real (o "nowcast") em vez do número oficial atrasado. Isso corrigiu a "trapaça do viajante do tempo".
O Papel da IA: A IA não inventou uma nova maneira de prever o futuro. Em vez disso, ela atuou como um editor habilidoso que podia pegar um monte de fatos históricos e notícias recentes, escrever uma estratégia clara e aplicá-la à situação atual um pouco melhor do que uma calculadora simples poderia — especialmente ao fazer apostas ousadas nos times do topo e da base.

Resumo em poucas palavras

Os autores construíram um sistema de previsão financeira que se recusa a trapacear olhando para o futuro. Eles descobriram que, se você der a uma IA inteligente a informação correta em tempo real (e não os dados "perfeitos" e atrasados), ela pode fazer previsões decentes. No entanto, grande parte desse sucesso vem simplesmente de ter os dados certos, não apenas de a IA ser "inteligente". O valor real da IA foi em fazer apostas mais fortes e confiantes nas opções muito boas e muito ruins, em vez de apenas adivinhar a média.

Resumo Técnico: Benchmarking com Consciência de Vazamento de Informação para Previsão com LLM

Definição do Problema

Os benchmarks atuais para Geração Aumentada de Recuperação (RAG) em previsões financeiras frequentemente sofrem de vazamento de informação (information leakage). Em contextos financeiros de condução macroeconômica, dados rotulados com um carimbo de data específico (por exemplo, o Índice de Preços ao Consumidor para o mês $t$ ) muitas vezes não são observáveis no momento da decisão do sistema (tipicamente no final do mês), pois os lançamentos oficiais possuem atrasos de dias ou semanas. Backtests de walk-forward padrão que ingerem esses valores rotulados com o futuro consomem inadvertidamente informações de "olhadinha para o futuro" (look-ahead), inflando as métricas de desempenho. Este problema é particularmente agudo em pipelines de Large Language Models (LLMs), onde agentes ingerem narrativas macroeconômicas e resumos de eventos que podem não respeitar as restrições de observabilidade histórica.

Metodologia

Os autores constroem um benchmark de walk-forward mensal com controle de vazamento para classificar sete fatores de estilo de ações dos EUA (SMB, HML, RMW, CMA, UMD, BAB, QMJ) ao longo de um período de 36 meses (abril de 2023 – março de 2026).

1. Restrições de Informação no Momento da Decisão:
Para garantir uma observabilidade estrita, o sistema é alimentado apenas com dados disponíveis na data de decisão $t$ :

Variáveis Macro com Deslocamento de Lag: Variáveis do FRED (CPI, Desemprego) são deslocadas em um mês de calendário.
Nowcasts em Tempo Real: A inflação do mês atual ainda não publicada é substituída pelo nowcast diário de CPI arquivado do Cleveland Fed, consultado na data $t$ .
Resumos de Eventos: Resumos recentes do FOMC e de lançamentos do CPI são incluídos.
Recuperação de Análogos Históricos: Um módulo de recuperação seleciona estados históricos de um pool restrito a pelo menos 12 meses antes de $t$ (um embargo estrito) para evitar contaminação de dados.

2. Arquitetura do Modelo (Actor-Critic RAG):
O pipeline utiliza um LLM de código aberto de 7 bilhões de parâmetros (Qwen2.5-7B-Instruct, quantizado para 4 bits) em uma configuração actor-critic de dois estágios:

Recuperação (Retrieval): Um módulo de análogo macro recupera os 4 meses históricos mais similares ao estado atual (baseado em um vetor macro de 4 dimensões com score-z: pulso de crescimento, pulso de inflação, term spread, pulso de VIX).
Crítico (Critic): Um LLM "crítico" lê os análogos recuperados e o estado macro atual para sintetizar uma regra tática (ex: "Elevar HML em 0,15").
Ator (Actor): Um LLM "ator" mapeia o estado atual em tempo real, resumos de eventos recentes e um buffer móvel das últimas 6 regras táticas em pontuações para os sete fatores de ações.

3. Baselines:
O pipeline de LLM é comparado contra baselines não-LLM utilizando exatamente o mesmo conjunto de informações do momento da decisão:

kNN Macro Analog: Recupera os mesmos 4 análogos, mas prevê os retornos dos fatores para o próximo mês com base na média de seus retornos realizados (sem LLM).
Regressão Ridge: Modelos lineares usando vetores de macro/nowcast completos ou apenas nowcast.

Principais Resultados

1. Métricas de Desempenho:

O pipeline completo de LLM alcança um IC de ranking de Spearman mensal mediano de +0,154 e um IC médio de +0,131.
O sinal é direcionalmente positivo em três subjanelas de 12 meses não sobrepostas (+0,111, +0,165, +0,117).
No entanto, o IC médio é estatisticamente subdimensionado: o intervalo de confiança de bootstrap de 95% inclui o zero $[-0,02, +0,28]$ , e o valor- $p$ de permutação é 0,11.

2. Ablação e Atribuição:

O Papel dos Nowcasts: O salto mais significativo no IC mediano (de +0,009 para +0,154) ocorreu quando o nowcast do Cleveland Fed foi adicionado, indicando que a informação de inflação em tempo real é um driver primário do sinal.
LLM vs. kNN: O baseline de análogo macro kNN (não-LLM) alcançou um IC mediano comparável (+0,161) ao do pipeline completo de LLM (+0,154). Isso sugere que o "sinal mediano" central é impulsionado pela recuperação de estados macro-similares e pela inclusão de nowcasts em tempo real, e não pela arquitetura do LLM em si.
Contribuição Marginal do LLM: O pipeline de LLM superou o baseline kNN em IC médio (+0,131 vs. +0,070) e em um teste de sanidade econômica (portfólio Long-Top-2/Short-Bottom-2). O índice de Sharpe do LLM foi de +0,71 comparado a +0,29 para o kNN. Os autores interpretam isso como o LLM fornecendo benefícios marginais especificamente em rankings extremos (fatores topo e fundo), que direcionam a formação de portfólios long-short, em vez de tendência central.

Significância e Alegações

O artigo não reivindica um avanço em poder preditivo ou uma estratégia comercializável. Sua significância reside no rigor diagnóstico:

Controle de Vazamento: Demonstra que os benchmarks padrão frequentemente confundem capacidade do modelo com vazamento de informação. Ao impor restrições estritas de tempo de decisão (especificamente substituindo o CPI rotulado no futuro por nowcasts), os autores isolam o verdadeiro conjunto de informações disponível para um tomador de decisão.
Desmembramento de Fontes de Sinal: O estudo revela que, nesta tarefa específica condicionada ao macro, os nowcasts de inflação em tempo real e a recuperação macro-similar respondem pela maior parte do sinal preditivo mediano. A contribuição do LLM parece concentrar-se no refinamento de rankings extremos, em vez de descobrir novos sinais de novo.
Reprodutibilidade: Os autores liberam o pipeline completo, incluindo o arquivo de entrada "congelado" do tempo de decisão (nowcasts do Cleveland Fed), templates de prompts e as 36 regras críticas reproduzíveis, permitindo uma auditoria rigorosa do comportamento do LLM em previsões financeiras sem vazamento de dados.

Os autores concluem que, embora o LLM de recuperação aumentada de 7B produza um sinal positivo, a evidência permanece estatisticamente modesta ( $n=36$ ), e o valor marginal da arquitetura de LLM é provavelmente limitado ao tratamento de interações não lineares em condições de mercado extremas, em vez de previsão geral de fatores.