Detecting Lookahead Bias in LLM Forecasts

Resumo Técnico: Detecção de Viés de Antecipação (Lookahead Bias) em Previsões de LLMs

Definição do Problema
Grandes modelos de linguagem (LLMs) são cada vez mais utilizados na economia e finanças empíricas para gerar previsões de nível de firma a partir de textos não estruturados, como manchetes de notícias e transcrições de teleconferências de resultados. Esses modelos frequentemente demonstram um poder preditivo para resultados realizados (ex: retornos de ações, despesas de capital) comparável ou superior aos benchmarks econométricos tradicionais. No entanto, uma preocupação crítica é que essa capacidade preditiva pode não advir de um raciocínio econômico genuíno sobre o texto de entrada, mas sim da "memória" do modelo sobre resultados realizados absorvidos durante o pré-treinamento. Quando um modelo é avaliado em datas contidas em seu corpus de treinamento, o resultado realizado para um par firma-data específico pode ter sido absorvido juntamente com narrativas retrospectivas, criando um "viés de antecipação" (lookahead bias), onde o modelo efetivamente recorda a resposta em vez de raciocinar através do prompt. As estratégias de mitigação existentes, como o mascaramento de entidades ou a restrição da avaliação a dados pós-cutoff, são parciais (deixando canais sutis de memorização intactos) ou estatisticamente limitantes (devido a janelas fora da amostra curtas). Há uma carência de uma ferramenta de diagnóstico portátil para determinar se a previsão de um LLM depende de memorização ou de raciocínio para uma tarefa específica.

Metodologia
Os autores propõem um procedimento estatístico centrado em uma métrica denominada Propensão de Antecipação (Lookahead Propensity - LAP), denotada por $LAP^{(known)}_{i,t+1}$.

1. Construção da LAP:

   • O método utiliza uma "consulta de recuperação apenas de data" contendo apenas o nome da firma, o ticker e a data alvo (ou trimestre), sem informações contemporâneas (sem manchete, transcrição ou fundamentos).
   • O modelo é instruído a prever a direção do resultado (ex: "subida" ou "descida") ou abster-se ("desconhecido").
   • $LAP^{(known)}$ é calculado como a soma das probabilidades do primeiro token atribuídas aos rótulos direcionais: $P_{up} + P_{down}$.
   • Um valor próximo de 1 indica que o modelo "sabe" o resultado (alta memorização), enquanto um valor próximo de 0 indica abstenção (ausência de recordação).

2. Estrutura Econométrica:

   • Os autores modelam a previsão do LLM ($\hat{\mu}_t$) como a soma de uma verdadeira expectativa condicional e um termo de contaminação: $\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$.
   • Aqui, $L_t$ representa a força de memorização da firma-período (proxificada pelo $LAP^{(known)}$), e $\gamma$ representa a propensão do modelo de vazar conteúdo memorizado para previsões condicionadas a texto.
   • O teste de detecção envolve uma regressão de acurácia do resultado realizado ($Y_{t+1}$) sobre a previsão do LLM ($\hat{\mu}_t$), a medida LAP e sua interação:
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • Proposição 1: Sob condições suaves, um coeficiente de interação positivo e significativo ($\beta_3 > 0$) serve como um diagnóstico unilateral para $\gamma > 0$, indicando que o poder preditivo do modelo é amplificado pelo conteúdo memorizado.

3. Validação e Placebo:

   • Validação: O componente direcional da consulta de recuperação ($(U-D) = P_{up} - P_{down}$) é testado contra os resultados realizados. O poder preditivo aqui confirma a existência de memorização ($L_t > 0$).
   • Placebo: O teste é aplicado a uma amostra pós-cutoff de treinamento (datas estritamente após o cutoff de conhecimento do modelo). Nesta janela, o $LAP^{(known)}$ deve colapsar para zero, e o termo de interação deve tornar-se insignificante, confirmando que a amplificação in-sample foi impulsionada pela exposição durante o tempo de treinamento.

Principais Resultados Empíricos
Os autores aplicam este framework a duas tarefas de previsão usando o Llama-3.3-70B (cutoff de treinamento: dezembro de 2023):

1. Notícias de Ações Prevendo Retornos:

   • Utilizando manchetes da Bloomberg para prever retornos de ações no dia seguinte (in-sample: 2012–2023).
   • O sinal base do LLM prevê retornos ($t=12.18$).
   • O termo de interação ($LLM \times LAP$) é positivo e altamente significativo ($t=3.64$). Um aumento de um desvio padrão no $LAP^{(known)}$ eleva o efeito marginal do sinal do LLM em aproximadamente 32%.
   • A consulta de recuperação isolada (sem as manchetes) prevê retornos com um estatístico $t$ de 3.53, mas apenas para os dias-firma com alto $LAP^{(known)}$.
   • Fora da Amostra (2024): A média do $LAP^{(known)}$ colapsa para próximo de zero, e o termo de interação torna-se estatisticamente insignificante ($t=1.06$), validando a hipótesa de viés de antecipação.

2. Teleconferências de Resultados Prevendo Despesas de Capital (Capex):

   • Utilizando transcrições para prever despesas de capital dois trimestres à frente (in-sample: 2006–2020).
   • O sinal base do LLM prevê o capex futuro ($t=16.69$).
   • O termo de interação é positivo e significativo ($t=2.01$). Um aumento de um desvio padrão no $LAP^{(known)}$ eleva o efeito marginal em cerca de 12%.
   • Fora da Amostra (2023Q3–2024Q1): O termo de interação perde significância ($t=1.35$), e o efeito de amplificação desaparece conforme as datas de recuperação caem estritamente após o cutoff de treinamento.

3. Comparação com Confiança Interna (Inner Confidence):

   • Os autores testam a medida $LAP$ contra a "Confiança Interna" (a probabilidade do modelo para sua resposta escolhida no prompt principal).
   • Ambos os termos de interação ($LLM \times LAP$ e $LLM \times Inner Confidence$) permanecem significativos quando incluídos conjuntamente, indicando que capturam componentes distintos do desempenho de previsão: o $LAP$ captura a memorização, enquanto a confiança interna captura a certeza do modelo em seu raciocínio.

Significância e Alegações
O artigo afirma fornecer um diagnóstico portátil, de baixo custo e ao nível do modelo para avaliar a validade das previsões geradas por LLMs.

• Utilidade Diagnóstica: Permite que pesquisadores quantifiquem quanto do aparente poder preditivo de um LLM é impulsionado por memorização versus raciocínio sem exigir o retreinamento, acesso a dados proprietários de treinamento ou a construção de modelos livres de vazamentos.
• Natureza Específica da Tarefa: Os autores enfatizam que o viés de antecipação não é uma falha universal dos LLMs, mas sim específica da tarefa, dependendo do domínio de entrada, da variável alvo, do modelo e do prompt.
• Aplicação Prática: O teste requer apenas a capacidade de consultar um modelo e ler as probabilidades do primeiro token de rótulo. Ele permite que pesquisadores "anulem" os efeitos de memorização para determinar o verdadeiro conteúdo econômico de uma previsão.
• Limitações: O teste identifica o sinal da carga de contaminação ($\gamma > 0$), e não sua magnitude precisa. Não sugere o descarte de previsões de LLM, mas sim fornece uma ferramenta para interpretar sua confiabilidade em contextos específicos.

O artigo conclui que uma parcela não trivial do conteúdo preditivo em previsões financeiras baseadas em LLM reflete a memorização do tempo de treinamento, e o teste $LAP^{(known)}$ proposto oferece um método rigoroso para detectar e contabilizar esse viés.