Resumo Técnico: FinBench

Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados como sistemas agentes capazes de observar, planejar e agir. Em contextos financeiros, esses sistemas tornam-se relevantes para a tomada de decisão quando seus outputs influenciam o dimensionamento de posições (trade sizing) ou a alocação de risco. O principal modo de falha identificado não é meramente a imprecisão direcional, mas sim o gap entre confiança e competência: um modelo que é apenas ligeiramente melhor que o acaso, mas consistentemente excessivamente confiante, gerará um crescimento de longo prazo negativo sob regras padrão de dimensionamento de apostas (ex: critério de Kelly) ao alocar capital de forma excessiva em visões incorretas.

Os benchmarks existentes focam majoritariamente em compreensão semântica ou precisão pontual. Eles falham em abordar dois perigos estruturais específicos das finanças:

1. Não-estacionaridade: Regimes de mercado mudam, fazendo com que padrões memorizados decaiam.
2. Viés de antecipação (Look-ahead bias): O pré-processamento pode inadvertidamente vazar informações futuras (ex: usar variáveis de fechamento do dia para prever resultados intraday), o que é particularmente agudo em configurações de agentes onde os erros se acumulam ao longo do tempo.

Crucialmente, as avaliações atuais não testam se as probabilidades declaradas por um modelo refletem a incerteza real sob restrições temporais estritas.

Metodologia: Especificação do FinBench

Os autores introduzem o FinBench, um benchmark projetado para avaliar a calibração e a qualidade da incerteza para previsões financeiras. Os princípios centrais de design são:

1. Protocolo de Restrição Temporal Estrita (Strict Time-Gating)

Para evitar o viés de antecipação, o benchmark impõe um protocolo onde um modelo que produz uma previsão para o tempo $T$ é estritamente cego a qualquer dado (preços, notícias, sinais derivados) com carimbos de data/hora posteriores a $T$.

• Horizontes de Previsão: Definidos como MORNING (09:30 ET), MIDDAY (12:30 ET) e CLOSE (15:30 ET).
• Tempo Alvo: Um tempo de avaliação fixo próximo ao final do dia (15:55 ET), distinto do horizonte de previsão.
• Inputs: Dados numéricos (barras OHLCV) e textuais (manchetes, sentimento) são filtrados para garantir que apenas as informações disponíveis no tempo $T$ sejam utilizadas.

2. Esquema de Output

Para cada ticker e horizonte, os modelos devem fornecer um objeto estruturado contendo:

• $\hat{p} \in [0, 1]$: A probabilidade de que o retorno logarítmico realizado seja positivo ($Y=1$).
• $[L, U]$: Um intervalo de predição de 80% para o retorno logarítmico realizado $r$.
• (Opcional) Uma justificativa em linguagem natural, que não é utilizada para pontuação.

3. Métricas de Avaliação

O FinBench utiliza regras de pontuação estritamente próprias (strictly proper scoring rules) para incentivar o relato de incerteza verdadeiro:

• Brier Score (BS): Usado para previsões probabilísticas de direção. Mede a diferença média quadrática entre a probabilidade prevista e o resultado binário real.
  • $BS = \frac{1}{N} \sum (\hat{p}_i - Y_i)^2$
  • Brier Skill Score (BSS): Reporta o desempenho relativo a baselines (cara ou coroa, taxa base móvel, heurística de momentum). Um BSS positivo indica melhoria; um BSS negativo indica uma calibração pior que o baseline.
• Winkler Score: Usado para estimativa de intervalo. Penaliza tanto a "covardia" (intervalos muito amplos) quanto a "temeridade" (intervalos muito estreitos que perdem o retorno realizado).
  • $S_W = (U - L) + \frac{2}{\alpha}(L - r)I(r < L) + \frac{2}{\alpha}(r - U)I(r > U)$, onde $\alpha = 0.2$.

Principais Contribuições

1. Design de Benchmark: O FinBench é o primeiro benchmark explicitamente projetado para impor uma restrição temporal estrita para previsões financeiras agênticas, centrando-se em pontuação probabilística estritamente própria.
2. Foco em Calibração: Ele desloca a métrica de avaliação da simples acurácia para a calibração, penalizando diretamente a confiança alucinada, o que é crítico para a gestão de risco.
3. Implementação Piloto: O artigo fornece uma especificação e uma execução piloto em pequena escala para validar a mecânica do pipeline.

Resultados do Piloto

Os autores realizaram uma execução piloto em 15 de janeiro de 2025, cobrindo três tickers líquidos (AAPL, MSFT, NVDA) através dos três horizontes, resultando em 33 previsões totais. Os modelos testados incluíram GPT-4o, GPT-4o Mini, Llama 3.1/3.3, Qwen2.5 e DeepSeek-V3.

• Acurácia Direcional vs. Calibração: Neste dia específico, a maioria dos modelos alcançou alta acurácia direcional (frequentemete 100% para o horizonte MORNING). No entanto, métricas sensíveis à calibração (Brier Score e BSS) revelaram variância significativa.
• Detecção de Excesso de Confiança: Dois casos específicos (MSFT MORNING) envolvendo Llama 3.1 70B e DeepSeek-V3 mostraram scores de habilidade (skill scores) negativos. Esses modelos geraram probabilidades moderadamente confiantes (0.55 e 0.56) para resultados incorretos ($Y=0$), resultando em Brier scores > 0.30 e valores de BSS negativos.
• Qualidade do Intervalo: Embora a cobertura de intervalo tenha orbitado a faixa nominal de 0.8–0.9, os scores de Winkler variaram, ilustrando o trade-off entre a largura do intervalo e as falhas de cobertura.
• Desempenho Composto: O GPT-4o alcançou o maior score composto, seguido pelo GPT-4o Mini e Llama 3.3, enquanto outros modelos ficaram atrás em métricas de calibração, apesar de apresentarem acurácia semelhante.

Nota: Os autores afirmam explicitamente que estes resultados são descritivos e não estatisticamente conclusivos devido ao pequeno tamanho da amostra.

Significância e Alegações

O artigo alega significância ao abordar as necessidades específicas da finança agêntica, onde a incerteza é o output primário necessário para a tomada de decisão segura (dimensionamento de posição, limites de risco, escalonamento humano).

• Eixos Distintos: Os autores demonstram que a calibração e a qualidade do intervalo são eixos distintos; um sistema pode atingir a cobertura alvo e, ainda assim, reportar probabilidades mal calibradas. Uma métrica de acurácia única esconde esses comportamentos de risco críticos.
• Descompasso entre Justificativa e Probabilidade: O benchmark isola um padrão qualitativo onde os modelos geram explicações textuais plausíveis, mas produzem probabilidades que não refletem essas explicações. O FinBench pontua apenas os componentes probabilísticos para detectar esse descompasso.
• Segurança e Robustez: Ao utilizar regras de pontuação estritamente próprias, o FinBench alinha os incentivos do modelo com o relato honesto de incerteza, um pré-requisito para a segurança no deploy financeiro de alto nível.

O artigo conclui de forma modesta, observando que o piloto é pequeno demais para reivindicar superioridade de modelo ou robustez a mudanças de regime. Trabalhos futuros visam expandir o universo de tickers, padronizar a construção de baselines e introduzir fatias de estresse (ex: anúncios macroeconômicos) para estudar mudanças de distribuição.