FinTradeBench: A Financial Reasoning Benchmark for LLMs
O artigo apresenta o FinTradeBench, um novo benchmark que avalia o raciocínio financeiro de Grandes Modelos de Linguagem (LLMs) integrando fundamentos corporativos e sinais de negociação, revelando que, embora a recuperação de dados melhore a compreensão de textos, os modelos atuais ainda enfrentam desafios significativos no raciocínio numérico e em séries temporais.
Imagine que você é um detetive tentando prever o futuro de uma empresa, como a Apple ou a Tesla. Para fazer isso, você tem duas pistas principais:
A "Carteira de Identidade" (Fundamentos): São os documentos oficiais da empresa (como balanços e relatórios fiscais). Eles dizem se a empresa tem dinheiro no banco, se está endividada e se está lucrando. É a realidade "fria" e contábil.
O "Comportamento na Rua" (Sinais de Negociação): É como a ação da empresa se comporta no mercado. Ela está subindo rápido? Está caindo? As pessoas estão comprando ou vendendo com medo ou euforia? É o "humor" do mercado, que nem sempre combina com a realidade da empresa.
O problema é que, até agora, os "super-robôs" de Inteligência Artificial (chamados de LLMs) eram ótimos lendo a "Carteira de Identidade", mas péssimos entendendo o "Comportamento na Rua". Eles conseguiam ler um relatório de 100 páginas, mas não conseguiam dizer se o preço da ação estava subindo porque a empresa é boa ou porque todo mundo está eufórico.
O que é o FinTradeBench?
Os autores deste artigo criaram um teste de prova chamado FinTradeBench. Pense nele como uma "Olimpíada de Finanças" para Inteligência Artificial.
O Objetivo: Verificar se os robôs conseguem misturar as duas pistas (a realidade da empresa + o humor do mercado) para tomar uma decisão inteligente de compra ou venda.
O Desafio: O teste tem 1.400 perguntas baseadas em dados reais de 10 anos. Algumas perguntas olham só para os documentos, outras só para o preço da ação, e as mais difíceis exigem que o robô junte os dois mundos.
A Grande Descoberta: O Robô se Confunde com a "Biblioteca"
Os pesquisadores testaram 14 robôs diferentes e descobriram algo muito curioso e importante:
Quando o robô tem acesso aos documentos (RAG): Se você der ao robô acesso aos relatórios oficiais da empresa (como se ele tivesse uma biblioteca gigante na mesa), ele fica muito melhor em responder perguntas sobre a saúde financeira da empresa. A biblioteca ajuda ele a não inventar fatos.
O Efeito "Distração": Porém, quando o teste envolve os números do mercado (preços, volumes, tendências), dar mais informações ao robô piorou o resultado!
A Analogia: Imagine que você está tentando resolver um quebra-cabeça matemático complexo. Se alguém colocar 50 folhas de papel com números aleatórios na sua frente, você vai se distrair e errar mais, em vez de acertar.
Os robôs, ao receberem tabelas de preços brutos, ficam confusos. Eles começam a ler os números como se fossem texto, em vez de fazer os cálculos necessários. Eles "enchem o saco" com informações, mas perdem a capacidade de raciocinar.
O Caso da Tesla e da Nvidia
O artigo mostra exemplos reais onde os robôs falharam feio:
Tesla: Em abril de 2025, a empresa teve um resultado ruim (lucro menor que o esperado), mas a ação subiu 20% porque o mercado estava otimista com o futuro. Um analista humano entenderia: "Os números de hoje são ruins, mas a história que o mercado conta é boa". Os robôs, no entanto, olharam apenas para os números ruins e disseram para vender, ignorando a euforia do mercado.
Nvidia: O robô falhou em identificar se uma queda no preço era uma oportunidade de compra ou um sinal de perigo, porque não soube conectar a saúde da empresa com o movimento do gráfico.
O Veredito Final
O FinTradeBench nos ensina três lições principais:
Robôs são ótimos leitores, mas péssimos calculistas: Eles adoram ler textos longos e documentos, mas têm muita dificuldade em fazer contas com dados de mercado em tempo real.
Mais informação nem sempre é melhor: Dar ao robô acesso a mais dados (como uma biblioteca gigante) ajuda em textos, mas pode "afogar" o robô em dados numéricos, fazendo-o perder o foco.
O Futuro: Para criar um "analista financeiro de IA" de verdade, precisamos ensinar os robôs não apenas a ler, mas a pensar e a calcular com os dados do mercado, e não apenas a resumir o que leram.
Em resumo, o FinTradeBench é um espelho que mostra que, embora nossas IAs sejam inteligentes, elas ainda precisam aprender a entender a diferença entre o que uma empresa é (seus documentos) e o que o mercado sente (seus preços).
Resumo Técnico: FinTradeBench
1. O Problema
A tomada de decisão financeira no mundo real exige a integração de duas fontes de informação complementares, mas heterogêneas:
Fundamentos da Empresa: Métricas contábeis derivadas de demonstrações financeiras e arquivos regulatórios (ex: 10-K/10-Q da SEC), como lucratividade, alavancagem e ratios de avaliação.
Sinais de Negociação (Trading Signals): Indicadores derivados de dados de preços e volume históricos (séries temporais), como momentum, volatilidade, reversão à média e tendências.
Limitações dos Trabalhos Anteriores:
Benchmarks existentes (como FinQA, TAT-QA) focam quase exclusivamente no raciocínio numérico sobre relatórios financeiros textuais e tabelas.
Poucos ou nenhum benchmark avalia a capacidade dos modelos de raciocinar sobre sinais de negociação derivados de séries temporais de preços.
Não há avaliação robusta sobre a integração conjunta de fundamentos e dinâmica de mercado, especialmente quando há conflito entre eles (ex: fundamentos fracos, mas o preço da ação sobe devido a narrativas de mercado).
Modelos de Linguagem (LLMs) atuais falham ao tentar responder perguntas que exigem essa síntese híbrida, muitas vezes ignorando sinais de mercado ou falhando em calcular indicadores quantitativos a partir de dados brutos.
2. Metodologia e Design do Benchmark
Os autores introduzem o FinTradeBench, um benchmark projetado para avaliar o raciocínio financeiro em um cenário realista.
Escopo e Dados:
Cobertura de 10 anos (2015–2025) das empresas do índice NASDAQ-100.
Integração de dois fluxos de dados:
Arquivos Regulatórios (SEC): Extração de fundamentos (ROA, ROE, dívida/patrimônio, etc.).
Dados de Negociação Diária (OHLCV): Cálculo de sinais técnicos (Médias Móveis, RSI, Momentum, Volatilidade, Drawdown).
Total de 1.400 perguntas geradas.
Taxonomia de Perguntas: As questões são divididas em três categorias de raciocínio:
Foco em Fundamentos (F-type): Baseadas apenas em dados contábeis.
Foco em Sinais de Negociação (T-type): Baseadas apenas em séries temporais de preços.
Híbridas (FT-type): Requerem raciocínio cruzado, integrando fundamentos e sinais de mercado (ex: "A queda no preço é uma oportunidade de compra dado os fundamentos?").
Framework de Calibração e Escalonamento (Calibration-Then-Scaling): Para garantir qualidade e escala, utilizaram um pipeline de 3 fases:
Geração de Candidatos: Uso de múltiplos LLMs com diferentes prompts (baseado na taxonomia TELeR) para gerar respostas.
Filtragem e Auditoria:
Auto-seleção: O próprio modelo seleciona sua melhor resposta.
Auditoria Numérica Automática: Um LLM auditor verifica a precisão numérica das afirmações contra uma base de conhecimento estruturada.
Calibração Humana-LLM: Especialistas financeiros avaliam as respostas filtradas em uma escala Likert de 5 pontos. Um "Juiz LLM" (Claude Sonnet 4.5) é calibrado para alinhar seus julgamentos com os humanos (MAE < 10%), permitindo a avaliação automatizada das 1.400 perguntas escaladas.
Configuração Experimental (RAG vs. Zero-Shot):
Avaliação de 14 LLMs (de pequenos a grandes, proprietários e open-source).
Cenários: Zero-Shot (sem recuperação de contexto) vs. RAG (Retrieval-Augmented Generation).
Arquitetura RAG de "Dupla Faixa" (Dual-Track): Um sistema recupera documentos textuais (SEC) e dados de séries temporais de forma separada e otimizada, fundindo-os no prompt.
3. Principais Contribuições
Novo Benchmark (FinTradeBench): O primeiro a avaliar explicitamente o raciocínio financeiro que integra fundamentos corporativos e sinais de negociação de mercado em um único framework.
Pipeline de Curação Robusto: Adoção de um método de "calibração-escalonamento" que combina sementes de especialistas, geração multi-modelo, filtragem automática e alinhamento humano-LLM para garantir a confiabilidade dos dados em larga escala.
Análise de Arquitetura RAG: Desenvolvimento de uma arquitetura de recuperação híbrida que trata dados textuais e numéricos de forma distinta, reconhecendo que modelos de linguagem têm dificuldades diferentes com cada tipo de dado.
4. Resultados Chave
A avaliação dos 14 LLMs revelou padrões distintos e desafios fundamentais:
Impacto do RAG por Categoria:
Fundamentos (F): O RAG trouxe melhorias significativas (ex: +37% de precisão para o R1-Distill-Qwen). A recuperação de textos da SEC ativa o conhecimento pré-treinado dos modelos sobre conceitos financeiros.
Sinais de Negociação (T): O RAG frequentemente degradou o desempenho (ex: quedas de 16-19% em modelos como Gemini 2.5 Flash-Lite). Modelos têm dificuldade em interpretar tabelas numéricas brutas recuperadas para calcular indicadores técnicos (como momentum ou RSI) sem execução de código.
Perguntas Híbridas (FT): Modelos com capacidades de raciocínio latente (como DeepSeek-R1 e seus derivados) superaram os modelos instruídos padrão. O RAG melhorou o desempenho em até +55% para modelos de médio porte nesta categoria, mas apenas se o modelo conseguisse integrar os sinais conflitantes.
Efeito de Distração (Distraction Effect):
Embora o RAG melhore a "ancoragem factual" em textos, ele reduz a profundidade do raciocínio e a extração precisa de indicadores-chave (Golden Indicators F1 caiu 56,5%).
Modelos tendem a resumir o contexto recuperado em vez de realizar a análise analítica necessária, especialmente quando confrontados com dados numéricos densos e jargão técnico.
Sensibilidade da Arquitetura:
Modelos baseados em Qwen e DeepSeek (com raciocínio latente) beneficiaram-se do RAG.
Modelos da família LLaMA sofreram degradação sistemática com o RAG, sugerindo que suas arquiteturas ou misturas de dados pré-treinados são mais suscetíveis à distração por contextos densos e tabelas não estruturadas.
5. Significado e Conclusão
O FinTradeBench demonstra que, embora os LLMs sejam proficientes em processar informações textuais financeiras (fundamentos), eles ainda lutam com o raciocínio sobre dinâmicas de mercado quantitativas e a integração de dados heterogêneos.
Desafio Central: A dificuldade não é apenas a falta de dados, mas a incapacidade dos modelos de realizar passos computacionais intermediários (cálculo de indicadores) sobre dados recuperados e de sintetizar narrativas de mercado com dados contábeis.
Implicações Futuras:
O RAG puro não é suficiente para tarefas financeiras complexas; é necessária uma integração com ferramentas de execução de código (para cálculos numéricos) e arquiteturas que priorizem a profundidade analítica sobre a sumarização de contexto.
Modelos com capacidades de "Cadeia de Pensamento" (Chain-of-Thought) latente são superiores para tarefas financeiras híbridas.
O benchmark serve como um padrão para pesquisadores e profissionais avaliarem a verdadeira inteligência financeira de modelos de IA, indo além da simples recuperação de fatos.
Em resumo, o trabalho destaca que a "inteligência financeira" em LLMs exige mais do que acesso a documentos; exige a capacidade de raciocinar sobre a interação complexa e muitas vezes contraditória entre o valor intrínseco de uma empresa e o comportamento do mercado.