FinRetrieval: A Benchmark for Financial Data Retrieval by AI Agents

O artigo apresenta o FinRetrieval, um novo benchmark com 500 perguntas de recuperação de dados financeiros que demonstra que a disponibilidade de ferramentas de API estruturada é o fator determinante para o desempenho dos agentes de IA, superando significativamente a busca na web e revelando variações de desempenho baseadas em configurações de raciocínio e convenções geográficas.

O essencial

Imagine que você precisa encontrar um número específico em uma pilha gigantesca de documentos financeiros de milhares de empresas. Você poderia tentar ler tudo manualmente, mas isso levaria anos. É aí que entram os Agentes de IA: robôs inteligentes que prometem fazer esse trabalho para você.

Mas será que esses robôs são realmente bons em encontrar o número certo, ou eles apenas "alucinam" e inventam dados?

Os autores deste artigo, Eric Y. Kim e Jie Huang (da empresa Daloopa), criaram um teste de direção chamado FinRetrieval para ver quem realmente sabe dirigir nesse terreno financeiro. Eles não queriam apenas ver se a IA sabia somar ou raciocinar; eles queriam ver se ela sabia buscar o dado correto em um banco de dados estruturado.

Aqui está o resumo da história, explicado de forma simples:

1. O Grande Teste (O "Exame de Direção")

Eles criaram 500 perguntas do tipo: "Qual foi a receita da Apple no terceiro trimestre de 2024?"
A resposta certa já existia (o "gabarito"). Eles então pediram para 14 versões diferentes de IAs (da Anthropic, OpenAI e Google) tentarem responder.

O segredo do teste foi dar a elas duas ferramentas diferentes:

• Modo "Navegador Cego" (Web Search): A IA só pode usar o Google, como um humano comum procurando no navegador.
• Modo "Banco de Dados Estruturado" (MCP): A IA tem acesso direto a um sistema organizado, como se tivesse uma chave mestra para abrir a gaveta exata onde o número está guardado.

2. A Grande Revelação: A Ferramenta é Mais Importante que o Motor

O resultado mais chocante foi que o modelo de IA (o "motor" do carro) importava muito menos do que a ferramenta que ela usava.

• A Analogia: Imagine que você tem um carro de Fórmula 1 (uma IA super inteligente) e um carro popular (uma IA mais simples). Se você der a eles um mapa de trânsito perfeito (o banco de dados estruturado), os dois chegam ao destino quase ao mesmo tempo. Mas se você tirar o mapa e pedir para eles dirigirem apenas olhando pela janela (apenas a internet), o carro de Fórmula 1 pode bater em uma parede, enquanto o carro popular consegue se virar melhor.

• Os Números: A IA mais famosa da Anthropic (Claude Opus) acertou 90,8% das vezes com o banco de dados, mas caiu para 19,8% quando teve que usar apenas a internet. Isso é uma diferença gigantesca! A IA da Google caiu de 90% para 69%, e a da OpenAI de 80% para 70%.

  • Conclusão: Ter a ferramenta certa (acesso direto aos dados) é 3 a 4 vezes mais importante do que escolher a IA mais "inteligente".

3. O Mito do "Pensamento Profundo"

Muitas empresas vendem IAs com "Modo de Raciocínio" (que pensam mais antes de responder). O teste mostrou que isso ajuda, mas depende do carro:

• Para a OpenAI, o modo de raciocínio ajudou muito (+9% de acertos).
• Para a Claude, ajudou pouco (+2,8%).

Por que? Porque a OpenAI, no modo básico, era um pouco "desajeitada" em usar as ferramentas. O modo de raciocínio a fez pensar mais antes de clicar no botão errado. A Claude, no modo básico, já era muito boa em usar as ferramentas, então pensar mais não mudou tanto o resultado.

• Analogia: É como ter um aluno que não sabe usar a calculadora. Se você pedir para ele "pensar muito" antes de apertar os botões, ele melhora. Mas se o aluno já sabe usar a calculadora perfeitamente, pedir para ele "pensar mais" só faz ele demorar mais para entregar a resposta, sem melhorar o resultado final.

4. O Problema do "Calendário Confuso"

A IA acertou mais perguntas sobre empresas dos EUA do que sobre empresas do resto do mundo. Por quê?
Não foi porque a IA é "racista" ou não entende outros idiomas. Foi por causa de convenções de datas.

• A Analogia: Imagine que você pergunta "Quantos anos você tem?" e a pessoa responde "10". Mas ela nasceu em abril e você perguntou em janeiro. Para ela, ainda não fez 10 anos completos no calendário dela, mas no nosso, já fez.
• Muitas empresas fora dos EUA (como no Japão ou Índia) fecham o ano em datas diferentes (março, setembro). A IA, acostumada com o calendário americano (dezembro), confundiu o ano fiscal. Quando ajustaram a lógica para entender essas datas diferentes, a IA ficou perfeita.

5. O Erro Mais Comum: Confusão de Período

O maior motivo de erro não foi a IA não saber matemática, foi ela não entender quando o dado se referia.

• Exemplo: A pergunta era sobre o "trimestre 1 de 2024". A IA foi buscar o "trimestre 1 do calendário" (janeiro-março), mas para aquela empresa, o "trimestre 1" era em abril-junho.
• A IA estava certa sobre o número, mas errada sobre a data. Isso aconteceu em 63% dos erros.

Resumo Final para o Dia a Dia

Se você é um investidor ou profissional financeiro usando IA:

1. Não se preocupe tanto em escolher a IA mais cara. O que importa é como você conecta ela aos dados. Se você der acesso direto ao banco de dados financeiro, qualquer IA moderna funciona muito bem.
2. Cuidado com a internet. Tentar achar números financeiros apenas pesquisando no Google é arriscado; a IA pode se perder ou desistir.
3. Atenção aos detalhes. A IA é ótima, mas precisa de instruções claras sobre datas e calendários, especialmente se a empresa for estrangeira.

O artigo libera todos os dados e os "rastros" de como as IAs pensaram, para que outros pesquisadores possam aprender com esses erros e criar sistemas financeiros mais precisos no futuro. É como abrir a caixa preta de um avião para entender exatamente onde o piloto (a IA) errou e como consertar.

Resumo técnico

Resumo Técnico: FinRetrieval

1. Problema e Motivação

Os agentes de IA estão sendo cada vez mais utilizados para pesquisa financeira, tarefas que exigem a recuperação precisa de valores numéricos específicos a partir de bancos de dados estruturados (como relatórios de lucros e demonstrações financeiras).

Apesar do avanço, não existia um benchmark que avaliasse especificamente a capacidade desses agentes de:

1. Recuperar dados de bancos de dados estruturados (via APIs), em vez de apenas documentos não estruturados.
2. Comparar provedores de ponta (Anthropic, OpenAI, Google) em configurações idênticas.
3. Analisar o processo de decisão do agente através de rastros de execução completos (traces).

Benchmarks anteriores focavam em raciocínio numérico sobre documentos fornecidos (ex: FinQA) ou recuperação de documentos da SEC, mas não testavam a integração com ferramentas de dados estruturados em tempo real.

2. Metodologia e Design do Benchmark

O FinRetrieval é um conjunto de dados e protocolo de avaliação composto por:

• Conjunto de Dados: 500 perguntas financeiras com respostas "ground truth" (verdadeiras) verificadas contra documentos fonte.
  • Origem: Dados extraídos da plataforma Daloopa, cobrindo mais de 4.000 empresas públicas.
  • Categorias: Distribuídas em seis áreas (Balanço Patrimonial, Fluxo de Caixa, KPIs Operacionais, Demonstração de Resultados, Orientações/Projeções e Segmentos/Geografia).
  • Qualidade: Filtragem rigorosa para excluir entradas geradas automaticamente ou valores calculados, garantindo que cada resposta trace até uma célula específica em um documento fonte.
• Configurações de Agentes: Avaliação de 14 configurações combinando três provedores de modelos de ponta (Anthropic/Claude, OpenAI/GPT, Google/Gemini) com duas variáveis principais:
  1. Disponibilidade de Ferramentas:
     • Modo MCP (Model Context Protocol): Acesso a APIs estruturadas financeiras (descobrir empresas, séries de métricas e fundamentos).
     • Modo WebOnly: Apenas busca na web (simulando a ausência de APIs estruturadas).
  2. Modo de Raciocínio: Configurações base vs. modos de raciocínio estendido (ex: "Extended Thinking" ou "Reasoning API").
• Coleta de Dados: O benchmark captura não apenas a resposta final, mas rastros completos de execução, incluindo cada chamada de ferramenta, entradas, saídas e tempos de latência.
• Avaliação: Um "juiz" LLM (GPT-5.2) compara as respostas dos agentes com as verdades fundamentais, aplicando regras de normalização (unidades, sinais positivos/negativos, equivalência de valores).

3. Contribuições Principais

1. Primeiro Benchmark de Recuperação Estruturada: Foca na recuperação de dados via API estruturada, preenchendo uma lacuna crítica deixada por benchmarks baseados em documentos.
2. Transparência Total: Liberação pública do dataset, código de avaliação e, crucialmente, dos rastros de ferramentas (tool traces), permitindo análise detalhada do comportamento do agente.
3. Análise Comparativa Rigorosa: Avaliação controlada de múltiplos provedores nas mesmas perguntas, isolando o impacto de ferramentas, raciocínio e arquitetura do agente.

4. Resultados Chave e Descobertas

A avaliação revelou quatro descobertas fundamentais:

A. A Disponibilidade de Ferramentas é Dominante

A presença de APIs de dados estruturados impacta a performance muito mais do que a escolha do modelo.

• Claude Opus: Caiu de 90,8% de precisão (com MCP) para 19,8% (apenas Web Search). Uma lacuna de 71 pontos percentuais.
• Outros Modelos: Google e OpenAI também sofreram quedas, mas menos severas (ex: Google caiu de 90,6% para 69,2%).
• Conclusão: A integração de ferramentas estruturadas é o fator determinante de sucesso, superando a capacidade bruta do modelo.

B. Benefícios do Modo de Raciocínio Variam Inversamente à Capacidade Base

O ganho de precisão ao ativar o "modo de raciocínio" depende de quão bem o modelo usa as ferramentas em seu modo base.

• OpenAI (GPT-5.2): Ganhou +9,0 pontos com raciocínio.
• Claude Opus: Ganhou apenas +2,8 pontos.
• Causa: O modo base do OpenAI fazia menos chamadas de exploração de API. O modo de raciocínio compensou essa falha inicial. O Claude, que já explorava bem as ferramentas no modo base, tinha menos margem de melhoria.

C. O Sucesso na Primeira Consulta Impulsiona a Eficiência

A precisão está correlacionada com o número de chamadas de ferramentas, mas a causalidade é inversa: perguntas mais fáceis são resolvidas rapidamente.

• Se a primeira chamada para descobrir a série de dados (discover_company_series) for bem-sucedida, a precisão é de 93%.
• Se falhar, o agente entra em loops de busca estendidos, caindo para 77% de precisão.
• O principal gargalo não é o raciocínio, mas a correspondência de palavras-chave e convenções de períodos.

D. Lacunas Geográficas Derivam de Convenções de Dados

Houve uma vantagem de 5,6 pontos para empresas dos EUA em comparação com não-EUA (para o Claude).

• Causa: Não foi uma limitação do modelo, mas sim mismatches de convenções fiscais. Empresas com ano fiscal não padrão (ex: encerramento em março ou setembro) causaram confusão na rotulagem de anos (ex: "2022FY" vs "2023FY") e trimestres.
• Quando controlado para anos fiscais padrão (dezembro), a precisão das empresas não-EUA superou a dos EUA.

5. Análise de Erros

A análise de raiz dos erros (especialmente no melhor modelo, Claude Opus com raciocínio) mostrou que:

• 63% dos erros foram devido a confusão de períodos (convenções de ano fiscal, granularidade trimestral vs. anual, e datas de anúncio vs. datas alvo de projeções).
• 19,6% foram seleção errada de séries (métricas similares).
• A maioria dos erros poderia ser mitigada com melhor documentação das ferramentas (descrevendo claramente as convenções de nomenclatura) e não necessariamente com modelos mais inteligentes.

6. Significado e Implicações

• Para Praticantes: A prioridade deve ser a integração de dados estruturados (APIs). Sem isso, mesmo os melhores modelos falham drasticamente. O modo de raciocínio oferece retornos marginais variáveis e pode aumentar significativamente a latência (custo) sem garantir ganhos se a base de ferramentas for fraca.
• Para Pesquisadores: O foco deve mudar de "melhorar o raciocínio do LLM" para "melhorar a documentação e a interface das ferramentas". A precisão acima de 90% é limitada por convenções de dados não documentadas, não pela inteligência do agente.
• Reprodutibilidade: O dataset aberto permite que a comunidade estude padrões de erro, comportamento de agentes e desenvolva sistemas de recuperação financeira mais robustos.

Em resumo, o FinRetrieval demonstra que, no domínio financeiro, a qualidade e a estrutura das ferramentas de acesso a dados são mais críticas do que a inteligência do modelo em si, e que a maior barreira para a precisão perfeita reside na padronização e documentação das convenções de dados financeiros.