FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction
Este artigo apresenta o FinDeepIndicator, o primeiro benchmark projetado para avaliar agentes de Pesquisa Profunda (Deep Research) através das quatro etapas de ponta a ponta da construção de indicadores financeiros, revelando que, embora esses agentes superem LLMs padrão equipados com busca, eles ainda enfrentam dificuldades com confiabilidade na recuperação de dados e execução numérica dentro de cenários realistas de análise financeira.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você é um detetive tentando resolver um mistério, mas em vez de apenas perguntar a uma testemunha "O que você viu?", você tem que fazer todo o trabalho sozinho. Você tem que descobrir qual pergunta fazer, encontrar a testemunha em uma cidade lotada, ouvir sua história, anotá-la, fazer as contas para ver se a história faz sentido e, finalmente, dizer o veredito ao juiz. Este é o mundo dos agentes de "Pesquisa Profunda" (Deep Research). Estes são programas de computador superinteligentes projetados para agir como pesquisadores humanos: eles não apenas respondem perguntas; eles saem, caçam informações, juntam as peças e resolvem problemas complexos do zero. Mas aqui está o detalhe: só porque um computador consegue falar como um humano, não significa que ele possa agir como um humano. Ele pode saber a definição de uma palavra perfeitamente, mas falhar ao encontrar o livro certo em uma biblioteca ou errar a adição ao contar as páginas.
No mundo das finanças, isso é algo sério. Os indicadores financeiros são como os placares da economia — números que nos dizem se uma empresa está saudável, se o mercado de ações está nervoso ou se o país está crescendo. Para obter esses números, você não pode apenas adivinhar; você tem que escavar anos de relatórios financeiros, encontrar os números exatos de empresas específicas e processar os dados. Cientistas têm construído esses agentes de "Pesquisa Profunda" para realizar esse trabalho, esperando que eles possam substituir ou ajudar analistas humanos. Mas, até agora, ninguém realmente testou se esses agentes conseguem lidar com todo o processo bagunçado do início ao fim, ou se eram apenas bons em parecer inteligentes enquanto cometiam erros bobos no meio do caminho.
Surge o FinDeepIndicator, um novo "exame" criado por uma equipe de pesquisadores para testar esses detetives digitais. Pense neste benchmark como uma gigantesca pista de obstáculos projetada especificamente para agentes financeiros. Em vez de apenas perguntar "Qual é o lucro da Empresa X?", o exame força o agente a fazer quatro coisas distintas: primeiro, descobrir a fórmula matemática exata necessária (como saber que "Margem de Lucro" significa dividir o lucro pelas vendas); segundo, sair e encontrar os números brutos na internet; terceiro, realmente fazer as contas para obter os resultados intermediários; e, finalmente, dar a resposta final correta. Os pesquisadores construíram este curso usando 3.350 perguntas diferentes cobrindo 234 tipos diferentes de índices financeiros, extraindo dados de 800 empresas reais tanto nos EUA quanto na China ao longo de um período de 10 anos.
Quando eles passaram os agentes por essa pista de obstáculos, os resultados foram uma mistura de "nada mal" e "oh não". Os agentes foram surpreendentemente bons na primeira etapa: entender as regras. Eles consegravam identificar corretamente as fórmulas mais de 70% das vezes, mostrando que realmente entendem o que os termos financeiros significam. No entanto, no momento em que tinham que sair e encontrar os dados, tudo desmoronava. A precisão caía drasticamente. Os agentes tinham dificuldade em encontrar os números certos, muitas vezes pegando o ano errado, a empresa errada ou perdendo uma peça crucial de informação inteira. Esta etapa de "coleta de dados" revelou-se o maior gargalo, causando a maior queda de desempenho.
Mesmo os agentes mais inteligentes, que conseguiam planejar sua busca e usar ferramentas melhor do que um simples mecanismo de busca, acertavam a resposta final apenas cerca de 40% das vezes. Os pesquisadores descobriram que os agentes eram particularmente ruins em indicadores "macroeconômicos" (como inflação ou taxas de emprego), onde os dados são bagunçados e vêm de fontes diferentes, e tiveram ainda mais dificuldade com indicadores "técnicos" que exigem cálculos complexos e contínuos. Curiosamente, os agentes tiveram um desempenho ligeiramente melhor com dados do mercado dos EUA do que com dados do mercado chinês, sugerindo que a forma como os dados são organizados e reportados em diferentes países faz uma enorme diferença.
A conclusão é que, embora esses agentes de IA sejam ótimos em conhecer a teoria das finanças, eles ainda são desajeitados na prática de escavar os fatos e processá-los sem cometer erros. O artigo sugere que, se quisermos que esses agentes sejam verdadeiramente úteis no mundo real, precisamos parar de focar apenas no quão bem eles conseguem conversar e começar a consertar sua capacidade de encontrar dados confiáveis e processá-los sem cometer erros. Até lá, eles são como um detetive brilhante que conhece a lei perfeitamente, mas vive se perdendo no caminho para a cena do crime.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.