FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use

O artigo apresenta o FinToolBench, o primeiro benchmark executável do mundo real projetado para avaliar agentes de IA no uso de ferramentas financeiras, oferecendo um ecossistema com 760 ferramentas executáveis e um novo framework de avaliação que prioriza a precisão, a conformidade regulatória e a estabilidade em cenários financeiros de alto risco.

O essencial

Imagine que você tem um assistente pessoal superinteligente, um "robô" que sabe ler milhões de livros e pode responder a qualquer pergunta. Esse é o LLM (o modelo de linguagem grande) de que todos falam.

Agora, imagine que esse robô precisa trabalhar em um banco ou numa corretora de ações. O problema? O mundo financeiro é como um oceano em constante movimento. Os preços das ações mudam a cada segundo, as leis são rígidas e um erro pode custar milhões.

Se o robô apenas "adivinhar" a resposta baseado no que aprendeu no passado (como ler um livro antigo), ele pode dar uma resposta que parecia certa ontem, mas está errada hoje. Pior ainda: ele pode tentar fazer uma compra de ações sem você pedir, ou usar dados de um mercado errado (como usar dados de criptomoedas para responder sobre ações de uma empresa de petróleo).

É aqui que entra o FinToolBench, o tema deste artigo.

O Problema: O "Robô" que Precisa Aprender a Usar Ferramentas

Até agora, testávamos esses robôs com perguntas de "conhecimentos gerais" ou pedíamos para eles lerem documentos. Mas no mundo real, eles precisam usar ferramentas (como conectar-se a APIs de bancos, buscar preços em tempo real, calcular impostos).

Os testes antigos eram como pedir para um piloto de avião decolar em um simulador de videogame com gráficos de desenho animado. Funciona no jogo, mas não garante que ele sobreviva a uma tempestade real.

A Solução: O "Simulador de Voo" Realista

Os autores criaram o FinToolBench, que é como um simulador de voo de alta precisão para o mundo financeiro.

Em vez de um jogo, eles construíram um ambiente real onde:

1. O Arsenal de Ferramentas: Eles reuniram 760 ferramentas financeiras reais e gratuitas (como buscar preços de ações, ler relatórios governamentais, verificar taxas de câmbio). É como dar ao robô uma caixa de ferramentas completa, desde um martelo até um microscópio.
2. As Missões: Eles criaram 295 perguntas complexas que exigem o uso dessas ferramentas. Não adianta tentar responder com o que o robô já sabe de cabeça; ele é obrigado a ir buscar a informação atualizada.
3. O "Passe de Seguridade" (A Grande Inovação): Aqui está a parte mais inteligente. No mundo financeiro, não basta a ferramenta funcionar. Ela precisa funcionar no momento certo, com a intenção certa e no mercado certo.

O FinToolBench avalia o robô em três pilares, que podemos comparar a um motorista de táxi:

• Pontualidade (Timeliness): Se o passageiro pede "o preço do táxi agora", e o robô entrega o preço de ontem, ele falhou, mesmo que o preço esteja "correto" para ontem. O robô precisa saber a diferença entre dados em tempo real e dados antigos.
• Intenção (Intent): Se o passageiro pergunta "quanto custa o táxi?", o robô não pode, sem permissão, tentar comprar o táxi. Ele precisa saber a diferença entre apenas ler uma informação e executar uma ação.
• Domínio (Domain): Se o passageiro pergunta sobre ações de uma empresa de tecnologia, o robô não pode usar dados do mercado de criptomoedas. Ele precisa saber qual "bairro" (mercado) ele está visitando.

O "Detetive" e o "Treinador" (FATR)

Para testar isso, os autores criaram um "treinador" chamado FATR.

Imagine que você está ensinando um cachorro a pegar uma bola. O FATR é como colocar uma placa brilhante na bola e dizer ao cachorro: "Se a bola for vermelha (mercado de ações), pegue-a. Se for azul (mercado de fundos), não toque. E pegue-a agora, não amanhã".

O FATR ajuda os robôs a entenderem essas regras antes de tentar a ação, evitando que eles cometam erros bobos ou perigosos.

O Que Eles Descobriram?

Ao testar vários robôs diferentes nesse simulador, eles viram que:

• Alguns robôs eram muito ousados: usavam muitas ferramentas, mas cometiam erros de cálculo ou usavam dados antigos.
• Outros eram muito medrosos: tinham medo de usar as ferramentas e ficavam apenas "adivinhando" a resposta, o que também é ruim.
• O segredo para o sucesso não é apenas ser inteligente, mas ser disciplinado. O robô precisa saber quando usar a ferramenta, qual ferramenta usar e como usar sem violar as regras do banco.

Resumo da Ópera

O FinToolBench é o primeiro "campo de provas" real para ver se os robôs inteligentes estão prontos para trabalhar de verdade no mundo financeiro.

Eles não querem apenas um robô que saiba responder perguntas. Eles querem um robô que saiba:

1. Buscar a informação certa (não inventar).
2. Fazer isso no momento certo (não usar dados velhos).
3. Não fazer besteira (não tentar comprar ações se você só pediu uma cotação).

É como passar de um aluno que apenas decora a matéria para um profissional que sabe trabalhar em uma sala de emergência, onde cada decisão conta e o tempo é crucial. E o melhor: eles vão liberar todo o código e as ferramentas para que outros pesquisadores possam continuar treinando e melhorando esses robôs.

Resumo técnico

Resumo Técnico: FinToolBench

1. O Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) no setor financeiro está impulsionando uma mudança de paradigma da recuperação passiva de informações para interações dinâmicas e autônomas (agentes). No entanto, a avaliação atual desses agentes enfrenta lacunas críticas:

• Benchmarks Genéricos: Focam em APIs gerais ou ambientes "toy" (fictícios), ignorando as restrições rigorosas do setor financeiro, como conformidade regulatória, volatilidade de dados e alto risco.
• Benchmarks Financeiros Existentes: Concentram-se predominantemente em análise textual estática ou perguntas e respostas (QA) baseadas em documentos, negligenciando a execução real de ferramentas (APIs).
• Falhas Específicas do Domínio: Métricas atuais são cegas a três modos de falha essenciais para a confiabilidade financeira:
  1. Pontualidade (Timeliness): Um erro ao usar dados desatualizados (ex: cotações diárias em vez de em tempo real) pode ser mais danoso que uma resposta livre incorreta.
  2. Restrição de Intenção (Intent Restraint): Agentes devem distinguir estritamente entre consultas informativas e ações transacionais, evitando executar ordens sem autorização explícita.
  3. Alinhamento de Domínio (Domain Alignment): O agente não deve usar ferramentas de um mercado (ex: ações) para responder a perguntas de outro (ex: criptomoedas), o que constituiria uma alucinação de domínio.

2. Metodologia e Construção do Dataset

O FinToolBench é o primeiro benchmark executável e do mundo real dedicado à avaliação de agentes de ferramentas financeiras.

• Inventário de Ferramentas (760 Ferramentas):
  • Coletado de fontes gratuitas (Free-tier) para garantir reprodutibilidade: RapidAPI (diversidade e dados em tempo real) e AkShare (biblioteca Python de código aberto para dados financeiros).
  • Filtragem Rigorosa: As ferramentas passaram por verificação de validade de interface, deduplicação, limites de taxa (rate limits) e testes de execução bem-sucedida.
  • Normalização: Todas as ferramentas foram padronizadas em um manifesto unificado com assinaturas e esquemas de saída consistentes.
• Conjunto de Perguntas (295 Itens):
  • Derivado de datasets existentes (FinanceBench, OpenFinData), mas filtrado para incluir apenas questões que exigem chamadas de ferramentas (excluindo aquelas respondíveis por memória paramétrica).
  • Composto por 166 questões de ferramenta única e 129 de múltiplas ferramentas.
• Anotação de Atributos Financeiros:
  • Cada ferramenta é anotada com três metadados críticos: Pontualidade (tempo real, diário, estático, etc.), Tipo de Intenção (informativo, consultivo, transacional) e Domínio Regulatório (ações, fundos, cripto, etc.).
• Pipeline de Avaliação:
  • Gera traços de execução auditáveis (tool traces).
  • Separa a avaliação em Capacidade (sucesso na invocação e execução) e Conformidade (alinhamento com restrições financeiras).

3. Métricas de Avaliação Propostas

O artigo introduz um conjunto de métricas que vai além do sucesso binário de execução:

• Métricas de Capacidade:
  • TIR (Tool Invocation Rate): Taxa de invocação de ferramentas.
  • TESR (Tool Execution Success Rate): Taxa de sucesso na execução das ferramentas.
  • CER (Conditional Execution Rate): Taxa de sucesso condicional (sucesso dado que uma ferramenta foi invocada).
  • Soft Score / CSS: Precisão da resposta final avaliada por um LLM.
• Métricas de Conformidade (Mismatch Rates):
  • TMR (Timeliness Mismatch Rate): Taxa de chamadas que violam a exigência de atualidade dos dados.
  • IMR (Intent Mismatch Rate): Taxa de chamadas que violam a restrição de intenção (ex: tentar transacionar quando apenas informação foi pedida).
  • DMR (Domain Mismatch Rate): Taxa de chamadas que usam ferramentas de um domínio regulatório incorreto.

4. Baseline: FATR (Finance-Aware Tool Retrieval)

Para estabelecer uma linha de base, os autores propõem o FATR, um método leve que não requer treinamento especializado, mas sim a injeção de contexto:

• Recuperação Consciente: Recupera um conjunto candidato de ferramentas e as formata como "Cartões de Ferramenta" (Tool Cards).
• Injeção de Atributos: Os cartões incluem explicitamente os metadados financeiros (pontualidade, intenção, domínio).
• Planejamento com Restrições: O agente (Planner) usa um loop ReAct, mas é instruído a inferir as restrições da pergunta e selecionar ferramentas que sejam compatíveis com esses atributos (ex: evitar ferramentas transacionais se não houver autorização).
• Estabilidade: Implementa cache, retries e compressão de saída para lidar com a instabilidade de APIs reais.

5. Resultados Principais

Os experimentos foram realizados com vários backends de LLM (Doubao-Seed-1.6, Qwen3-8B, GLM-4.7-Flash, GPT-4o):

• Trade-off entre Cobertura e Precisão:
  • Qwen3-8B: Alta taxa de invocação (TIR = 0.87), mas baixa taxa de sucesso condicional (CER = 0.34), indicando erros na construção de argumentos.
  • GPT-4o: Estratégia extremamente conservadora (TIR = 0.23), mas com a maior precisão quando decide usar ferramentas (CER = 0.62 e CSS = 0.67).
  • Doubao-Seed-1.6: Apresentou o desempenho mais equilibrado, com alta taxa de sucesso de execução (TESR) e boa conformidade.
• Impacto da Injeção de Atributos (FATR):
  • A injeção de tags financeiras reduziu ligeiramente a taxa de invocação (TIR), pois o agente evitou chamadas arriscadas ou marginais.
  • No entanto, aumentou significativamente a confiabilidade condicional (CER) e reduziu as taxas de erro de conformidade (TMR, IMR, DMR), demonstrando que o agente aprendeu a escolher ferramentas mais seguras e apropriadas.
• Diagnóstico por Categoria: Houve heterogeneidade significativa no desempenho dependendo do tipo de tarefa (ex: o agente foi robusto em interpretação macro, mas falhou em extração de valores estruturados).

6. Significância e Contribuições

• Padrão de Ouro para Agentes Financeiros: O FinToolBench preenche a lacuna entre benchmarks genéricos de ferramentas e avaliações financeiras estáticas, focando na execução real e auditável.
• Novas Métricas de Conformidade: Introduz a medição sistemática de violações de pontualidade, intenção e domínio, que são críticas para a segurança financeira, mas ignoradas anteriormente.
• Reprodutibilidade e Código Aberto: O benchmark, o manifesto de ferramentas, o ambiente de execução e o código de avaliação serão open-source, permitindo que a comunidade padronize a avaliação de agentes financeiros.
• Direcionamento Futuro: Estabelece a base para o desenvolvimento de agentes financeiros confiáveis que podem operar em ambientes dinâmicos, respeitando restrições regulatórias e de dados em tempo real.

Em suma, o trabalho demonstra que para que LLMs sejam confiáveis no setor financeiro, a avaliação não pode se limitar à "correção da resposta final", mas deve analisar o traço de execução (tool trace) para garantir que as ferramentas escolhidas sejam tecnicamente corretas, legalmente conformes e temporalmente adequadas.