BankMathBench: A Benchmark for Numerical Reasoning in Banking Scenarios

1. O Problema

Os modelos de linguagem grandes (LLMs) têm sido cada vez mais adotados no setor financeiro, especialmente em bancos digitais, para atender a consultas de clientes sobre produtos como depósitos, poupança e empréstimos. No entanto, o artigo identifica uma lacuna crítica: os LLMs atuais apresentam baixa precisão em cálculos bancários fundamentais.

• Limitações Atuais: Modelos falham em tarefas que exigem raciocínio numérico multietapa, como estimativas de pagamentos totais, comparação de produtos com taxas de juros variáveis e cálculos de juros sob condições de resgate antecipado.
• Natureza dos Erros: Os erros são sistemáticos e incluem má interpretação de tipos de produtos, aplicação incorreta de condições (ex: juros simples vs. compostos) e falhas em cálculos básicos envolvendo exponenciação e progressões geométricas.
• Deficiência dos Benchmarks Existentes: Conjuntos de dados matemáticos atuais focam em problemas educacionais (aritmética/algebra), enquanto benchmarks financeiros existentes focam em relatórios financeiros e análise de títulos, negligenciando cenários do dia a dia do banco (ex: contas de poupança, empréstimos pessoais).

2. Metodologia

Para abordar essa lacuna, os autores propõem o BankMathBench, um conjunto de dados e benchmark específico para o domínio bancário.

A. Geração de Dados

O dataset foi criado através de um pipeline automatizado completo, envolvendo:

1. Geração de Questões: Utilizando modelos como GPT-4o e o1-mini, foram geradas perguntas realistas baseadas em cenários de consultoria bancária.
2. Geração de Soluções e Verificação: Para garantir precisão, foram geradas duas soluções distintas para cada problema.
   • Níveis básicos: Fórmulas matemáticas e LaTeX.
   • Níveis intermediários e avançados: Código Python executável.
   • Apenas pares com resultados consistentes foram mantidos.
3. Geração de Raciocínio: Criação de passos de raciocínio passo a passo (Chain-of-Thought) que integram linguagem natural e expressões matemáticas, com resultados de cálculo isolados em tags específicas para uso de ferramentas externas.
4. Validação por Especialistas: Todos os dados foram revisados por profissionais bancários com mais de 3 anos de experiência para garantir relevância prática e correção lógica.

B. Estrutura do Dataset

O BankMathBench contém 13.839 problemas (em coreano e inglês) divididos em três níveis de dificuldade:

• Básico: Raciocínio sobre um único produto (depósitos, poupança, empréstimos), exigindo cálculos aritméticos e de progressões.
• Intermediário: Comparação entre dois produtos diferentes (ex: comparar dois tipos de depósitos ou um depósito vs. poupança), exigindo computação separada e comparação de resultados.
• Avançado: Cenários complexos com múltiplas condições, como taxas variáveis, resgates antecipados, impostos e taxas de penalidade.

C. Experimentos

Os autores avaliaram diversos modelos (abertos e fechados, de 1B a 8B parâmetros) em três configurações:

1. Zero-shot: Avaliação direta sem treinamento.
2. SFT (Supervised Fine-Tuning): Ajuste fino usando o BankMathBench.
3. Tool-Augmented SFT: Ajuste fino combinado com a capacidade de chamar ferramentas externas (calculadoras) para executar os cálculos dentro do processo de raciocínio.

3. Principais Contribuições

• Novo Benchmark de Domínio Específico: O BankMathBench é o primeiro benchmark abrangente focado especificamente em raciocínio numérico para cenários bancários do dia a dia, preenchendo a lacuna entre benchmarks matemáticos gerais e financeiros corporativos.
• Pipeline Automatizado e Escalável: Demonstração de um pipeline robusto para geração de dados sintéticos de alta qualidade, validado por especialistas, que pode ser adaptado para diferentes contextos financeiros (moeda, impostos).
• Validação de Abordagem Híbrida: Evidência empírica de que a combinação de Fine-Tuning (para aprender a estrutura do problema e gerar fórmulas) com Tool-Augmentation (para executar os cálculos) supera significativamente as abordagens puramente baseadas em texto.

4. Resultados

Os experimentos revelaram pontos-chave sobre o desempenho dos modelos:

• Desempenho Zero-shot: A maioria dos modelos, incluindo LLMs especializados em matemática e finanças, teve desempenho muito pobre em tarefas bancárias reais, com acurácias frequentemente abaixo de 10% nos níveis intermediário e avançado.
• Impacto do Fine-Tuning (SFT): O ajuste fino no BankMathBench resultou em melhorias consistentes e significativas.
  • Aumento médio de 57,6 pontos percentuais (p.p.) no nível básico.
  • Aumento de 75,1 p.p. no nível intermediário.
  • Aumento de 62,9 p.p. no nível avançado.
• Efeito da Augmentation de Ferramentas: A integração de ferramentas de cálculo (Tool-Augmented SFT) trouxe os maiores ganhos, especialmente em tarefas complexas onde a geração de múltiplas fórmulas e a agregação de resultados eram necessárias.
  • Modelos como Qwen3-8B e DeepSeek-Math-Instruct-7B alcançaram acurácias superiores a 80-90% no nível intermediário com tool-augmentation, comparado a menos de 10% no zero-shot.
• Estabilidade: O fine-tuning reduziu drasticamente a variância nos resultados entre diferentes tamanhos de modelos, estabilizando o desempenho mesmo em arquiteturas menores.

5. Significado e Conclusão

O artigo conclui que o BankMathBench é uma ferramenta essencial para avaliar e avançar as capacidades de raciocínio numérico dos LLMs em contextos financeiros reais.

• Implicações Práticas: Os resultados sugerem que assistentes de banco digital baseados em IA podem se tornar confiáveis para cálculos financeiros complexos se treinados com dados específicos de domínio e equipados com ferramentas de cálculo externo.
• Futuro: O trabalho abre caminho para o desenvolvimento de modelos especializados em bancários e incentiva a exploração de abordagens de aprendizado integradas a ferramentas (tool-integrated learning) para garantir precisão factual e numérica, reduzindo o risco de alucinações financeiras que poderiam comprometer a confiança dos clientes e instituições.

Em resumo, o BankMathBench demonstra que, embora os LLMs tenham dificuldade inerente com cálculos precisos em cenários complexos, essa limitação pode ser superada através de treinamento específico em domínio e integração com ferramentas computacionais.