FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado promessa no Processamento de Linguagem Natural (NLP) financeiro, os benchmarks atuais falham amplamente em avaliar o raciocínio simbólico multi-etapa com transparência e verificabilidade.

• Limitações dos Benchmarks Existentes: Conjuntos de dados como FinQA e ConvFinQA focam principalmente em respostas numéricas finais. Frequentemente carecem de traços de raciocínio intermediário estruturados, tornando impossível verificar como um modelo chegou a uma resposta ou distinguir entre raciocínio genuíno e correspondência de padrões superficiais.
• A Lacuna: Há uma necessidade de um benchmark que imponha o raciocínio em Cadeia de Pensamento (CoT), onde cada etapa intermediária seja explicitamente definida, executável e verificável por máquina contra fórmulas financeiras específicas do domínio.

2. Metodologia

A. Construção do Conjunto de Dados FINCHAIN

Os autores construíram o FINCHAIN, o primeiro benchmark simbólico para raciocínio financeiro, do zero.

• Taxonomia: O conjunto de dados abrange 12 domínios financeiros (por exemplo, Finanças Corporativas, Finanças Cripto, Gestão de Riscos) e 58 tópicos específicos.
• Modelos Simbólicos: Em vez de texto estático, o conjunto de dados é gerado usando modelos simbólicos parametrizados. Cada modelo define:
  • Uma pergunta em linguagem natural com espaços reservados para variáveis (por exemplo, principal, taxa, tempo).
  • Um bloco de código Python executável que calcula tanto as etapas intermediárias quanto a resposta final.
• Níveis de Dificuldade: Para cada tópico, cinco modelos são projetados em três níveis de dificuldade (Básico, Intermediário, Avançado), aumentando o número de etapas de raciocínio e a complexidade lógica.
• Volume de Dados: O benchmark consiste em 2.900 casos de teste (58 tópicos × 5 modelos × 10 instâncias cada).
• Controle de Qualidade: Um processo rigoroso de validação envolvendo especialistas financeiros garante precisão numérica, consistência de unidades e correção lógica. Os modelos são padronizados conforme as convenções financeiras dos EUA.

B. CHAINEVAL: A Métrica de Avaliação

Para abordar a falta de verificação em nível de etapa, os autores propõem o CHAINEVAL, uma métrica de alinhamento dinâmica que avalia conjuntamente:

1. Correção da Resposta Final (FAC): Verifica se a saída final do modelo corresponde à verdade fundamental (dentro de uma tolerância de 5%, $\epsilon=0.05$, alinhada com os limiares de materialidade da auditoria financeira).
2. Alinhamento de Etapas de Raciocínio: Utiliza Distorção Temporal Dinâmica (DTW) para alinhar a sequência de raciocínio prevista com a sequência padrão de referência.
   • Pontuação com Portão: Uma etapa é considerada consistente apenas se corresponder tanto semanticamente (via similaridade de cosseno do codificador de frases) quanto numericamente (via correspondência de valores).
   • Fórmula: $CHAINEVAL = (1-\alpha) \cdot DTW_{Gate} + \alpha \cdot FAC$, onde $\alpha=0.1$.
   • Validação: O CHAINEVAL foi validado contra julgamentos de especialistas humanos, mostrando uma correlação de Spearman de 0,655, superando significativamente métricas tradicionais como ROUGE e BERTScore.

3. Principais Contribuições

1. Primeiro Benchmark Simbólico Financeiro: Introdução do FINCHAIN, um benchmark executável e livre de contaminação, abrangendo 58 tópicos em 12 domínios, projetado especificamente para raciocínio CoT verificável.
2. Novo Framework de Avaliação: Proposta do CHAINEVAL, uma métrica que vai além da precisão da resposta final para avaliar a fidelidade e consistência das etapas intermediárias de raciocínio usando DTW e mecanismos de portão.
3. Avaliação Abrangente: Avaliação de 26 LLMs líderes (incluindo modelos proprietários de fronteira, modelos específicos de finanças, modelos aprimorados em matemática e modelos de peso aberto de propósito geral).
4. Insights Diagnósticos: Análise detalhada de erros revelando que até mesmo os modelos mais avançados lutam com raciocínio simbólico complexo, e que a adaptação de domínio não garante capacidades robustas de raciocínio.

4. Resultados Experimentais

A. Visão Geral do Desempenho do Modelo

• Modelos de Fronteira Lideram: Modelos proprietários de fronteira (por exemplo, GPT-5, Gemini-2.5 Pro) alcançaram as maiores pontuações CHAINEVAL (aproximadamente 65–67%), indicando melhor alinhamento no raciocínio em nível de etapa.
• Limitações do Ajuste Fino (Fine-Tuning):
  • Modelos Específicos de Finanças: Modelos como Fin-o1 e Finance-Qwen tiveram desempenho pobre (pontuações CHAINEVAL de 34–41%), frequentemente falhando em cadeias de raciocínio básicas.
  • Modelos Aprimorados em Matemática: Modelos como Mathstral e Qwen-2.5-Math mostraram melhoria significativa (pontuações em torno de 55–60%), sugerindo que o ajuste fino matemático transfere-se melhor para o raciocínio financeiro do que o ajuste fino de domínio financeiro estreito.
• A Lacuna "Resposta vs. Raciocínio": Alguns modelos alcançaram alta Correção da Resposta Final (FAC), mas baixas pontuações CHAINEVAL, indicando que eles adivinharam a resposta correta sem seguir um caminho de raciocínio válido.

B. Desempenho Através das Dimensões

• Dificuldade: Todos os modelos mostraram degradação de desempenho à medida que a dificuldade aumentava de Básico para Avançado. Modelos de fronteira mantiveram estabilidade relativa, enquanto modelos de peso aberto sofreram declínios acentuados em tarefas avançadas.
• Variância de Domínio: O desempenho foi altamente dependente do domínio. Por exemplo, o Mathstral destacou-se em domínios quantitativos (Razões Financeiras), mas lutou em domínios regulatórios ricos em texto, enquanto o Fin-R1 mostrou força na Gestão de Riscos, mas fraqueza em tarefas quantitativas complexas.

C. Análise de Erros

A análise de 200 perguntas amostradas revelou perfis de erro distintos:

• Modelos de Fronteira (por exemplo, GPT-5-mini): Os erros estavam concentrados nas categorias Computacional (aritmética) e Conceitual (aplicação incorreta de fórmulas). Raramente alucinavam ou falhavam na análise sintática.
• Modelos Mais Fracos (por exemplo, Finance-Qwen): Apresentaram um perfil de erro heterogêneo, incluindo Alucinações significativas (introdução de variáveis não suportadas), falhas de Análise Sintática/Formato e erros conceituais.

5. Significado e Trabalho Futuro

• IA Confiável: O FINCHAIN fornece uma base para o desenvolvimento de sistemas de IA financeira interpretáveis e auditáveis, cruciais para tomada de decisão de alto risco onde o raciocínio de "caixa preta" é inaceitável.
• Direção de Pesquisa: Os resultados sugerem que simplesmente escalar modelos ou ajustá-los finamente em texto financeiro é insuficiente. O progresso futuro requer supervisão estruturada e treinamento explícito em cadeias de raciocínio simbólico.
• Limitações e Trabalho Futuro: O conjunto de dados atual é sintético e centrado no inglês. O trabalho futuro visa incorporar documentos financeiros do mundo real, estender para configurações multilíngues e fechar a lacuna entre raciocínio simbólico e verificação factual.

Conclusão: O FINCHAIN expõe fraquezas persistentes nos LLMs atuais no que diz respeito ao raciocínio financeiro multi-etapa. Ele demonstra que, embora os modelos de fronteira sejam superiores, até mesmo eles lutam com tarefas simbólicas complexas, destacando a necessidade de novos paradigmas de treinamento que priorizem a fidelidade do raciocínio sobre a mera geração de respostas.