FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles

O artigo apresenta o FinRule-Bench, um novo benchmark que avalia a capacidade de modelos de linguagem de realizar raciocínio financeiro baseado em regras e diagnósticos de conformidade em tabelas financeiras reais, revelando que, embora performem bem na verificação isolada de regras, suas capacidades degradam-se significativamente em tarefas que exigem discriminação de princípios e diagnóstico de múltiplas violações simultâneas.

O essencial

Imagine que você é um detetive financeiro e sua missão é revisar as contas de uma empresa para garantir que tudo está correto, seguindo as "leis" da contabilidade.

Até hoje, os "supercomputadores" de inteligência artificial (chamados de Grandes Modelos de Linguagem ou LLMs) eram ótimos em responder perguntas simples sobre esses números, como "quanto a empresa lucrou?". Mas ninguém sabia se eles conseguiam realmente auditar as contas, ou seja, encontrar erros complexos e explicar por que estavam errados, seguindo regras estritas.

Foi aí que os pesquisadores criaram o FinRule-Bench. Vamos entender como funciona usando uma analogia divertida:

1. O Problema: O Aluno que Decora, mas Não Entende

Imagine que você tem um aluno muito inteligente que decorou todas as respostas de um livro de matemática. Se você perguntar "2+2?", ele responde "4" instantaneamente.
Mas, se você der a ele uma conta de verdade, com um erro de digitação no meio, e perguntar: "Onde está o erro e qual regra foi quebrada?", ele pode ficar confuso. Ele pode achar que o erro é em outro lugar ou inventar um erro que não existe.

Os benchmarks (testes) antigos de IA financeira eram como perguntar apenas "2+2?". Eles não testavam se a IA conseguia encontrar o erro em uma folha de cálculo gigante e complexa.

2. A Solução: O "Simulador de Auditoria" (FinRule-Bench)

Os autores criaram um novo teste chamado FinRule-Bench. Pense nele como um simulador de voo para auditores, mas para IAs.

• O Cenário: Eles pegaram documentos reais de empresas (como balanços patrimoniais) que estavam perfeitamente corretos.
• O Truque: Eles introduziram erros controlados e minúsculos nessas contas corretas. É como se um funcionário tivesse trocado um único número ou escrito "Fundo" em vez de "Dinheiro em Caixa".
• A Missão da IA: A IA precisa olhar para a tabela, saber qual é a regra contábil correta (ex: "Ativos devem ser iguais a Passivos + Patrimônio") e dizer:
  1. "Tem erro?" (Verificação)
  2. "Qual regra foi quebrada?" (Identificação)
  3. "Onde exatamente está o erro e quais são todos os erros?" (Diagnóstico Conjunto)

3. Os Três Níveis do Jogo

O teste tem três níveis de dificuldade, como um videogame:

• Nível 1 (Verificação): Você mostra uma regra e pergunta: "Essa conta segue essa regra?" É como perguntar: "O carro tem pneu?" (Sim/Não). A IA faz bem nisso.
• Nível 2 (Identificação): Você dá uma lista de 10 regras possíveis e diz: "Uma delas foi quebrada. Qual é?" É como mostrar 10 leis de trânsito e perguntar qual o motorista violou. A IA começa a errar mais.
• Nível 3 (Diagnóstico Conjunto - O Difícil): Você diz: "Pode haver vários erros ao mesmo tempo em lugares diferentes. Encontre todos e diga onde estão." É como procurar 3 agulhas em um palheiro, sabendo que elas podem estar misturadas. Aqui é onde a IA falha miseravelmente.

4. A Descoberta Chocante

O estudo descobriu algo interessante:

• As IAs são ótimas em contas simples e isoladas.
• Mas, quando precisam pensar junto (juntar várias regras, olhar para diferentes partes da tabela e entender o contexto), elas ficam confusas.
• Elas frequentemente inventam erros (dizem que há um problema onde não há) ou perdem erros (não veem o problema que está na frente delas).
• Elas também têm dificuldade em apontar exatamente qual linha da tabela está errada. É como se dissessem: "A conta está errada", mas não conseguissem dizer "O erro está na linha 42, coluna B".

5. O "Pulo do Gato" (Raciocínio Causal)

Os pesquisadores tentaram ajudar as IAs usando um método chamado Raciocínio Causal e Contrafactual.
Imagine que você ensina a IA não apenas a ver o erro, mas a imaginar o "e se":

• "Veja, aqui o número está errado. Se eu mudasse esse número de volta para o original, a regra seria cumprida. Entendeu a causa?"

Isso ajudou um pouco, especialmente nas IAs menores, mas não foi suficiente para consertar tudo. Mesmo com essa "ajuda", elas ainda falhavam em encontrar todos os erros ao mesmo tempo.

Resumo em Uma Frase

O FinRule-Bench é um teste rigoroso que mostrou que, embora as IAs sejam ótimas em responder perguntas sobre finanças, elas ainda não são confiáveis para auditar contas reais sozinhas, pois têm dificuldade em encontrar e localizar múltiplos erros complexos seguindo regras estritas.

Por que isso importa?
Porque, no mundo real, se uma IA auditar as contas de um banco ou de uma empresa de energia e deixar passar um erro (ou inventar um), pode causar prejuízos gigantescos ou multas. Este teste nos avisa: "Ei, não confie cegamente na IA para fazer auditoria ainda; precisamos de humanos supervisionando."

Resumo técnico

Resumo Técnico: FinRule-Bench

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais aplicados na análise financeira, mas sua capacidade de auditar demonstrações financeiras estruturadas sob princípios contábeis explícitos permanece pouco explorada.

• Limitação dos Benchmarks Existentes: As avaliações atuais focam principalmente em perguntas e respostas (QA), raciocínio numérico isolado ou detecção de anomalias em dados sinteticamente corrompidos.
• A Lacuna: Não está claro se os modelos conseguem verificar ou localizar a conformidade de regras em demonstrações financeiras corretas. A auditoria real exige "completude diagnóstica": a capacidade de verificar exaustivamente um sistema de regras formais sobre tabelas interdependentes, identificar princípios violados e atribuir cada violação a registros específicos, e não apenas fornecer respostas binárias ou detectar inconsistências isoladas.
• Desafio: A auditoria financeira exige raciocínio estruturado para lidar com identidades aritméticas, restrições de agregação hierárquica e regras de aplicabilidade condicional.

2. Metodologia e Construção do Dataset

O FinRule-Bench foi desenvolvido para preencher essa lacuna, oferecendo um ambiente de avaliação controlado e baseado em dados reais.

• Fonte de Dados: O benchmark utiliza demonstrações financeiras reais extraídas de formulários 10-K (fichas anuais) de empresas, garantindo que os dados de base sejam corretos e estruturados (em Markdown).
• Princípios Contábeis: Foram curados conjuntos explícitos de princípios contábeis (baseados em US GAAP e IFRS) para quatro tipos de demonstrações:
  1. Balanço Patrimonial (Balance Sheet).
  2. Demonstração de Fluxo de Caixa (Cash Flow Statement).
  3. Demonstração de Lucros e Prejuízos (Income Statement).
  4. Demonstração de Mutações do Patrimônio Líquido (Statement of Equity).
• Validadores Determinísticos: Cada regra possui uma função validadora determinística (código executável) que define a "verdade fundamental" (Ground Truth). Isso elimina a ambiguidade na avaliação.
• Injeção Controlada de Erros: Para criar cenários de teste, o benchmark aplica edições mínimas e controladas nas demonstrações limpas para violar princípios específicos. Isso gera dois regimes:
  • Violação Única: Para tarefas de verificação e identificação.
  • Múltiplas Violações: Para tarefas de diagnóstico conjunto, onde várias regras podem ser violadas simultaneamente em diferentes registros.

3. Tarefas de Avaliação

O benchmark define três tarefas de auditoria que exigem capacidades de raciocínio progressivamente mais fortes:

1. Verificação de Regra (Rule Verification): Dada uma tabela e uma única regra, o modelo deve prever se a tabela está em conformidade (Binário: Verdadeiro/Falso).
2. Identificação de Regra (Rule Identification): Dada uma tabela e um conjunto de regras, o modelo deve identificar qual regra específica foi violada (exige discriminação entre princípios concorrentes).
3. Diagnóstico Conjunto de Regras (Joint Rule Diagnosis): Dada uma tabela e um conjunto de regras, o modelo deve detectar se há violações e, se houver, identificar todas as regras violadas e localizá-las no nível do registro (linha da tabela). Esta é a tarefa mais complexa, simulando uma auditoria real.

4. Protocolo de Raciocínio Causal-Contrafactual

Uma inovação metodológica do trabalho é a introdução de um protocolo de raciocínio causal-contrafactual via few-shot prompting:

• Os exemplos fornecidos ao modelo não apenas mostram a resposta, mas explicam a causa da violação e descrevem uma modificação contrafactual mínima que corrigiria a violação.
• O objetivo é testar se o modelo internaliza a estrutura causal e a relevância das regras, permitindo que ele generalize melhor para diagnósticos complexos, em vez de apenas memorizar padrões.

5. Resultados Principais

Os autores avaliaram quatro LLMs (GPT-4o, Gemini 2.5 Pro, Gemini 2.0 Flash e LLaMA 3.3) sob configurações zero-shot, few-shot e few-shot com raciocínio causal.

• Desempenho Decrescente com Complexidade:
  • Verificação: Os modelos performaram bem na verificação de regras isoladas (alta precisão).
  • Identificação: O desempenho caiu significativamente quando o modelo precisou discriminar qual regra foi violada entre várias opções.
  • Diagnóstico Conjunto: Houve uma degradação acentuada. Embora a detecção de que "algo está errado" (Step 1) fosse razoável, a localização exata e completa de todas as violações (Step 2) foi muito baixa.
• Falhas Sistemáticas: Os erros não foram aleatórios. Os modelos tendem a:
  • Ter cobertura incompleta (detectar algumas violações, mas não todas).
  • Cometer falhas de localização (identificar a regra correta, mas apontar o registro errado).
  • Gerar falsos positivos (alucinar violações) em regras numéricas e falsos negativos em regras dependentes de contexto.
• Impacto do Raciocínio Causal: O few-shot com raciocínio causal-contrafactual trouxe ganhos relativos significativos, especialmente para modelos mais leves e em tarefas de diagnóstico complexo. No entanto, para modelos de raciocínio avançado (como o GPT-4o), o ganho foi inconsistente, sugerindo que o "andaime" causal explícito pode, às vezes, interferir no raciocínio interno já sofisticado desses modelos.
• Custo vs. Desempenho: O uso de raciocínio estruturado aumenta o consumo de tokens. Para tarefas simples, o custo extra não se justifica; para diagnósticos complexos, o ganho em precisão pode compensar o custo, mas a eficiência geral ainda é baixa.

6. Contribuições e Significância

• Novo Benchmark: O FinRule-Bench é o primeiro a avaliar o raciocínio baseado em regras sobre demonstrações financeiras reais e corretas, focando na completude diagnóstica e não apenas em QA.
• Análise de Falhas: Revela que os LLMs atuais falham sistematicamente em auditorias que exigem cobertura exaustiva e atribuição precisa, um requisito crítico para aplicações de alto risco.
• Reprodutibilidade: O trabalho libera o código completo, incluindo validadores determinísticos, scripts de injeção de erros e prompts, permitindo que a comunidade científica reproduza e estude os modos de falha dos modelos.
• Implicações Práticas: O estudo alerta que, embora os LLMs sejam úteis para resumos ou perguntas simples, eles não estão prontos para substituir auditores humanos na verificação de conformidade regulatória sem supervisão rigorosa, devido à sua incapacidade de garantir a exaustividade necessária em cenários de múltiplas violações.

Em suma, o FinRule-Bench estabelece um padrão para avaliar a "fidelidade do raciocínio" em domínios financeiros, mostrando que a capacidade de raciocínio lógico e a cobertura diagnóstica dos modelos atuais ainda estão longe do necessário para aplicações de auditoria autônoma.