Resumo Técnico: FinBalance: Um Benchmark de Reconciliação Contábil Multidocumento

Definição do Problema

Os benchmarks atuais de Processamento de Linguagem Natural (NLP) para o setor financeiro avaliam predominantemente modelos sobre artefatos pré-processados, como tabelas extraídas de relatórios ou demonstrações financeiras pré-computadas. Os modelos são tipicamente incumbidos de responder perguntas ou realizar análises sobre esses outputs já estruturados. No entanto, os fluxos de trabalho contábeis do mundo real começam antes: eles exigem a reconciliação de documentos de origem brutos (faturas, extratos bancários, contratos, avisos de pagamento) em lançamentos de diário, a agregação desses lançamentos em um balanço patrimonial e a detecção de contradições dentro do conjunto de documentos.

Benchmarks existentes falham em testar este pipeline "da fonte ao demonstrativo". Eles não exigem que os modelos:

1. Extraiam lançamentos de diário equilibrados citando documentos comprobatórios específicos.
2. Agreguem lançamentos em um balanço patrimonial final que respeite a equação contábil.
3. Identifiquem e classifiquem inconsistências entre os documentos de origem, em vez de resolvê-las silenciosamente.

Metodologia: O Benchmark FinBalance

Os autores introduzem o FinBalance, um benchmark sintético, porém de autoria humana, projetado para simular o pipeline completo de reconciliação contábil.

Construção do Benchmark

• Arquitetura do Gerador: Um gerador determinístico compõe registros com base em especificações elaboradas por humanos. Estas especificações definem cenários de negócios, esquemas de documentos, políticas contábeis, tratamentos de impostos/câmbio (FX) e templates de inconsistência.
• Composição de Dados: O gerator amostra dessas especificações para criar conjuntos de documentos contendo:
  • Documentos de Lançamento: Faturas, contas a pagar, extratos, comprovantes.
  • Documentos de Suporte: Contratos, tabelas de taxas, certificados.
  • Documentos de Ajuste: Provisões de fechamento de período, rollforwards.
  • Distratores: Documentos visualmente plausíveis, mas neutros (duplicatas, avisos de anulação).
  • Saldo Inicial do Balancete: O estado inicial do razão.
• Verdade Fundamental (Ground Truth): Como o gerador utiliza um razão de partidas dobradas fixo, a verdade fundamental (lançamentos de diário, balanço patrimonial final e códigos de inconsistência) é computável, auditável e reproduzível. Não ocorre rotulagem manual após a geração.
• Escopo: O benchmark cobre oito indústrias (ex: varejo, saúde, SaaS), três tipos de período (mês, trimestre, ano) e cinco níveis de dificuldade. Inclui flags de conceitos para áreas contábeis complexas como reconhecimento de receita ASC 606, arrendamentos, impostos diferidos e tributação multijurisdicional.
• Tratamento de Inconsistências: Um subconjunto específico de registros (32% da divisão principal) contém "inconsistências forçadas" (ex: divergências no total da fatura, certificados de isenção inválidos). Para estes, o output correto do modelo é uma flag de inconsistência e um código, não um balanço patrimonial reconciliado.

Métricas de Avaliação

O artigo introduz duas méticas complementares para distinguir entre geração de lançamentos e auticonsistência:

1. $BS_{exact}$: Mede se o balanço patrimonial final autorrelatado pelo modelo coincide exatamente com a verdade fundamental.
2. $BS_{recon}$: Analisa os lançamentos de diário gerados pelo modelo, os reproduz através do razão determinístico contra o saldo inicial e verifica se o balanço patrimonial implícito coincide com a verdade fundamental.
   • A diferença ($BS_{recon} - BS_{exact}$) é definida como o gap de agregação, indicando se um modelo consegue gerar lançamentos corretos, mas falha ao agregá-los de forma consistente.
3. Correspondência de Lançamentos (Entry Matching): Exige correspondência estrita de contas de débito/crédito, valores e referências de documentos ordenadas ($doc\_refs$).
4. Correspondência de Código de Inconsistência: Para registros de inconsistência forçada, a taxa de identificação correta do código de contradição específico.

Configuração Experimental

• Modelos: Seis Large Language Models (LLMs) contemporâneos foram avaliados: Gemini 3 Flash, GPT-5, Claude Haiku 4.5, Grok-4.3, DeepSeek Chat e Qwen 3 235B.
• Estudos de Ablação: Os autores testaram várias intervenções, incluindo:
  • Pressão de Citação: Prompts explícitos para citar documentos.
  • Visibilidade: Remoção de listas de contas ou documentos de suporte.
  • Estresse de Contexto: Adição de distratores ou atraso da evidência relevante.
  • Feedback do Razão: Fornecer ao modelo o delta entre o balanço patrimonial relatado e o implícito pelos seus próprios lançamentos, permitindo uma rodada de revisão.
  • Best-of-3: Amostragem de múltiplos candidatos e seleção do melhor.
• Validação: Profissionais de finanças especialistas de grandes bancos de investimento e um contador certificado revisaram um subconjunto de registros para validar o design do benchmark, a calibração de dificuldade e a correção dos rótulos.

Principais Resultados

1. Baixo Desempenho Geral

No split de avaliação de 710 registros, o modelo de melhor desempenho (GPT-5) alcançou apenas 46% de precisão exata do balanço final ($BS_{exact}$). A precisão ponta-a-ponta estrita, fundamentada em documentos, permaneceu significativamente menor.

2. O Gap de Agregação

Uma descoberta crítica é a divergência entre a qualidade do lançamento e a consistência do demonstrativo final:

• Quatro dos seis modelos exibiram um gap de 26 a 41 pontos percentuais entre o $BS_{recon}$ (lançamentos reproduzidos) e o $BS_{exact}$ (autorrelatado).
• Por exemplo, o DeepSeek Chat alcançou um $BS_{recon}$ de 47,3%, mas apenas 6,7% de $BS_{exact}$.
• Isso indica que os modelos frequentemente geram lançamentos numericamente plausíveis, mas falham em vinculá-los à evidência ou agregá-los em um demonstrativo auticonsistente. O GPT-5 foi um outlier, mostrando alta auticonsistência (46,5% $BS_{exact}$ vs. 46,3% $BS_{recon}$).

3. O Vínculo de Documentos como o Principal Modo de Falha

• Desambiguação de Recuperação: Em lançamentos com contas e valores corretos, 52% citaram os documentos de suporte errados.
• Ineficácia do Prompt: Prompts de "pressão de citação" explícitos reduziram essa taxa de erro em apenas 1,4 pontos percentuais.
• Dependência de Evidência: Quando os modelos receberam um oráculo de "apenas evidência" (escondendo distratores), a taxa de erro caiu 26,4 pontos percentuais, sugerindo que a falha está na seleção da evidência correta, e não no seguimento das instruções de citação.

4. Impacto do Feedback do Razão

• Reparo de Balanços Patrimoniais: Fornecer feedback do razão (deltas entre o balanço relatado e o implícito) melhorou o $BS_{exact}$ em 30–33 pontos percentuais para modelos com gap de agregação.
• Trade-off: Essa melhoria veio com um custo. O feedback do razão degradou a detecção de códigos de inconsistência em 13–52 pontos percentuais em modelos menores. O mecanismo de feedback enviesa o modelo para reconciliar documentos contraditórios em vez de sinalizá-los como erros.

5. Dificuldade e Contexto

• Escalonamento de Dificuldade: A precisão caiu drasticamente de 88% no Nível de Dificuldade 1 para 0% no Nível 5.
• Contexto vs. Lógica: Embora a adição de distratores (estresse de contexto) tenha reduzido a precisão, o principal motor da falha foi a complexidade das dependências contábeis e a escolha de documentos, não meramente o comprimento do contexto.

Significância e Alegações

Os autores posicionam o FinBalance não como um problema resolvido, mas como um testbed diagnóstico e um pré-requisito controlado para implantação no mundo real.

• Necessidade do Benchmark: O artigo argumenta que, se um modelo não consegue reconciliar pacotes de documentos limpos e totalmente especificados com a verdade fundamental exata, é improvável que seja confiável em ambientes contábeis reais, onde layouts, erros de OCR e evidências ausentes são mais desordenados.
• Sintético, mas de Autoria Humana: Embora os dados sejam sintéticos, a lógica contábil, as políticas e os cenários são de autoria humana, garantindo que o benchmark teste o raciocínio de domínio genuíno e não padrões inventados pelo modelo.
• Valor Diagnóstico: O benchmark revela modos de falha específicos (gaps de agregação, desambiguação de recuperação) que são invisíveis em benchmarks de QA padrão.
• Utilidade Futura: Ao liberar o gerador (em vez de apenas um dataset estático), os autores permitem a criação de amostras novas e estratificadas para evitar a contaminação de dados e permitir a expansão do espaço de cenários (novas indústrias, políticas, contradições) sem necessidade de rotulagem manual.

O artigo conclui que os LLMs atuais lutam com o pipeline completo documentado. Embora possam identificar lançamentos plausíveis, eles falham em vinculá-los consistentemente à evidência e agregá-los em um balanço final correto, destacando um gap significativo entre as capacidades atuais e os requisitos dos fluxos de trabalho contábeis profissionais.