FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs

Resumo Técnico: FINAUDITING

1. O Problema

A auditoria financeira moderna vai além do processamento de texto simples; ela exige a detecção de inconsistências semânticas, estruturais e numéricas em grandes volumes de divulgações financeiras. Atualmente, esses relatórios são arquivados no formato XBRL (Extensible Business Reporting Language), uma estrutura XML hierárquica governada por padrões contábeis (como as US-GAAP).

Os desafios principais identificados pelos autores são:

• Complexidade Estrutural: As inconsistências muitas vezes ocorrem entre documentos interconectados (ex: um resumo de alto nível vs. detalhes de sub-documentos), tornando a verificação manual quase impossível.
• Limitações dos Modelos Atuais: Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado em tarefas financeiras isoladas, sua capacidade de realizar auditoria profissional — que exige raciocínio consistente sobre hierarquias, relações definidas por taxonomias e dependências entre documentos — permanece incerta.
• Deficiências em Benchmarks Existentes: Benchmarks financeiros atuais (como FinQA ou MultiHiertt) sofrem de três limitações fundamentais:
  1. Isolamento Contextual: Focam em snippets de texto ou tabelas isoladas, ignorando dependências entre documentos.
  2. Avaliação Superficial: Avaliam apenas correção semântica ou numérica local, sem testar o raciocínio estrutural em múltiplos passos.
  3. Subutilização de Taxonomias: Não avaliam se os modelos conseguem recuperar e raciocinar sob as restrições das taxonomias oficiais (GAAP).

2. Metodologia

Os autores introduzem o FINAUDITING, um benchmark alinhado à taxonomia e consciente da estrutura, construído a partir de arquivamentos reais de XBRL compatíveis com US-GAAP.

Construção do Dataset:

• Fonte de Dados: Coletado a partir de mensagens de erro oficiais do Data Quality Committee (DQC) da XBRL US (2020-2024), cobrindo 372 empresas.
• Processamento: Selecionaram os 9 tipos de erro mais frequentes (cobrindo 60,33% dos casos) e recuperaram 218 arquivamentos XBRL do banco de dados SEC EDGAR.
• Segmentação: Os arquivos XBRL completos (que contêm documentos de instância, esquema e vários linkbases) foram segmentados em nível de demonstração financeira para manter a fidelidade estrutural, mas torná-los gerenciáveis para LLMs de contexto longo.
• Digitalização da Taxonomia: A taxonomia US-GAAP foi convertida em "chunks" (fragmentos) centrados em conceitos, divididos em core chunks (atributos intrínsecos) e relation chunks (ligações hierárquicas, de cálculo e definição).

Tarefas Definidas:
O benchmark define três tarefas complementares para avaliar a auditoria estruturada:

1. FinSM (Financial Semantic Matching): Identifica se as tags financeiras nos arquivos XBRL estão semanticamente alinhadas com os conceitos padronizados da taxonomia US-GAAP. É uma tarefa de recuperação de informação.
2. FinRE (Financial Relationship Extraction): Detecta erros nas relações hierárquicas e composicionais entre itens financeiros (ex: inversão de pai/filho, associação inadequada, combinações inválidas de eixos e membros).
3. FinMR (Financial Mathematical Reasoning): Verifica a correção numérica baseada na lógica contábil e nas relações de cálculo definidas no XBRL. O modelo deve extrair valores reportados e calcular os valores reais para comparar a consistência.

Avaliação:
Foi realizada uma avaliação zero-shot de 13 LLMs de última geração, incluindo modelos proprietários (GPT-4o), modelos de código aberto de vários tamanhos (Llama, Qwen, DeepSeek, Gemma) e modelos especializados em finanças (Fin-o1, Fin-R1).

3. Principais Contribuições

1. Recurso Financeiro Baseado em Taxonomia: O primeiro benchmark construído a partir de arquivamentos XBRL do mundo real que integra explicitamente estruturas de múltiplos documentos e taxonomias oficiais para avaliação.
2. Design de Tarefas Consciente da Estrutura: Propõe três subtarefas (FinSM, FinRE, FinMR) que capturam os desafios de raciocínio semântico, relacional e numérico inerentes às informações financeiras estruturadas.
3. Avaliação Sistemática: Fornece uma avaliação inicial abrangente de 13 SOTA LLMs, demonstrando que o benchmark é agnóstico ao modelo e projetado para suportar arquiteturas complexas, como pipelines RAG (Retrieval-Augmented Generation) e sistemas de auditoria multi-agente.

4. Resultados e Análise Empírica

Os resultados revelam lacunas significativas no desempenho dos modelos atuais:

• Desempenho Geral: Mesmo os modelos mais avançados (como GPT-4o e DeepSeek-V3) apresentam desempenho substancialmente abaixo do necessário para auditoria profissional.
• FinSM (Semântica): O desempenho de recuperação é uniformemente baixo (Hit Rate @20 < 13% para a maioria). Aumentar o tamanho do modelo ou usar pré-treinamento financeiro não garante melhoria, indicando que os modelos falham em identificar conceitos contábeis semanticamente inadequados sob restrições estritas de taxonomia.
• FinRE (Relações): É uma tarefa extremamente desafiadora. O GPT-4o teve o melhor desempenho, mas a maioria dos modelos de código aberto e modelos financeiros especializados falhou em generalizar. A categoria "CombinationErr" (combinações inválidas de eixos e membros) foi a mais difícil, com a maioria dos modelos atingindo F1 próximo de zero.
• FinMR (Raciocínio Matemático): A precisão geral foi baixa (o melhor modelo, Fin-o1-14B, atingiu apenas 13,86%).
  • Tipos de Erro: A maioria das falhas (70-83%) deve-se a erros de cálculo (CER), não à extração de dados. Os modelos conseguem localizar os fatos, mas falham em executar ou validar as relações aritméticas de múltiplos passos definidas pela taxonomia.
  • Erros Estruturais: Muitos modelos falharam em gerar a saída no formato JSON estruturado exigido (SER alto), o que impede a avaliação correta mesmo quando o raciocínio numérico está correto.

5. Significado e Conclusão

O estudo conclui que os LLMs atuais, mesmo os mais potentes, ainda não possuem as capacidades fundamentais necessárias para a auditoria financeira automatizada de nível profissional. As limitações principais residem na falta de fundamentação estrutural (entender hierarquias e taxonomias) e na consciência de raciocínio explícito sobre regras contábeis.

O FINAUDITING serve como um teste de alta fidelidade para expor essas falhas e orienta o desenvolvimento futuro de modelos que não apenas "leiam" texto financeiro, mas que compreendam e raciocinem sobre a estrutura lógica e regulatória dos dados financeiros. O dataset e o código de avaliação foram disponibilizados publicamente para fomentar pesquisas em inteligência financeira confiável.