AuditFraudBench: Benchmarking Audit Judgment in Detecting Fraudulent Misstatements

Resumo Técnico do AuditFraudBench: Avaliando o Julgamento de Auditoria na Detecção de Distorções Fraudulentas

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado proficiência em análise financeira, previsão e detecção de erros factuais ou numéricos superficiais, sua capacidade de identificar distorções financeiras fraudulentas permanece pouco explorada. Diferente de erros simples, as distorções fraudulentas frequentemente envolvem divulgações plausíveis e aparentemente conformes que ocultam impulsionadores de desempenho distorcidos, escolhas contábeis oportunistas ou contextos de risco omitidos. Essas divulgações podem ser internamente consistentes em seus números, mas estrategicamente estruturadas para induzir investidores ao erro em relação às verdadeiras fontes de desempenho (por exemplo, atribuir o crescimento a operações sustentáveis quando, na verdade, ele é impulsionado pelo adiamento de despesas ou pelo tempo de reconhecimento de receita). Os benchmarks existentes focam primariamente em verificação de fatos, consistência numérica ou conformidade com regras, falhando em avaliar a tarefa mais complexa de detectar narrativas estrategicamente enganosas e manipulações contábeis disfarçadas baseadas em casos reais de aplicação da lei.

Metodologia
Para abordar essa lacuna, os autores introduzem o AuditFraudBench, um benchmark fundamentado em processos de aplicação da lei e construído a partir de documentos corporativos autênticos. O conjunto de dados é derivado de comunicados de aplicação de medidas de auditoria e contabilidade (AAERs) da U.S. Securities and Exchange Commission (SEC), relatórios 10-K e 10-Q originais e retificados, demonstrações financeiras estruturadas e divulgações de Discussão e Análise da Administração (MD&A).

O pipeline de construção do benchmark envolve:

1. Coleta de Dados: Raspagem das páginas de índice de AAER da SEC para extrair metadados e download de documentos de aplicação da lei.
2. Processamento e Limpeza: Extração de texto, segmentação e controle de qualidade para remover arquivos corrompidos ou não analisáveis.
3. Identificação de Casos: Uso de uma combinação de recursos baseados em regras e compreensão semântica (via DeepSeek) para identificar casos substantivos de manipulação contábil.
4. Aprimoramento Estruturado e Alinhamento: Extração de campos específicos (ex: mecanismos de manipulação, períodos fiscais) e alinhamento dos AAERs com os relatórios originais e retificados correspondentes do sistema EDGAR da SEC para criar pares "original–retificado".
5. Construção de Amostras: Integração de sinais de fatos financeiros estruturados (dados XBRL) e sinais de evidência narrativa (passagens de MD&A) para formar amostras supervisionadas.

O benchmark avalia os LLMs através de três tarefas complementares:

• Tarefa 1: Atribuição de Fonte de Lucro: Determinar se a explicação de uma gestão para uma mudança de desempenho é correta ou enganosa, e identificar o verdadeiro impulsionador subjacente (ex: reconhecimento prematuro de receita, liberação de reservas) com base nos números originais vs. retificados.
• Tarefa 2: Detecção de Narrativa Enganosa: Avaliar se uma passagem de divulgação cria uma impressão enganosa (ex: através de ênfase seletiva ou contexto omitido), mesmo que o texto não seja explicitamente falso isoladamente.
• Tarefa 3: Classificação de Padrões de Fraude: Mapear o mecanismo específico de má conduta descrito nas ações de aplicação da lei para categorias predefinidas: Tempo de Receita (Revenue Timing), Estimativa Contábil (Accounting Estimate), Suavização de Lucros (Earnings Smoothing), Adiamento de Despesas (Expense Deferral) ou Distorção Narrativa (Narrative Distortion).

Principais Contribuições

1. Dataset AuditFraudBench: A criação do primeiro benchmark fundamentado em aplicação da lei, projetado especificamente para avaliar LLMs na detecção de desinformação financeira fraudulenta em relatórios corporativos auditados, focando em narrativas enganosas e manipulação contábil disfarçada.
2. Design de Tarefas: A formulação de três tarefas complementares que exigem que os modelos raciocinem conjuntamente sobre figuras financeiras, enquadramento de divulgação, evidências de retificação e mecanismos de fraude fundamentados em aplicação da lei, indo além da simples verificação de fatos.
3. Avaliação Baseada em Evidências: A construção do benchmark a partir de fontes regulatórias autênticas (AAERs) e relatórios, permitindo uma avaliação que reflete melhor o julgamento de auditoria e a análise de divulgação relevante para o investidor.

Resultados de Avaliação
Os autores avaliaram uma gama de LLMs proprietários (série GPT) e de código aberto (séries DeepSeek, Qwen), incluindo variantes de raciocínio e não-raciocínio.

• Tarefa 1 (Atribuição de Fonte de Lucro): A maioria dos modelos alcançou precisão de classificação quase perfeita (frequentemente 1.000), identificando corretamente se uma atribuição era enganosa. No entanto, as métricas de explicação (ROUGE) permaneceram baixas (ex: o GPT-5.5 atingiu apenas 0,249 ROUGE-1), indicando que os modelos frequentemente falham em articular precisamente o verdadeiro impulsionador contábil, apesar da classificação correta.
• Tarefa 2 (Detecção de Narrativa Enganosa): Esta provou ser a tarefa mais difícil. Todos os modelos tiveram um desempenho insatisfatório, com o melhor modelo (Qwen3-32b-R) alcançando apenas 0,245 de precisão e 0,393 de F1. Isso sugere desafios significativos na detecção de impressões enganosas que não são explicitamente falsas.
• Tarefa 3 (Classificação de Padrão de Fraude): Os modelos mostraram uma habilidade moderada, porém limitada. O GPT-5.5 alcançou a maior precisão de classificação (0,522), enquanto o Qwen3-32b-R obteve as melhores pontuações de explicação.
• Observações Gerais:
  • Raciocínio vs. Não-Raciocínio: Modelos ajustados para raciocínio não superaram consistentemente seus equivalentes de não-raciocínio; em alguns casos, apresentaram desempenho inferior.
  • Escala do Modelo: O aumento do tamanho do modelo (ex: de Qwen3-8b para Qwen3-32b) não garantiu melhoria, particularmente para a qualidade da explicação.
  • Desempenho de Família: Modelos proprietários fortes (GPT, DeepSeek) não dominaram de forma confiável os modelos menores de código aberto (Qwen) em todas as métricas.

Significância
O artigo postula que o AuditFraud-Bench fornece um campo de teste desafiador para a avaliação de LLMs relevante à auditoria e fundamentada em evidências. Os resultados indicam que os modelos atuais, independentemente de seu tamanho ou arquitetura, lutam para raciocinar conjuntamente sobre evidências financeiras, enquadramento narrativo e mecanismos de fraude fundamentados em aplicação da lei. Os autores concluem que a detecção de tal desinformação de alto risco e intencionalmente disfarçada requer capacidades de raciocínio financeiro e contábil especializadas que vão além da escala genérica do modelo ou do ajuste de raciocínio genérico. O benchmark serve, portanto, como uma ferramenta necessária para avaliar sistematicamente se os LLMs podem apoiar a análise financeira e a assistência de auditoria no reconhecimento de desinformação estratégica.