Financial Audit Assistance using Misinformation Detection and Explanation

Resumo Técnico: Assistência de Auditoria Financeira utilizando Detecção de Desinformação e Explicação

Definição do Problema
A auditoria financeira é uma disciplina complexa e intensiva em conhecimento, que visa garantir a integridade, precisão e imparcialidade das Demonstrações Financeiras (DF) publicadas, incluindo o Balanço Patrimonial (BP), a Demonstração do Resultado do Exercício (DRE) e a Demonstração do Fluxo de Caixa (DFC). No entanto, as empresas frequentemente possuem incentivos para ocultar, omitir ou falsificar informações para deturpar sua saúde financeira (por exemplo, para reduzir passivos tributários ou aumentar a confiança dos investidores). A auditoria tradicional depende fortemente da coleta manual de evidências e de um profundo conhecimento especializado, tornando o processo demorado e subjetivo. Além disso, rótulos de verdade fundamental (ground-truth) indicando se uma DF específica contém desinformação são raramente disponíveis, tornando difícil a aplicação de abordagens padrão de aprendizado supervisionado. O artigo aborda a necessidade de um sistema assistido por IA que possa detectar automaticamente instâncias de desinformação em DF e gerar explicações compreensíveis para humanos sobre as anomalias detectadas para auxiliar os auditores.

Metodologia
A abordagem proposta integra técnicas não supervisionadas com Processamento de Linguagem Natural (PLN) para criar um sistema de assistência à auditoria escalável. A metodologia é estruturada em três fases primárias:

1. Preparação de Dados e Rotulagem de Prata (Silver Labeling):

   • Conjunto de Dados: O sistema utiliza um grande corpus de DF semiestruturadas de 2.292 empresas listadas na Índia ao longo de cinco anos (2010–2014), totalizando 11.460 registros. Cada registro inclui 42 variáveis financeiras (extraídas do BP, DRE e DFC) e 22 índices financeiros.
   • Geração de Rótulos de Prata: Como os rótulos de verdade fundamental para desinformação não estão disponíveis, os autores geram "rótulos de prata" analisando relatórios de auditoria associados. Eles empregam dois modelos — um codificador-decodificador baseado em T5 e um Modelo de Linguagem Grande (LLM) MISTRAL-7B-Instruct — para classificar sentenças em relatórios de auditoria como "Observações Adversas" (indicando potencial não conformidade ou fraude) ou "NA".
   • Lógica de Rotulagem: Uma tupla empresa-ano recebe o rótulo "MISINFO" se seu relatório de auditoria contiver pelo menos duas sentenças classificadas como observações adversas por ambos os modelos T5 e MISTRAL. Este processo resultou em um conjunto de dados onde aproximadamente 19,8% dos registros foram rotulados como contendo desinformação.

2. Detecção de Desinformação (Técnicas Não Supervisionadas):

   • Detecção de Anomalias (AD): Os autores aplicam 17 algoritmos de detecção de anomalias não supervisionados (incluindo COF, LOF, iForest e distância de Mahalanobis) implementados no pacote PyOD. Um método de ensemble seleciona as 20 principais empresas sinalizadas pelo maior número de algoritmos.
     {% %}% Regressão Passo a Passo: O sistema constrói modelos de regressão (OLS, Lasso, Ridge, SVR, Random Forest) para prever variáveis financeiras "suscetíveis" (ex: passivos) com base em outras variáveis correlacionadas. Empresas com os maiores erros de previsão quadráticos são sinalizadas como suspeitas. Modelos de Regressão de Vetores de Suporte (SVR) demonstraram a maior precisão nesta categoria.

3. Geração de Explicação:

   • Objetivo: Identificar as variáveis financeiras específicas responsáveis por uma empresa ser sinalizada como anômala.
   • Explicações de Padrão de Prata: Em vez de validação manual, os autores constroem explicações de "padrão de prata" mapeando as sentenças de "Observação Adversa" em relatórios de auditoria para variáveis financeiras. Isso envolve atribuir categorias XBRL (eXtensible Business Reporting Language) às sentenças e mapear essas categorias para as 42 variáveis financeiras usadas no conjunto de dados estruturado.
   • Algoritmos: Três métodos de geração de explicação são avaliados contra o padrão de prata:
     • EMD (Explicação usando Distância de Mahalanobis): Identifica subconjuntos de características onde a diferença de classificação de um ponto anômalo excede um limiar estatístico.
     • EiForest (Explicação usando iForest): Utiliza características baseadas em caminhos de árvores de Isolation Forest para identificar variáveis que contribuem para o isolamento.
     • EMI (Explicação usando Isolamento Máximo): Formula o problema como uma tarefa de Programação Linear Inteira (ILP) para encontrar uma conjunção de condições que isole maximamente o ponto anômalo do restante do conjunto de dados.
   • Sugestões de Auditoria: O sistema mapeia as variáveis explicativas identificadas de volta para sentenças específicas de observações adversas de relatórios de auditoria passados, transformando-as em sugestões de auditoria acionáveis (ex: "Verifique se as provisões para impostos pendentes foram feitas").

Principais Contribuições
O artigo reivindica várias contribuições originais sobre pesquisas anteriores (especificamente Shinde et al., 2022; Vaishampayan et al., 2022; e Pawar et al., 2023):

1. Escala e Escopo: O conjunto de dados é significativamente maior (11.460 registros ao longo de 5 anos vs. dados de um único ano em trabalhos anteriores) e integra múltiplos tipos de DF (BP, DRE e DFC) em vez de apenas Balanços Patrimoniais.
2. Variáveis Expandidas: A inclusão de variáveis financeiras adicionais das demonstrações de resultado e fluxo de caixa aumenta a eficácia da detecção.
3. Rotulagem de Prata Automatizada: A proposta de duas estratégias (usando LLMs e classificadores T5) para gerar automaticamente rótulos de prata para todo o conjunto de dados, substituindo a necessidade de pequenos subconjuntos rotulados manualmente.
4. Modelo de Classificação Melhorado: O uso de um modelo codificador-decodificador T5 para classificação de sentenças em relatórios de auditoria, que fornece tanto rótulos de classificação quanto explicações, superando o modelo Attn-BERT anteriormente utilizado.
5. Geração de Explicação Automatizada: A introdução de um método não supervisionado para gerar automaticamente explicações de padrão de prata usando mapeamento XBRL, eliminando o esforço manual exigido em estudos anteriores.
6. Automação de Ponta a Ponta: A integração desses componentes cria um sistema que remove o trabalho manual do processo de geração de assistência, visando eficiência, escalabilidade e objetividade.

Resultos

• Desempenho de Detecção: Na detecção de anomalias, o algoritmo Connectivity-Based Outlier Factor (COF) alcançou a maior Precisão@20 (0,60) para o ano de 2014, enquanto o Local Outlier Factor (LOF) mostrou a maior precisão média ao longo dos cinco anos (0,56). Entre os modelos de regressão, os modelos baseados em SVR alcançaram a maior precisão média (Precision@20) (até 0,83 para modelos específicos).
• Desempenho de Explicação: O algoritmo EiForest demonstrou a maior Precisão média (0,25), Recall (0,27) e F1-score (0,24) quando comparado ao ground truth das explicações de padrão de prata. O algoritmo EMI alcançou uma precisão média de 0,21. Os autores observam que, embora essas métricas sejam modestas, elas representam uma melhoria em relação a estudos anteriores ao considerar a maior complexidade e o número de variáveis (42 vs. 18 em estudos anteriores).
• Comparação de Modelos: O classificador T5 alcançou um F1-score de 0,80 para a classificação de observações adversas, superando o modelo Attn-BERT (F1=0,72).

Significância e Alegações
O artigo posiciona este trabalho como um passo fundamental em direção a um sistema de Assistência ao Auditor assistido por IA. A principal significância reside na capacidade de extrair insights de um enorme corpus histórico de DF e relatórios de auditoria para fornecer assistência objetiva e baseada em dados. Os autores afirmam que, ao automatizar a detecção de potencial desinformação e a geração de explicações (via mapeamento XBRL), o sistema pode reduzir o tempo, o custo e a subjetividade envolvidos na auditoria. O objetivo é ajudar os auditores a concentrar seus esforços em áreas específicas de alto risco identificadas pelo sistema. Os autores declaram explicitamente que o sistema foi projetado para auxiliar auditores humanos, não para substituí-los, oferecendo sugestões focadas para exploração e validação adicional de processos de negócios. O trabalho serve como uma integração e extensão de sua pesquisa anterior, demonstrando eficácia em um conjunto de dados significativamente maior e mais diversificado.