Resumo Técnico: AUDITFLOW

Definição do Problema

A verificação de auditoria financeira estruturada apresenta um desafio significativo para agentes de Grandes Modelos de Linguagem (LLMs). Diferente de tarefas baseadas em texto padrão, a correção na auditoria financeira depende de evidência estruturada em vez de apenas linguagem natural. Um agente deve vincular fatos relatados a conceitos específicos de taxonomia, percorrer relações complexas de cálculo ou dimensionais, recomputar valores esperados e aplicar regras de auditoria.

As abordagens atuais frequentemente falham porque dependem do LLM para realizar a interpretação final, o cálculo aritmético ou a aplicação de regras. Benchmarks como o FinAuditing mostram que mesmo os modelos mais fortes avaliados alcançam apenas 13,86% de precisão em tarefas de consistência numérica. A dificuldade central reside no fato de que a correção não está armazenada em uma única frase, mas emerge da interação entre os fatos relatados e as restrições estruturais que os governam. Os frameworks existentes, baseados em ferramentas ou multiagentes, frequentemente deixam o fardo da verificação dentro do modelo de linguagem, que tem dificuldades com aritmética determinística e adesão estrita a regras.

Metodologia: AUDITFLOW

Os autores propõem o AUDITFLOW, um framework multiagente fundamentado em grafos, projetado para separar a busca adaptativa (gerenciada por agentes de LLM) da verificação determinística (gerenciada por um ambiente simbólico).

1. Ambiente Simbólico de Grafo Duplo

O AUDITFLOW constrói um ambiente simbólico ($E$) composto por dois grafos interconectados:

• Grafo Regulatório Estático ($G^y_T$): Codifica a taxonomia US-GAAP. Os nós representam conceitos com metadados (rótulos, definições, tipos de dados) e as arestas codificam relações de apresentação, cálculo e dimensionalidade.
• Grafo de Arquivos Dinâmico ($G_F$): Codifica o arquivamento XBRL específico. Os nós representam fatos relatados, contextos, períodos e unidades.
• Arestas de Ponte (Bridge Edges): Vinculam os fatos relatados no grafo de arquivos aos seus conceitos de taxonomia governantes no grafo estático, permitindo que o sistema navegue de um número específico para suas restrições regulatórias e vice-versa.

2. Interface de Ação-Observação Tipada

Os agentes interagem com este ambiente através de ferramentas tipadas e determinísticas, em vez de operações de grafo de formato livre. As ferramentas são categorizadas em:

• Recuperação (Retrieval): Busca metadados de conceitos, fatos e contextos.
• Navegação (Traversal): Navega em árvores de cálculo e estruturas dimensionais.
• Forense: Compara fatos entre períodos, dimensões e magnitudes.
• Verificadores Determinísticos (Deterministic Checkers): Executa verificações terminais específicas de regras (ex: consistência de sinal, consistência da árvore de cálculo, agregação dimensional). Estes verificadores retornam observações estruturadas (vereditos, valores esperados, fatos de suporte) que o LLM não pode sobrescrever.

3. Protocolo de Auditoria de Três Agentes

O framework emprega um fluxo de trabalho especializado de multiagentes:

• Auditor de Conformidade ($A_1$): Adota uma abordagem de "especificação primeiro". Ele parte dos metadados da taxonomia e das regras, e então verifica os fatos relatados contra as restrições. Ele utiliza ferramentas de taxonomia estática.
• Auditor Forense ($A_2$): Adota uma abordagem de "evidência primeiro". Ele parte dos fatos relatados, realiza comparações de período e decomposições dimensionais, e então confirma os resultados usando as mesmas verificações determinísticas. Ele utiliza tanto ferramentas estáticas quanto dinâmicas.
• Auditor Sênior ($A_s$): Revisa os relatórios de $A_1$ e $A_2$. Se eles concordarem, o sistema prossegue. Se houver discordância, o Auditor Sênior identifica a fonte do conflito (ex: fatos ausentes, período incorreto) e fornece feedback direcionado, enviando os juniores para investigação adicional. O Auditor Sênior gerencia a interação, mas não substitui as ferramentas determinísticas.

4. Agregação de Evidências

O veredito final não é um simples voto, mas o resultado de raciocínio de evidência (teoria de Dempster-Shafer). Cada relatório de auditoria júnior é mapeado para uma função de massa sobre as hipóteses {Violação, Consistente, Ignorância}. Essas massas são fundidas para produzir um veredito final, um valor esperado, um rastro de evidência e um índice de confiabilidade ($\tau$), que mede a quantidade de evidência não resolvida.

Principais Contribuições

1. Definição de Verificação Fundamentada em Grafos: O artigo define uma nova formulação de tarefa onde a resposta depende de fatos de arquivos, restrições de taxonomia, verificações numéricas e evidências inspecionáveis, em vez de apenas geração de texto.
2. Framework AUDITFLOW: Um sistema de grafo duplo e multiagente que conecta o conhecimento da taxonomia US-GAAP com a evidência específica do arquivo, expondo ambos através de ferramentas determinísticas tipadas.
3. Separação de Busca-Computação: Os autores demonstram que separar o papel do LLM (guiar a busca) do papel do ambiente (executar verificações determinísticas) é crucial para uma verificação de auditoria confiável.

Resultados Experimentais

O framework foi avaliado em um subconjunto de 67 instâncias da tarefa FinAuditing FinMR, cobrindo três famílias de regras do Comitê de Qualidade de Dados (DQC).

• Desempenho: Sob o GPT-5.5, o AUDITFLOW alcançou 82,09% de precisão de auditoria conjunta, superando o baseline mais forte (Agente Único) em 14,93 pontos percentuais. Também superou métodos baseados em recuperação (GraphRAG, TreeRAG) e benchmarks existentes (FinAuditing, Herculean) em todos os backbones testados (GPT-4o, Claude Sonso 4.6, Qwen-397B).
• Robustez: O sistema manteve alta precisão (80,60%) em diferentes modelos de backbone fortes, indicando que a eficácia do framework não está atrelada a um único modelo proprietário.
• Estudos de Ablação:
  • Verificações Determinísticas: A remoção do ambiente simbólico de verificações determinísticas fez a precisão despencar de 82,09% para 17,91%, provando que o LLM não consegue substituir confiavelmente a etapa de verificação.
  • Portão de Ferramenta Obrigatória (Required-Tool Gate): A remoção do portão que força os agentes a completar verificações específicas antes de finalizar aumentou as saídas inválidas de 1,49% para 17,91%.
  • Agregação de Evidências: A remoção da etapa de fusão reduziu a precisão para 77,61%.

Significância e Alegações

O artigo argumenta que agentes de auditoria confiáveis devem ser construídos em torno de ambientes estruturados executáveis, em vez de apenas raciocínio baseado em texto. A principal contribuição é a demonstração de que, embora os LLMs sejam eficazes em navegar em espaços de informação complexos (busca), eles são pouco confiáveis ao realizar as etapas finais de verificação que sustentam o processo (computação).

Os autores afirmam que o AUDITFLOW aborda com sucesso o "gap de verificação" na IA financeira ao:

1. Delegar a aritmética e a aplicação de regras para ferramentas determinísticas.
2. Utilizar protocolos multiagentes para explorar evidências a partir de perspectivas complementares.
3. Fornecer trilhas de evidência inspecionáveis e índices de confiabilidade, tornando o processo de auditoria transparente e auditável.

O artigo conclui que esse padrão de design — separar a busca da computação em um ambiente simbólico — é essencial para domínios de alto risco onde a correção depende de restrições estruturadas, e não de plausibilidade semântica.