Multimodal Structural Anomaly Detection in Invoices Using Text–Logic Fusion

Resumo Técnico: Detecção de Anomalias Estruturais Multimodais em Faturas Usando Fusão de Texto–Lógica

Definição do Problema
Documentos financeiros, particularmente faturas, são críticos para sistemas de auditoria e contabilidade automatizados. No entanto, esses registros semiestruturados são propensos a irregularidades, como campos ausentes, formatações incomuns ou desvios de modelo (template). Métodos de validação tradicionais dependem fortemente de verificações aritméticas baseadas em regras, que falham ao detectar anomalias estruturais como campos ausentes ou inconsistências de layout. Por outro lado, modelos de aprendizado de máquina baseados em texto frequentemente negligenciam as relações numéricas cruciais inerentes aos documentos financeiros. O desafio central abordado por este estudo é a detecção de anomalias estruturais em faturas sem dados de anomalias rotulados, exigindo um sistema que possa compreender simultaneamente padrões semânticos de texto e a consistência lógica financeira.

Metodologia
Os autores propõem uma estrutura multimodal não supervisionada que funde semântica textual e lógica financeira para detectar anomalias estruturais. A metodologia procede através das seguintes etapas:

1. Pré-processamento de Dados e Extração de Características:

   • Reconhecimento Óptico de Caracteres (OCR): O texto é extraído de imagens de faturas usando OCR. O texto bruto é limpo (conversão para minúsculas, remoção de espaços em branco e símbolos não informativos) para preparar a análise semântica.
   • Codificador Semântico Textual: O texto limpo é convertido em embeddings densos de nível de frase usando Sentence-BERT. Esses embeddings capturam relações contextuais e informações de layout. Uma arquitetura de autoencoder (codificador-decodificador com ativação ReLU e normalização por lote) é usada para aprender uma representação latente ($z_t$) desses padrões semânticos, minimizando a perda de reconstrução ($L_{text}$).
   • Codificador de Lógica Financeira: Valores numéricos (subtotais, impostos, totais) são extraídos da saída do OCR. Vetores de características baseados em lógica são construídos para representar o desvio entre os valores financeiros esperados e observados (ex: $\Delta_{linha}, \Delta_{subtotal}, \Delta_{imposto}, \Delta_{total}$). Um codificador separado mapeia essas características de lógica em um espaço latente ($z_l$), aprendendo padrões de consistência financeira.

2. Arquitetura de Fusão Multimodal:

   • As representações latentes do codificador textual ($z_t$) e do codificador de lógica ($z_l$) são concatenadas para formar um vetor de características multimodais unificado ($z_f$).
   • Um Autoencoder de Fusão processa este vetor combinado. A rede é treinada para reconstruir as características fundidas de entrada, aprendendo a distribuição de faturas estruturalmente normais.
   • Pontuação de Anomalia: Durante a inferência, a pontuação de anomalia ($S$) é calculada como o Erro Quadrático Médio (MSE) entre o vetor de características fundidas original e sua versão reconstruída. Erros de reconstrução mais altos indicam desvios estruturais dos padrões normais aprendidos.

Principais Contribuições

• Abordagem de Fusão Multimodal: O estudo introduz uma nova estrutura não supervisionada que modela conjuntamente características semânticas de texto e características de lógica financeira, abordando a limitação dos métodos existentes que tratam faturas como puramente textuais ou puramente numéricas.
• Aprendizado Não Supervisionado: O sistema opera sem dados de anomalias rotulados, utilizando o erro de reconstrução para identificar irregularidades como faturas incompletas, páginas de modelo e documentos estruturalmente inconsistentes.
• Arquitetura Híbrida: A integração de um Bloco Semântico Textual e um Bloco de Lógica Financeira dentro de um único autoencoder de fusão permite que o modelo detecte tanto erros de layout semântico quanto inconsistências aritméticas simultaneamente.

Resultados Experimentais
O modelo proposto foi avaliado no conjunto de dados "High Quality Invoice Images for OCR", composto por 8.181 imagens de faturas com estruturas variadas. O conjunto de dados foi dividido para treinamento (em amostras normais) e teste.

• Comparação de Desempenho: O modelo de fusão proposto foi comparado contra baselines de modalidade única (Autoencoder de Apenas Texto, Autoencoder de Apenas Lógica) e algoritmos clássicos de detecção de anomalias (Isolation Forest, One-Class SVM, Local Outlier Factor).
• Achados Quantitativos: O modelo de fusão alcançou uma pontuação média de anomalia de 0,3750 com um desvio padrão de 0,2962. Embora o modelo de Apenas Lógica tenha mostrado uma pontuação média mais alta (0,5107), o modelo de fusão demonstrou capacidades de separação superiores. Os baselines de apenas texto e apenas lógica foram eficazes em seus respectivos domínios, mas careciam da visão holística proporcionada pelo modelo de fusão.
• Análise Qualitativa: A distribuição da pontuação de anomalia indicou uma separação clara entre amostras normais e anômalas. O modelo de fusão exibiu maior dispersão de pontuação, sugerindo uma melhor capacidade de distinguir inconsistências sutis que modelos de modalidade única poderiam perder. A matriz de confusão (baseada em pseudo-rótulos) mostrou uma fronteira estável entre amostras de alto risco e baixo risco.

Significância e Alegações
O artigo afirma que a abordagem de fusão multimodal proposta oferece uma solução mais robusta e discriminativa para a detecção de anomalias em faturas em comparação com métodos unimodais. Ao aprender correlações entre informação semântica e estrutura financeira, o sistema identifica efetivamente imprecisões estruturais, informações ausentes e discrepâncias financeiras. Os autores afirmam que esta abordagem é adequada para auditorias financeiras automatizadas de larga escala e sistemas de inteligência de documentos. O estudo conclui que, embora os resultados atuais sejam promissores, trabalhos futuros poderiam explorar embeddings conscientes de layout e codificadores baseados em transformers para aprimorar ainda mais a compreensão de estruturas de faturas complexas. A pesquisa é apresentada como um passo viável para reduzir falsos positivos e melhorar a confiabilidade do processamento financeiro automatizado.