Multimodal Structural Anomaly Detection in Invoices Using Text–Logic Fusion

Sintesi Tecnica: Rilevamento Multimodale di Anomalie Strutturali nelle Fatture tramite Fusione Testo-Logica

Definizione del Problema
I documenti finanziari, in particolare le fatture, sono critici per i sistemi di auditing e contabilità automatizzati. Tuttavia, questi record semi-strutturati sono soggetti a irregolarità come campi mancanti, formattazioni insolite e deviazioni dai modelli (template). I metodi di validazione tradizionali si affidano pesantemente a controlli aritmetici basati su regole, che però falliscono nel rilevare anomalie strutturali come la mancanza di campi o le incoerenze del layout. Al contrario, i modelli di machine learning basati sul testo spesso trascurano le cruciali relazioni numeriche inerenti ai documenti finanziari. La sfida centrale affrontata da questo studio è il rilevamento di anomalie strutturali nelle fatture senza dati di anomalia etichettati, richiedendo un sistema in grado di comprendere simultaneamente i pattern semantici testuali e la coerenza logica finanziaria.

Metodologia
Gli autori propongono un framework multimodale non supervisionato che fonde la semantica testuale e la logica finanziaria per rilevare anomalie strutturali. La metodologia procede attraverso le seguenti fasi:

1. Pre-elaborazione dei Dati e Estrazione delle Caratteristiche:

   • Riconoscimento Ottico dei Caratteri (OCR): Il testo viene estratto dalle immagini delle fatture tramite OCR. Il testo grezzo viene pulito (conversione in minuscolo, rimozione di spazi bianchi e simboli non informativi) per prepararlo all'analisi semantica.
   • Encoder Semantico Testuale: Il testo pulito viene convertito in embedding densi a livello di frase utilizzando Sentence-BERT. Questi embedding catturano le relazioni contestuali e le informazioni sul layout. Viene utilizzata un'architettura autoencoder (encoder-decoder con attivazione ReLU e batch normalization) per apprendere una rappresentazione latente ($z_t$) di questi pattern semantici, minimizzando l'errore di ricostruzione ($L_{text}$).
   • Encoder della Logica Finanziaria: I valori numerici (subtotali, tasse, totali) vengono estratti dall'output dell'OCR. Vengono costruiti vettori di caratteristiche basati sulla logica per rappresentare la deviazione tra i valori finanziari attesi e quelli osservati (ad es., $\Delta_{line}, \Delta_{subtotal}, \Delta_{tax}, \Delta_{total}$). Un encoder separato mappa queste caratteristiche logiche in uno spazio latente ($z_l$), apprendendo i pattern di coerenza finanziaria.

2. Architettura di Fusione Multimodale:

   • Le rappresentazioni latenti dall'encoder testuale ($z_t$) e dall'encoder logico ($z_l$) vengono concatenate per formare un vettore di caratteristiche multimodale unificato ($z_f$).
   • Un Autoencoder di Fusione elabora questo vettore combinato. La rete è addestrata per ricostruire le caratteristiche fuse in input, apprendendo la distribuzione delle fatture strutturalmente normali.
   • Punteggio di Anomalia (Anomaly Scoring): Durante l'inferenza, il punteggio di anomalia ($S$) è calcolato come l'Errore Quadratico Medio (MSE) tra il vettore di caratteristiche fuse originale e la sua versione ricostruita. Errori di ricostruzione più elevati indicano deviazioni strutturali dai pattern normali appresi.

Contributi Chiave

• Approccio di Fusione Multimodale: Lo studio introduce un nuovo framework non supervisionato che modella congiuntamente le caratteristiche semantiche testuali e le caratteristiche della logica finanziaria, affrontando il limite dei metodi esistenti che trattano le fatture come puramente testuali o puramente numeriche.
• Apprendimento Non Supervisionato: Il sistema opera senza dati di anomalia etichettati, utilizzando l'errore di ricostruzione per identificare irregolarità come fatture incomplete, pagine di template e documenti strutturalmente incoerenti.
• Architettura Ibrida: L'integrazione di un Blocco Semantico Testuale e di un Blocco di Logica Finanziaria all'interno di un singolo autoencoder di fusione consente al modello di rilevare simultaneamente errori di layout semantico e incoerenze aritmetiche.

Risultati Sperimentali
Il modello proposto è stato valutato sul dataset "High Quality Invoice Images for OCR", composto da 8.181 immagini di fatture con strutture variabili. Il dataset è stato suddiviso per l'addestramento (su campioni normali) e il test.

• Confronto delle Prestazioni: Il modello di fusione proposto è stato confrontato con baseline a singola modalità (Autoencoder Solo-Testo, Autoencoder Solo-Logica) e algoritmi classici di rilevamento delle anomalie (Isolation Forest, One-Class SVM, Local Outlier Factor).
• Risultati Quantitativi: Il modello di fusione ha raggiunto un punteggio di anomalia medio di 0,3750 con una deviazione standard di 0,2962. Sebbene il modello Solo-Logica abbia mostrato un punteggio medio più alto (0,5107), il modello di fusione ha dimostrato capacità di separazione superiori. Le baseline solo-testo e solo-logica sono state efficaci nei rispettivi domini, ma mancavano della visione olistica fornita dal modello di fusione.
• Analisi Qualitativa: La distribuzione del punteggio di anomalia ha indicato una chiara separazione tra campioni normali e anomalizzati. Il modello di fusione ha esibito una maggiore dispersione del punteggio, suggerendo una migliore capacità di distinguere sottili incoerenze che i modelli a singola modalità potrebbero mancare. La matrice di confusione (basata su pseudo-etichette) ha mostrato un confine stabile tra campioni ad alto rischio e a basso rischio.

Significatività e Rivendicazioni
L'articolo sostiene che l'approccio di fusione multimodale proposto offre una soluzione più robusta e discriminante per il rilevamento di anomalie nelle fatture rispetto ai metodi unimodali. Apprendendo le correlazioni tra l'informazione semantica e la struttura finanziaria, il sistema identifica efficacemente imprecisioni strutturali, informazioni mancanti e discrepanze finanziarie. Gli autori affermano che questo approccio è adatto per audit finanziari automatizzati su larga scala e sistemi di intelligenza documentale. Lo studio conclude che, sebbene i risultati attuali siano promettenti, il lavoro futuro potrebbe esplorare embedding sensibili al layout e encoder basati su transformer per migliorare ulteriormente la comprensione delle complesse strutture delle fatture. La ricerca è presentata come un passo fattibile verso la riduzione dei falsi positivi e il miglioramento dell'affidabilità dell'elaborazione finanziaria automatizzata.