💻 computer science

Multimodal Structural Anomaly Detection in Invoices Using Text–Logic Fusion

Cet article propose un cadre de détection d'anomalies non supervisé et multimodal qui fusionne la sémantique textuelle issue de l'OCR et les caractéristiques logiques financières pour identifier efficacement les irrégularités structurelles et la fraude dans les factures semi-structurées, surpassant ainsi les modèles de référence à modalité unique sur des données réelles.

Auteurs originaux : Mridumay Saha, Payal Khanal, Gaurav Sarma

Publié 2026-06-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mridumay Saha, Payal Khanal, Gaurav Sarma

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un gestionnaire dans un bureau très occupé qui reçoit des milliers de factures papier chaque jour. Votre travail consiste à vous assurer qu'aucune d'entre elles n'est fausse, cassée ou truffée d'erreurs de calcul. Le faire à la main est lent et ennuyeux. Vous voulez un assistant robotique pour le faire, mais les factures sont délicates : certaines ressemblent à des feuilles de calcul, d'autres à des notes manuscrites, et certaines ont des chiffres manquants.

Ce document présente un nouvel « assistant robotique » conçu spécifiquement pour repérer automatiquement ces factures bizarres ou défectueuses. Voici comment cela fonctionne, expliqué simplement :

Le Problème : Pourquoi les factures sont difficiles à vérifier

Considérez une facture comme un puzzle. Elle possède deux pièces principales :

L'Histoire (Le Texte) : Les mots, les noms d'entreprises et la mise en page.
Le Calcul (La Logique) : Les chiffres, les taxes et les totaux.

Les anciens programmes informatiques étaient comme un comptable strict qui ne vérifiait que les calculs. Si les chiffres concordaient, ils disaient « Bon », même si le document manquait une page ou avait la mauvaise police de caractères. D'autres programmes étaient comme des bibliothécaires qui ne vérifiaient que les mots. Ils pouvaient dire si une phrase avait du sens, mais ils ne se souciaient pas de savoir si le calcul était faux.

Le problème est qu'une véritable facture a besoin des deux pour être correcte. Si le texte dit « Total : 100 $ » mais que le calcul arrive à 90 $, quelque chose ne va pas.

La Solution : Un Robot à « Double Cerveau »

Les chercheurs ont construit un système avec deux « cerveaux » qui travaillent ensemble, comme une équipe de détectives :

Le Cerveau A (Le Lecteur de Texte) : Cette partie utilise un outil appelé OCR (Reconnaissance Optique de Caractères) pour « lire » la facture comme le ferait un humain. Elle transforme l'image du papier en mots numériques. Elle utilise ensuite un réseau neuronal spécial (un type d'IA) pour comprendre la signification et la structure du texte. Elle apprend à ce qu'une facture « normale » ressemble en termes de mots et de mise en page.
Le Cerveau B (Le Vérificateur de Calcul) : Cette partie examine les chiffres. Elle vérifie les relations entre les sous-totaux, les taxes et le total final. Elle demande : « Est-ce que le calcul est logique ? »

Comment ils travaillent ensemble (La Fusion)

Au lieu de laisser ces deux cerveaux travailler séparément, les chercheurs les ont collés ensemble en un Autoencodeur de Fusion.

Imaginez cela comme un duo musical.

Le Cerveau A joue la mélodie (le texte).
Le Cerveau B joue le rythme (le calcul).
Le système apprend à jouer une chanson parfaite où la mélodie et le rythme s'accordent parfaitement. C'est ce à quoi ressemble une facture « normale ».

Lorsqu'une nouvelle facture bizarre arrive, le système essaie de la jouer.

Si la facture est normale, le système la joue de manière fluide.
Si la facture est défectueuse (par exemple, un total manquant, ou si le calcul ne correspond pas au texte), le système trébuche. La musique sonne « faux ».

Comment il détecte les erreurs

Le système n'a pas besoin d'apprendre à quoi ressemble une facture « fausse ». Au lieu de cela, il apprend à ce qu'une facture parfaite ressemble en étudiant des milliers de factures normales.

L'Erreur de Reconstruction : Imaginez que le système essaie de reconstruire la facture à partir de sa mémoire. Si la facture est bizarre, le système ne peut pas la reconstruire parfaitement. La différence entre la facture bizarre originale et la « mémoire parfaite » du système est appelée l'Erreur de Reconstruction.
L'Alarme : Une petite erreur signifie que la facture est probablement correcte. Une erreur énorme (un grand trébuchement dans la musique) signifie que le système est confus, il signale alors la facture comme une Anomalie.

Ce qu'ils ont découvert

Les chercheurs ont testé ce système sur un ensemble de données réelles de plus de 8 000 factures. Ils ont comparé leur système à « Double Cerveau » contre :

Des systèmes qui ne regardaient que le texte.
Des systèmes qui ne regardaient que le calcul.
Des méthodes statistiques classiques.

Le Résultat : Le système à « Double Cerveau » a été le meilleur pour repérer les factures bizarres. Il était plus performant pour séparer les « bonnes » factures des « mauvaises » que n'importe lequel des systèmes à cerveau unique. Il pouvait détecter des choses comme un total manquant, un formatage étrange ou un calcul qui ne correspond pas, tout cela en même temps.

En résumé

Ce document présente un outil intelligent qui lit les factures en comprenant simultanément les mots et les chiffres. En apprenant à ce qu'une facture « normale » sonne, il peut instantanément entendre quand une facture est « désaccordée », aidant ainsi les entreprises à détecter les erreurs et les fraudes sans avoir besoin qu'un humain vérifie chaque papier.

Résumé Technique : Détection d'Anomalies Structurelles Multimodales dans les Factures par Fusion Texte-Logique

Énoncé du Problème
Les documents financiers, en particulier les factures, sont critiques pour les systèmes d'audit et de comptabilité automatisés. Cependant, ces enregistrements semi-structurés sont sujets à des irrégularités telles que des champs manquants, des formats inhabituels et des écarts de modèles (templates). Les méthodes de validation traditionnelles reposent fortement sur des vérifications arithmétiques basées sur des règles, qui échouent à détecter les anomalies structurelles comme les champs manquants ou les incohérences de mise en page. Inversement, les modèles d'apprentissage automatique basés sur le texte négligent souvent les relations numériques cruciales inhérentes aux documents financiers. Le défi central abordé par cette étude est la détection d'anomalies structurelles dans les factures sans données d'anomalies étiquetées, nécessissant un système capable de comprendre simultanément les motifs sémantiques textuels et la cohérence logique financière.

Méthodologie
Les auteurs proposent un cadre multimodal non supervisé qui fusionne la sémantique textuelle et la logique financière pour détecter les anomalies structurelles. La méthodologie se déroule selon les étapes suivantes :

Prétraitement des Données et Extraction de Caractéristiques :
- Reconnaissance Optique de Caractères (OCR) : Le texte est extrait des images de factures via l'OCR. Le texte brut est nettoyé (mise en minuscules, suppression des espaces blancs et des symboles non informatifs) pour préparer l'analyse sémantique.
- Encodeur Sémantique Textuel : Le texte nettoyé est converti en plongements (embeddings) denses au niveau de la phrase à l'aide de Sentence-BERT. Ces plongements capturent les relations contextuelles et les informations de mise en page. Une architecture d'auto-encodeur (encodeur-décodeur avec activation ReLU et normalisation par lots) est utilisée pour apprendre une représentation latente ( $z_t$ ) de ces motifs sémantiques, minimisant la perte de reconstruction ( $L_{text}$ ).
- Encodeur de Logique Financière : Les valeurs numériques (sous-totaux, taxes, totaux) sont extraites de la sortie OCR. Des vecteurs de caractéristiques basés sur la logique sont construits pour représenter l'écart entre les valeurs financières attendues et observées (ex: $\Delta_{ligne}, \Delta_{sous-total}, \Delta_{taxe}, \Delta_{total}$ ). Un encodeur distinct projette ces caractéristiques logiques dans un espace latent ( $z_l$ ), apprenant les motifs de cohérence financière.
Architecture de Fusion Multimodale :
- Les représentations latentes de l'encodeur textuel ( $z_t$ ) et de l'encodeur de logique ( $z_l$ ) sont concaténées pour former un vecteur de caractéristiques multimodales unifié ( $z_f$ ).
- Un Auto-encodeur de Fusion traite ce vecteur combiné. Le réseau est entraîné pour reconstruire les caractéristiques fusionnées d'entrée, apprenant ainsi la distribution des factures structurellement normales.
- Score d'Anomalie : Lors de l'inférence, le score d'anomalie ( $S$ ) est calculé comme l'Erreur Quadratique Moyenne (MSE) entre le vecteur de caractéristiques fusionnées original et sa version reconstruite. Des erreurs de reconstruction plus élevées indiquent des déviations structurelles par rapport aux modèles normaux appris.

Principales Contributions

Approche de Fusion Multimodale : L'étude introduit un nouveau cadre non supervisé qui modélise conjointement les caractures sémantiques textuelles et les caractéristiques de la logique financière, répondant ainsi aux limites des méthodes existantes qui traitent les factures comme purement textuelles ou purement numériques.
Apprentissage Non Supervisé : Le système fonctionne sans données d'anomalies étiquetées, utilisant l'erreur de reconstruction pour identifier les irrégularités telles que les factures incomplètes, les pages de modèles et les documents structurellement incohérents.
Architecture Hybride : L'intégration d'un Bloc Sémantique Textuel et d'un Bloc de Logique Financière au sein d'un seul auto-encodeur de fusion permet au modèle de détecter simultanément les erreurs de mise en page sémantique et les incohérences arithmétiques.

Résultats Expérimentaux
Le modèle proposé a été évalué sur le jeu de données "High Quality Invoice Images for OCR", comprenant 8 181 images de factures aux structures variées. Le jeu de données a été divisé pour l'entraînement (sur des échantillons normaux) et le test.

Comparaison de Performance : Le modèle de fusion proposé a été comparé à des bases de référence unimodales (Auto-encodeur Texte-Seul, Auto-encodeur Logique-Seul) et à des algorithmes classiques de détection d'anomalies (Isolation Forest, One-Class SVM, Local Outlier Factor).
Constats Quantitatifs : Le modèle de fusion a obtenu un score d'anomalie moyen de 0,3750 avec un écart-type de 0,2962. Bien que le modèle Logique-Seul ait affiché un score moyen plus élevé (0,5107), le modèle de fusion a démontré des capacités de séparation supérieures. Les bases de référence texte-seul et logique-seul étaient efficaces dans leurs domaines respectifs mais manquaient de la vue holistique fournie par le modèle de fusion.
Analyse Qualitative : La distribution des scores d'anomalie a indiqué une séparation claire entre les échantillons normaux et anormaux. Le modèle de fusion a présenté une plus grande dispersion des scores, suggérant une meilleure capacité à distinguer les incohérences subtiles que les modèles unimodaux pourraient manquer. La matrice de confusion (basée sur des pseudo-étiquettes) a montré une frontière stable entre les échantillons à haut risque et à faible risque.

Signification et Revendications
L'article affirme que l'approche de fusion multimodale proposée offre une solution plus robuste et discriminante pour la détection d'anomalies dans les factures par rapport aux méthodes unimodales. En apprenant les corrélations entre l'information sémantique et la structure financière, le système identifie efficacement les inexactitudes structurelles, les informations manquantes et les divergences financières. Les auteurs soutiennent que cette approche est adaptée aux audits financiers automatisés à grande échelle et aux systèmes d'intelligence documentaire. L'étude conclut que bien que les résultats actuels soient prometteurs, les travaux futurs pourraient explorer des plongements (embeddings) sensibles à la mise en page et des encodeurs basés sur les transformeurs pour améliorer davantage la compréhension des structures de facturation complexes. La recherche est présentée comme une étape réalisable vers la réduction des faux positifs et l'amélioration de la fiabilité du traitement financier automatisé.