💻 computer science

Multimodal Structural Anomaly Detection in Invoices Using Text–Logic Fusion

Dit artikel stelt een multimodale ongesuperviseerde anomaliedetectie-framework voor dat tekstuele semantiek van OCR en financiële logische kenmerken combineert om effectief structurele onregelmatigheden en fraude in semi-gestructureerde facturen te identificeren, waarbij het single-modality baselines op real-world data overtreft.

Oorspronkelijke auteurs: Mridumay Saha, Payal Khanal, Gaurav Sarma

Gepubliceerd 2026-06-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mridumay Saha, Payal Khanal, Gaurav Sarma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een manager bent van een druk kantoor waar je dagelijks duizenden papieren facturen ontvangt. Je taak is om ervoor te zorgen dat geen van deze facturen nep, defect of vol met rekenfouten is. Dit met de hand doen is traag en saai. Je wilt een robotassistent, maar facturen zijn lastig: sommige lijken op spreadsheets, sommige op handgeschreven aantekeningen en sommige hebben ontbrekende getallen.

Dit artikel introduceert een nieuwe "robotassistent" die specifiek is ontworpen om deze vreemde of defecte facturen automatisch op te sporen. Hier is hoe het werkt, eenvoudig uitgelegd:

Het Probleem: Waarom facturen moeilijk te controleren zijn

Beschouw een factuur als een puzzel. Deze heeft twee hoofdonderdelen:

Het Verhaal (Tekst): De woorden, de bedrijfsnamen en de lay-out.
De Rekensom (Logica): De getallen, de belastingen en de totalen.

Ouderwetse computerprogramma's waren als een strikte accountant die alleen de berekeningen controleerde. Als de getallen klopten, zeiden ze "Goed", zelfs als er een pagina miste of als er een verkeerd lettertype werd gebruikt. Andere programma's waren als een bibliothecaris die alleen de woorden controleerde. Ze konden vertellen of een zin zinvol was, maar het maakte hen niet uit of de wiskunde niet klopte.

Het probleem is dat een echte factuur beide correct moet hebben. Als de tekst zegt "Totaal: $100" maar de berekening komt uit op $90, dan is er iets mis.

De Oplossing: Een "Dubbelbrein"-robot

De onderzoekers hebben een systeem gebouwd met twee "hersenen" die samenwerken, zoals een detective-team:

Brein A (De Tekstlezer): Dit deel gebruikt een hulpmiddel genaamd OCR (Optical Character Recognition) om de factuur te "lezen" zoals een mens dat doet. Het zet de afbeelding van het papier om in digitale woorden. Vervolgens gebruikt het een speciaal neuraal netwerk (een type AI) om de betekenis en de structuur van de tekst te begrijpen. Het leert wat een "normale" factuur is qua woorden en lay-out.
Brein B (De Rekenchecker): Dit deel kijkt naar de getallen. Het controleert de relaties tussen de subtotalen, belastingen en het eindtotaal. Het vraagt zich af: "Klopt de wiskunde?"

Hoe ze samenwerken (De Fusie)

In plaats van deze twee hersenen apart van elkaar te laten werken, hebben de onderzoekers ze aan elkaar gelijmd tot een Fusion Autoencoder.

Denk hierbij aan een muzikaal duet.

Brein A speelt de melodie (de tekst).
Brein B speelt het ritme (de wiskunde).
Het systeem leert een perfect liedje te spelen waarbij de melodie en het ritme perfect bij elkaar passen. Dit is hoe een "normale" factuur klinkt.

Wanneer er een nieuwe, vreemde factuur binnenkomt, probeert het systeem deze af te spelen.

Als de factuur normaal is, speelt het systeem het vloeiend af.
Als de factuur defect is (bijv. een ontbrekend totaal of de wiskunde komt niet overeen met de tekst), dan struikelt het systeem. De muziek klinkt "vals".

Hoe het fouten detecteert

Het systeem hoeft niet te worden geleerd hoe een "nep" factuur eruitziet. In plaats daarvan leert het wat een perfecte factuur is door duizenden normale facturen te bestuderen.

De "Reconstructiefout": Stel je voor dat het systeem probeert de factuur vanuit zijn geheugen opnieuw op te bouwen. Als de factuur vreemd is, kan het systeem deze niet perfect reconstrueren. Het verschil tussen de originele vreemde factuur en het "perfecte" geheugen van het systeem wordt de reconstructiefout genoemd.
Het Alarm: Een kleine fout betekent dat de factuur waarschijnlijk in orde is. Een grote fout (een flinke struikelpartij in de muziek) betekent dat het systeem in de war is, waardoor het de factuur markeert als een Anomalie.

Wat ze vonden

De onderzoekers hebben dit systeem getest op een echte dataset van meer dan 8.000 facturen. Ze vergeleken hun "Dubbelbrein"-systeem met:

Systemen die alleen naar tekst keken.
Systemen die alleen naar de wiskunde keken.
Ouderwetse statistische methoden.

Het resultaat: Het "Dubbelbrein"-systeem was het beste in het opsporen van de vreemde facturen. Het was beter in het onderscheiden van de "goede" facturen van de "slechte" dan de enkelvoudige brein-systemen. Het kon zaken zoals ontbrekende totalen, vreemde opmaak of wiskunde die niet klopte, allemaal tegelijkertijd detecteren.

Samenvattend

Dit artikel presenteert een slim hulpmiddel dat facturen leest door te begrijpen hoe zowel de woorden als de getallen tegelijkertijd werken. Door te leren hoe een "normale" factuur klinkt, kan het direct horen wanneer een factuur "vals klinkt", waardoor bedrijven fouten en fraude kunnen opsporen zonder dat een mens elke papieren controle moet uitvoeren.

Technische Samenvatting: Multimodale Structurele Anomaliedetectie in Facturen via Tekst-Logica Fusie

Probleemstelling
Financiële documenten, in het bijzonder facturen, zijn cruciaal voor geautomatiseerde audit- en boekhoudsystemen. Deze semi-gestructureerde gegevens zijn echter gevoelig voor onregelmatigheden zoals ontbrekende velden, ongebruikelijke opmaak en afwijkingen in sjablonen. Traditionele validatiemethoden vertrouwen zwaar op op regels gebaseerde rekenkundige controles, die tekortschieten bij het detecteren van structurele anomalieën zoals ontbrekende velden of lay-out inconsistenties. Omgekeerd negeren tekstgebaseerde machine learning-modellen vaak de cruciale numerieke relaties die inherent zijn aan financiële documenten. De kernuitdaging die in deze studie wordt aangepakt, is de detectie van structurele anomalieën in facturen zonder gelabelde anomaliegegevens, wat een systeem vereist dat tegelijkertijd semantische tekstpatronen en financiële logische consistentie kan begrijpen.

Methodologie
De auteurs stellen een ongesuperviseerd multimodaal framework voor dat tekstuele semantiek en financiële logica fuseert om structurele anomalieën te detecteren. De methodologie verloopt via de volgende fasen:

Data Preprocessing en Feature Extractie:
- Optical Character Recognition (OCR): Tekst wordt uit factuurafbeeldingen geëxtraheerd met behulp van OCR. De ruwe tekst wordt schoongemaakt (omzetten naar kleine letters, verwijderen van witruimte en niet-informatieve symbolen) om de semantische analyse voor te bereiden.
- Textual Semantic Encoder: De schoongemaakte tekst wordt omgezet in dichte sentence-level embeddings met behulp van Sentence-BERT. Deze embeddings leggen contextuele relaties en lay-outinformatie vast. Een autoencoder-architectuur (encoder-decoder met ReLU-activatie en batch normalisatie) wordt gebruikt om een latente representatie ( $z_t$ ) van deze semantische patronen te leren, waarbij de reconstructiefout ( $L_{text}$ ) wordt geminimaliseerd.
- Financial Logic Encoder: Numerieke waarden (subtotalen, belastingen, totalen) worden geëxtraheerd uit de OCR-output. Logica-gebaseerde feature vectoren worden geconstrueerd om de afwijking tussen verwachte en geobserveerde financiële waarden weer te geven (bijv. $\Delta_{line}, \Delta_{subtotal}, \Delta_{tax}, \Delta_{total}$ ). Een aparte encoder brengt deze logica-features in kaart naar een latente ruimte ( $z_l$ ), waarbij patronen van financiële consistentie worden geleerd.
Multimodale Fusie Architectuur:
- De latente representaties van de tekstuele encoder ( $z_t$ ) en de logica-encoder ( $z_l$ ) worden geconcateneerd om een verenigde multimodale feature vector ( $z_f$ ) te vormen.
- Een Fusion Autoencoder verwerkt deze gecombineerde vector. Het netwerk wordt getraind om de ingevoerde gefuseerde features te reconstrueren, waarbij de distributie van structureel normale facturen wordt geleerd.
- Anomaly Scoring: Tijdens de inferentie wordt de anomalie-score ( $S$ ) berekend als de Mean Squared Error (MSE) tussen de originele gefuseerde feature vector en de gereconstrueerde versie. Hogere reconstructiefouten duiden op structurele afwijkingen van de geleerde normale patronen.

Belangrijkste Bijdragen

Multimodale Fusie Benadering: De studie introduceert een nieuw ongesuperviseerd framework dat gezamenlijk semantische tekstkenmerken en financiële logica-kenmerken modelleert, waarmee de beperking van bestaande methoden wordt aangepakt die facturen behandelen als puur tekstueel of puur numeriek.
Ongesuperviseerd Leren: Het systeem werkt zonder gelabelde anomaliegegevens, waarbij reconstructiefouten worden gebruikt om onregelmatigheden zoals incomplete facturen, sjabloonpagina's en structureel inconsistente documenten te identificeren.
Hybride Architectuur: De integratie van een Textual Semantic Block en een Financial Logic Block binnen een enkele fusion autoencoder stelt het model in staat om zowel semantische lay-outfouten als rekenkundige inconsistenties simultaan te detecteren.

Experimentele Resultaten
Het voorgestelde model werd geëvalueerd op de "High Quality Invoice Images for OCR" dataset, bestaande uit 8.181 factuurafbeeldingen met variërende structuren. De dataset werd gesplitst voor training (op normale samples) en testen.

Prestatievergelijking: Het voorgestelde fusiemodel werd vergeleken met single-modality baselines (Text-Only Autoencoder, Logic-Only Autoencoder) en klassieke anomaliedetectie algoritmen (Isolation Forest, One-Class SVM, Local Outlier Factor).
Kwantitatieve Bevindingen: Het fusiemodel behaalde een gemiddelde anomalie-score van 0.3750 met een standaarddeviatie van 0.2962. Hoewel het Logic-Only model een hogere gemiddelde score vertoonde (0.5107), demonstreerde het fusiemodel superieure scheidingscapaciteiten. De text-only en logic-only baselines waren effectief in hun respectieve domeinen, maar misten het holistische overzicht dat het fusiemodel biedt.
Kwalitatieve Analyse: De distributie van de anomalie-scores gaf een duidelijke scheiding aan tussen normale en anomale samples. Het fusiemodel vertoonde een hogere score-dispersie, wat wijst op een beter vermogen om subtiele inconsistenties te onderscheiden die single-modality modellen mogelijk missen. De verwarringsmatrix (gebaseerd op pseudo-labels) toonde een stabiele grens tussen high-risk en low-risk samples.

Significantie en Claims
Het artikel claimt dat de voorgestelde multimodale fusie-benadering een robuustere en meer discriminerende oplossing biedt voor factuur-anomaliedetectie vergeleken met unimodale methoden. Door correlaties tussen semantische informatie en financiële structuur te leren, identificeert het systeem effectief structurele onnauwkeurigheden, ontbrekende informatie en financiële discrepanties. De auteurs stellen dat deze benadering geschikt is voor grootschalige geautomatiseerde financiële audits en document intelligentie systemen. De studie concludeert dat hoewel de huidige resultaten veelbelovend zijn, toekomstig werk zich kan richten op layout-bewuste embeddings en transformer-gebaseerde encoders om het begrip van complexe factuurstructuren verder te verbeteren. Het onderzoek wordt gepresenteerd als een haalbare stap naar het verminderen van fout-positieven en het verbeteren van de betrouwbaarheid van geautomatiseerde financiële verwerking.