AIForge-Doc: A Benchmark for Detecting AI-Forged Tampering in Financial and Form Documents

Dit paper introduceert AIForge-Doc, het eerste benchmark voor het detecteren van door diffusiemodellen gegenereerde vervalsingen in financiële documenten, en toont aan dat bestaande detectiemethoden en visuele taalmodellen hierbij aanzienlijk falen.

De kern

AIForge-Doc: De Nieuwe "Onzichtbare Vervalsing" in Documenten

Stel je voor dat je een officiële rekening of een belastingformulier krijgt. Vroeger, als iemand dit vervalste, moest die persoon een digitale schaar en lijm (zoals Photoshop) gebruiken. Je kon de vervalsing vaak zien aan de naden: de letters waren net iets anders, de achtergrond was een beetje vervaagd, of er zat een vreemd ruisje in. Het was als een slecht geplakt raam in een muur; je zag de randen.

Maar nu is de wereld veranderd. Met de komst van kunstmatige intelligentie (AI) is het alsof iemand een magische toverstaf heeft die een getal in een document kan veranderen zonder enige spoor achter te laten. Het is alsof je een steen in een muur vervangt door een nieuwe steen die perfect past, dezelfde kleur heeft, en zelfs dezelfde oneffenheden in het metselwerk nabootst. Je kunt er niet meer uitzien dat er iets veranderd is.

Dit artikel introduceert AIForge-Doc, een nieuw onderzoek dat precies dit probleem blootlegt. Hier is wat ze hebben gedaan, vertaald naar begrijpelijke taal:

1. Het Probleem: De "Onzichtbare" Vervalsing

Vroeger waren vervalsingen van documenten (zoals bankafschriften of facturen) te detecteren omdat ze "slechte kopieën" waren. Maar nu kunnen AI-tools (zoals Google's Gemini of Ideogram) een specifiek getal in een foto van een document veranderen in minder dan een seconde.

• Voorbeeld: Iemand verandert het bedrag op een rekening van €27.500 naar €15.710.
• Het resultaat: De AI past de lettertypegrootte, de kleur, de schaduw en zelfs de ruis van de foto perfect aan. Het is visueel onmogelijk te zien dat er iets veranderd is, zelfs niet voor een mens die er goed naar kijkt.

2. De Oplossing: Een Nieuwe "Testbaan" (Benchmark)

Omdat er geen goede manier was om te testen of computers deze nieuwe, onzichtbare vervalsingen kunnen zien, hebben de onderzoekers AIForge-Doc gemaakt.

• Wat is het? Een enorme verzameling van 4.061 vervalste documenten (rekeningen en formulieren in 9 verschillende talen).
• Hoe maakten ze het? Ze namen echte documenten en lieten twee van de slimste AI-tools de nummers vervalsen. Ze hielden een "geheime kaart" bij (een masker) om precies te weten welk klein stukje is veranderd.
• Het doel: Kijken of bestaande detectie-systemen deze vervalsingen kunnen opsporen.

3. De Test: De "Politie" vs. De "Magische Vervalsing"

De onderzoekers namen drie soorten "detectives" en lieten ze de nieuwe vervalsingen proberen te vinden:

1. De Algemene Detective (TruFor): Een slimme computer die getraind is om alle vervalsingen te zien.
   • Resultaat: Hij deed het redelijk op oude vervalsingen (96% succes), maar op de AI-valsingen zakte hij naar 75%. Hij zag dat er iets mis was, maar kon niet precies zeggen waar.
2. De Document-Specialist (DocTamper): Een detective die alleen getraind is op vervalsingen van documenten (maar dan de oude, Photoshop-stijl).
   • Resultaat: Hij viel volledig uit de lucht. Hij deed het net zo goed als een muntje opgooien (50% succes). Hij zag helemaal niets.
3. De Slimme Chatbot (GPT-4o): Een AI die heel veel weet over de wereld en kan "redeneren".
   • Resultaat: Ook deze kon het niet. Hij deed het puur op het toeval (50%). Hij kon niet zien dat het bedrag "ongeloofwaardig" was, omdat de AI het zo perfect had nagebootst dat het er echt uitzag.

4. Waarom is dit zo eng?

De onderzoekers ontdekten drie belangrijke dingen:

• Geen naadjes meer: Oude vervalsingen lieten "naadjes" zien (zoals compressie-artefacten). AI maakt geen naadjes; het bouwt de nieuwe pixels direct op, net als de rest van het document.
• Te klein om te zien: De vervalsing is vaak heel klein (slechts 0,9% van het hele plaatje). Het is alsof je in een hele grote stapel hooi moet zoeken naar één enkele, onzichtbare naald.
• De "Blindheid": Zelfs de slimste systemen die we nu hebben, zijn "blind" voor deze nieuwe technologie. Ze zijn getraind op de oude manier van vervalsen en weten niet hoe ze naar deze nieuwe, perfecte vervalsingen moeten kijken.

Conclusie: Een Nieuwe Uitdaging

Kortom: AIForge-Doc is een waarschuwing. Het laat zien dat de technologie om documenten te vervalsen nu veel slimmer is dan de technologie om ze te detecteren.

Het is alsof de dieven nu sleutels hebben die perfect in alle sloten passen, terwijl de slotenmakers (de detectie-systemen) nog steeds zoeken naar sleutels die niet passen. De onderzoekers zeggen: "We hebben nu de testbaan gemaakt. Nu moeten de wetenschappers nieuwe detectives bouwen die specifiek getraind zijn om deze nieuwe, onzichtbare AI-vervalsingen te zien."

Zonder deze nieuwe detectives kunnen we niet meer vertrouwen op digitale documenten, of het nu gaat om een bankafschrift, een paspoort of een belastingformulier.

Technische samenvatting

1. Het Probleem

Documentfraude is een wereldwijd groeiend probleem, waarbij digitale vervalsingen in 2024 met 244% zijn toegenomen en fysieke namaak voor het eerst hebben ingehaald.

• De verschuiving: Traditionele vervalsingen vereisten expertise in software zoals Photoshop, wat kenmerkende sporen achterliet (compressie-artefacten, kloonpatronen, statistische afwijkingen in ruis) die door forensische tools konden worden gedetecteerd.
• De nieuwe dreiging: Generatieve AI, specifiek diffusiemodellen voor inpainting (zoals Gemini 2.5 Flash Image en Ideogram v2 Edit), kan nu specifieke woorden of cijfers in een documentfoto vervangen en naadloos laten samensmelten met het lettertype, de textuur en de achtergrond.
• Het gat in de huidige technologie: Bestaande datasets voor documentvervalsing (zoals DocTamper, RTM) gebruiken traditionele bewerkingen. Er bestaat geen publieke benchmark om detectoren te testen tegen AI-gemaakte vervalsingen. Bestaande detectoren zijn "blind" voor deze nieuwe dreiging omdat AI-gemaakte gebieden geen duidelijke compressie- of kloonsporen hebben en statistisch consistent zijn met het origineel.

2. Methodologie: De AIForge-Doc Dataset

De auteurs introduceren AIForge-Doc, het eerste specifiek opgezette benchmark voor diffusie-modelgebaseerde inpainting in financiële en formulierdocumenten, met pixel-precieze annotaties.

• Brondata: De dataset is gebaseerd op vier openbare documentdatasets (CORD, WildReceipt, SROIE, XFUND) in negen talen, bestaande uit 4.061 originele afbeeldingen van bonnen en formulieren.
• Vervalsingsproces:
  • Selectie: Er wordt één hoog-prioriteit numeriek veld per afbeelding geselecteerd (bijv. totaalbedrag, datum, telefoonnummer).
  • Mutatie: Realistische alternatieve waarden worden gegenereerd (bijv. bedragen schalen, datum aanpassen) die visueel plausibel zijn maar verschillen van het origineel.
  • Context-Window Inpainting: Om te voorkomen dat het AI-model de hele afbeelding herschept, wordt een "context venster" gebruikt. Het veld wordt met 50% vergroot (padding) om omringende tekst voor lettertype-referentie mee te geven. Het AI-model vult alleen dit masker in.
  • Terugplakken: Alleen de exacte pixels van het oorspronkelijke veld (zonder padding) worden teruggeplakt in de volledige afbeelding. Dit garandeert dat de ground-truth maskers pixel-precies zijn.
• Gebruikte Tools: Uit zeven geteste systemen werden er twee geselecteerd op basis van kwaliteit en leesbaarheid: Gemini 2.5 Flash Image (89,6% van de data) en Ideogram v2 Edit (10,4%). Andere tools (zoals FLUX, SD 3.5) faalden omdat ze geen multimodaal taalbegrip hadden en onleesbare tekst of foutieve waarden produceerden.
• Dataset Samenstelling:
  • Totaal: 4.061 vervalste afbeeldingen.
  • Verdeling: 80/20 train/test split (3.249 train / 812 test).
  • Annotatie: Pixel-precieze binary masks (DocTamper-formaat) die exact het vervalste veld aangeven.
  • Omvang: Het vervalste gebied is extreem lokaal; het mediane vervalste oppervlak is slechts 0,92% van de totale afbeelding.

3. Belangrijkste Bijdragen

1. Nieuwe Dataset: Een dataset van 4.061 AI-gemaakte vervalsingen van financiële documenten met pixel-precieze ground-truth maskers, specifiek gericht op numerieke velden.
2. Reproduceerbare Pipeline: Een open-source, geautomatiseerde pipeline die ruwe documenten omzet in vervalste versies via context-window inpainting, inclusief kwaliteitscontrole en maskergeneratie.
3. Basislijn Evaluatie: Een uitgebreide evaluatie die aantoont dat bestaande state-of-the-art detectoren volledig falen bij deze nieuwe vorm van vervalsing.

4. Resultaten en Evaluatie

De auteurs hebben drie representatieve detectoren getest op de AIForge-Doc testset (zero-shot, zonder fine-tuning):

• TruFor (General Purpose Forensic Detector):
  • Prestatie op AIForge-Doc: AUC = 0,751.
  • Vergelijking: Op de traditionele NIST16-dataset scoorde het 0,96.
  • Conclusie: Significante daling. Hoewel het enige lokale signalen detecteert (Pixel AUC = 0,916), faalt het bij het lokaliseren van het vervalste gebied (IoU = 0,358) en het geven van een correcte beeld-klasse-indeling.
• DocTamper (Document-Specifiek Detector):
  • Prestatie op AIForge-Doc: AUC = 0,563.
  • Vergelijking: Op zijn eigen trainingsdata scoorde het 0,98.
  • Conclusie: Vrijwel willekeurig. De detector is getraind op sporen van kopieer-plak bewerkingen (spectrale inconsistenties) die bij AI-inpainting ontbreken. De pixel-IoU daalde van 0,71 naar 0,020.
• GPT-4o (Zero-Shot VLM Judge):
  • Prestatie: AUC = 0,509.
  • Conclusie: Vrijwel gelijk aan willekeur (kans). Zelfs een krachtig taalmodel kan de vervalste numerieke waarden niet van de echte onderscheiden, omdat de AI de vervalsing visueel perfect laat samensmelten met de omgeving.

Per-tool Analyse:
Gemini-gebaseerde vervalsingen waren iets makkelijker te detecteren (AUC 0,778) dan Ideogram-gebaseerde (AUC 0,521), wat suggereert dat verschillende modellen verschillende, subtiele artefacten achterlaten.

5. Betekenis en Conclusie

• Kritieke Knoop: AIForge-Doc bewijst dat er een fundamenteel gat is in de huidige documentforensiek. Methoden die goed werken op Photoshop-vervalsingen, zijn effectief nutteloos tegen diffusie-modelvervalsingen.
• Visuele Ononderscheidbaarheid: De vervalsingen zijn zo hoogwaardig dat ze zelfs voor geavanceerde VLM's (Vision-Language Models) onherkenbaar zijn.
• Toekomstrichting: De dataset biedt een noodzakelijke trainingsbron voor de gemeenschap om nieuwe detectoren te ontwikkelen die specifiek gericht zijn op de artefacten van AI-inpainting. Het paper benadrukt dat dit een "kwalitatief nieuw en onopgelost" probleem is voor de forensische wetenschap.

Samenvattend waarschuwt het paper dat de dreiging van AI-gemaakte documentfraude nu reëel en detectie-onvriendelijk is, en dat de huidige staat van de techniek niet toereikend is om deze vervalsingen te onderscheiden van authentieke documenten.