AIForge-Doc: A Benchmark for Detecting AI-Forged Tampering in Financial and Form Documents

Il paper presenta AIForge-Doc, il primo benchmark dedicato alla rilevazione di falsificazioni documentali finanziarie generate da modelli di diffusione, dimostrando che gli attuali rilevatori e i modelli VLM falliscono nel distinguere tali manipolazioni rispetto ai metodi di editing tradizionali.

L'essenziale

Immagina il mondo dei documenti finanziari (scontrini, fatture, moduli bancari) come una città molto sorvegliata. Fino a poco tempo fa, se qualcuno voleva falsificare uno scontrino, doveva essere un "falsario esperto": doveva usare Photoshop, tagliare e incollare, e lasciare dietro di sé delle "impronte digitali" visibili, come bordi strani, colori sbiaditi o pixel sgranati. I detective digitali (i software che controllano i documenti) erano molto bravi a trovare queste impronte.

Il Nuovo Nemico: L'Artista AI

Ora, però, è arrivato un nuovo tipo di falsario: l'Intelligenza Artificiale Generativa.
Pensa a questi nuovi strumenti (come Gemini o Ideogram) non come a dei tagliagiro, ma come a maghi dell'inpainting.
Se vuoi cambiare il prezzo su uno scontrino da "50€" a "150€", il mago AI non "taglia e incolla". Lui dipinge il nuovo numero direttamente sulla carta, mescolando perfettamente l'inchiostro con quello vecchio, rispettando il font, la luce e la texture della carta.
Il risultato? È indistinguibile dall'originale. Non ci sono bordi, non ci sono errori di stampa. È come se il numero fosse sempre stato lì.

Il Problema: I Detective sono Ciechi

Il problema è che i nostri "detective digitali" (i software usati dalle banche e dalle autorità) sono stati addestrati per anni a cercare le vecchie impronte dei falsari Photoshop. Quando vedono un documento falsificato dall'AI, non vedono nulla. Per loro, è tutto normale.
È come se un cane da guardia fosse addestrato a fiutare la polvere da sparo, ma il criminale avesse usato un nuovo tipo di esplosivo senza odore. Il cane non abbaierebbe mai.

La Soluzione: AIForge-Doc (La "Caccia al Falso")

Gli autori di questo studio hanno creato AIForge-Doc, che è come un campo di addestramento d'élite per i detective.
Hanno preso migliaia di scontrini e moduli reali e hanno usato i due "maghi AI" più potenti al mondo per falsificare i numeri più importanti (prezzi, date, codici).
Hanno creato 4.061 documenti falsi perfetti, annotando esattamente dove era stato fatto il trucco (pixel per pixel), per creare un banco di prova realistico.

Cosa hanno scoperto? (La Svolta)

Hanno messo alla prova i migliori detective esistenti su questo nuovo campo di addestramento. I risultati sono stati scioccanti:

1. Il Detective Generale (TruFor): Quando controllava i vecchi falsi Photoshop, era un campione (96% di successo). Su questi nuovi falsi AI? È sceso a un livello mediocre (75%), e spesso non riusciva nemmeno a dire dove era stato falsificato il numero.
2. Il Detective Specializzato (DocTamper): Questo era il migliore per i documenti, ma sui falsi AI è crollato quasi a zero (56%). È come se avesse dimenticato come leggere.
3. Il "Genio" (GPT-4o): Hanno chiesto anche a un'intelligenza artificiale molto intelligente (GPT-4o) di guardare i documenti e dire se erano falsi. Risultato? Ha indovinato a caso, come se stesse lanciando una moneta (50%). Anche un'AI non riesce a vedere la differenza!

L'Analogia Finale: L'Ago nel Fieno

Immagina di dover trovare un ago in un pagliaio.

• I vecchi falsi: L'ago era arrugginito e brillava sotto la luce. Facile da trovare.
• I nuovi falsi AI: L'ago è stato dipinto esattamente come la paglia circostante. È invisibile a occhio nudo e anche ai migliori scanner.

Perché è importante?

Questo studio ci dice che la nostra sicurezza attuale è obsoleta.
Se le banche, i governi e le aziende continuano a usare i vecchi metodi per controllare i documenti, verranno ingannati facilmente da chiunque abbia accesso a un'AI generativa.
Il paper ci offre due cose fondamentali:

1. Un campanello d'allarme: Dobbiamo svegliarci, perché il problema è reale e urgente.
2. Una nuova palestra: Hanno rilasciato i dati (i 4.000 documenti falsi) affinché i ricercatori di tutto il mondo possano costruire nuovi detective capaci di vedere l'invisibile.

In sintesi: I vecchi trucchi di falsificazione sono stati smascherati; i nuovi trucchi dell'AI sono perfetti, e i nostri sistemi di sicurezza sono ancora ciechi di fronte a loro. È tempo di costruire nuovi occhi per vedere l'invisibile.

Sommario tecnico

1. Il Problema

La frode documentale è in rapida crescita, con un aumento del 244% delle falsificazioni digitali nel 2024. Storicamente, le falsificazioni richiedevano l'uso di software di editing tradizionale (es. Adobe Photoshop), lasciando tracce rilevabili come artefatti di compressione, pattern di clonazione o anomalie statistiche nel rumore residuo.

Tuttavia, l'avvento dei modelli di diffusione basati sull'IA (come Gemini 2.5 Flash Image e Ideogram v2 Edit) ha cambiato radicalmente il panorama delle minacce. Questi strumenti permettono di modificare specifici campi numerici o testuali in un documento (es. importi, date, numeri di telefono) in meno di un secondo, fondendosi perfettamente con font, texture e sfondo. A differenza delle modifiche tradizionali, le regioni forgiate dall'IA non presentano cuciture visibili o firme di clonazione, rendendo i rilevatori forensi attuali "ciechi" a questa nuova tipologia di frode. Attualmente, non esiste alcun benchmark pubblico dedicato specificamente alla rilevazione di manomissioni in documenti finanziari e moduli generati da modelli di inpainting (riempimento) AI.

2. Metodologia e Costruzione del Dataset

Gli autori hanno sviluppato AIForge-Doc, il primo benchmark dedicato esclusivamente alla rilevazione di manomissioni basate su modelli di diffusione in documenti finanziari e moduli, con annotazioni a livello di pixel.

• Fonti Dati: Il dataset è costruito su quattro dataset pubblici esistenti (CORD, WildReceipt, SROIE, XFUND) che coprono ricevute e moduli in 9 lingue.
• Generazione delle Falsificazioni:
  • Sono state selezionate 4.061 immagini sorgente.
  • È stato implementato un processo di prioritizzazione dei campi: vengono modificati solo i campi numerici ad alto rischio (importi finanziari, date, ID documento, quantità).
  • Mutazione dei Valori: I valori originali vengono alterati in modo plausibile (es. moltiplicazione casuale per gli importi, perturbazione delle date) mantenendo la lunghezza del testo originale per minimizzare le discrepanze visive.
  • Tecnica di Inpainting a "Context-Window": Per evitare che il modello AI alteri l'intero documento o generi allucinazioni, il sistema estrae una finestra di contesto attorno al campo target (espandendo il bounding box del 50%), applica la maschera di editing solo su questa area e, dopo la generazione, incolla solo la regione del campo originale nell'immagine intera. Questo garantisce che solo i pixel esatti del campo siano modificati.
• Strumenti Utilizzati: Dopo una valutazione ablativa di 7 sistemi AI (320 trial), solo due sono stati selezionati per la generazione di massa per la loro capacità di comprendere il linguaggio multimodale e renderizzare testo accurato:
  1. Gemini 2.5 Flash Image (89,6% dei dati).
  2. Ideogram v2 Edit (10,4% dei dati).
     Gli altri strumenti (es. FLUX, SD 3.5) sono stati scartati perché producevano testo illeggibile o valori errati.
• Annotazioni: Ogni immagine è accompagnata da una maschera ground-truth a livello di pixel (formato PNG binario compatibile con DocTamper), dove i pixel 255 indicano la regione manomessa e 0 il resto.
• Split: Il dataset è diviso in 3.249 immagini per l'addestramento e 812 per il test (split 80/20).

3. Contributi Chiave

1. Nuovo Dataset: Un corpus di 4.061 immagini forgiate da AI con maschere di precisione pixel, focalizzato su documenti finanziari reali.
2. Pipeline Riproducibile: Un codice open-source completo che automatizza la selezione dei campi, la mutazione dei valori, l'inpainting tramite API e il confezionamento dei dati.
3. Valutazione di Riferimento (Baseline): Una valutazione rigorosa che dimostra l'inefficacia degli attuali metodi di rilevazione su questo nuovo tipo di minaccia.

4. Risultati Sperimentali

Gli autori hanno testato tre rilevatori rappresentativi in modalità zero-shot (senza addestramento sui dati AIForge-Doc):

• TruFor (Rilevatore forense generico SOTA):
  • AUC su AIForge-Doc: 0.751 (vs 0.96 su NIST16, dataset tradizionale).
  • IoU (Intersection over Union) a livello di pixel: 0.358.
  • Analisi: Il modello rileva alcune anomalie a livello di pixel ma fallisce nel localizzare con precisione la regione e nel calibrare la fiducia a livello di immagine.
• DocTamper (Rilevatore specifico per documenti):
  • AUC su AIForge-Doc: 0.563 (vs 0.98 sul suo dataset di addestramento tradizionale).
  • IoU: 0.020 (quasi nullo).
  • Analisi: I metodi basati su inconsistenze tipografiche o spettrali (tipiche del copia-incolla Photoshop) falliscono completamente contro l'inpainting generativo, che crea nuovi pixel coerenti.
• GPT-4o (Judge Zero-Shot VLM):
  • AUC: 0.509 (essenzialmente al caso).
  • Analisi: Anche i modelli linguistici visivi avanzati non riescono a distinguere i valori falsificati, poiché questi sono semanticamente plausibili e visivamente coerenti con il contesto.

Scoperta Principale: Le manomissioni AI sono indistinguibili sia per i rilevatori forensi tradizionali che per i modelli VLM, creando un "buco critico" nella sicurezza documentale.

5. Significato e Implicazioni

• Nuova Sfida Aperta: AIForge-Doc dimostra che la forensica documentale attuale non è preparata per le minacce generative. La capacità di rilevare falsificazioni Photoshop non garantisce alcuna robustezza contro le manipolazioni AI.
• Difficoltà Intrinseca: La difficoltà risiede nella natura localizzata dell'editing (spesso meno dell'1% dell'immagine) e nella coerenza statistica dei pixel generati, che non lasciano le tradizionali "cicatrici" digitali.
• Impatto sulla Ricerca: Il dataset fornisce la risorsa necessaria per sviluppare nuovi rilevatori specifici per le artefatti dell'inpainting AI. Gli autori sottolineano che l'addestramento su questo dataset è il passo successivo necessario per colmare il divario di prestazioni.
• Limitazioni: Il dataset si concentra su singoli campi numerici; scenari reali potrebbero coinvolgere la manipolazione simultanea di più campi correlati, il che potrebbe offrire ulteriori indizi per la rilevazione.

In sintesi, il paper segnala un punto di svolta critico: le frodi documentali guidate dall'IA sono attualmente rilevabili solo con difficoltà estrema, rendendo urgente lo sviluppo di nuove tecniche forensi specializzate.