Field-Localized Forgery Detection for Digital Identity Documents

Riepilogo Tecnico: Rilevamento di Falsificazioni Localizzate per Campi per Documenti di Identità Digitale

Enunciato del Problema
I sistemi di verifica dell'identità digitale, sempre più utilizzati per l'attivazione remota in ambito bancario, fintech e telecomunicazioni, sono vulnerabili a manipolazioni localizzate dei documenti di identità. A differenza delle immagini naturali, i documenti di identità possiedono layout strutturati contenenti campi semanticamente significativi (ad esempio, fotografie facciali, dati testuali di identità, texture di sicurezza). I metodi esistenti di rilevamento delle falsificazioni, sviluppati principalmente per la forense delle immagini naturali (ad esempio, inserimento di oggetti, sintesi generativa), spesso falliscono quando applicati a questi documenti strutturati. Essi mancano della specificità di dominio necessaria per gestire le caratteristiche uniche dei campi di identità e spesso vedono degradare le prestazioni quando elaborano immagini dell'intero documento. Inoltre, la dipendenza da dataset proprietari e closed-source nell'industria limita la riproducibilità e lo sviluppo di soluzioni aperte, efficienti e specifiche per il dominio.

Metodologia: Il Framework FLiD
Gli autori propongono FLiD (Rilevamento di Falsificazioni per Documenti di Identità Localizzato per Campi), un framework leggero progettato per trattare i documenti di identità come collezioni strutturate di campi semantici anziché come griglie di immagini omogenee. La pipeline consiste in tre fasi principali:

1. Localizzazione del Campo di Identità:

   • Viene impiegato un rilevatore di oggetti YOLOv8 fine-tuned per localizzare ed estrarre automaticamente le regioni critiche dell'identità: la fotografia facciale e i campi testuali di identità.
   • Questo passaggio affronta la variabilità strutturale dei documenti provenienti da diversi paesi e autorità emittenti, garantendo un'estrazione coerente delle regioni semanticamente rilevanti indipendentemente dal layout del documento.
   • Il rilevatore è stato addestrato su riquadri di delimitazione (bounding boxes) annotati manualmente dal dataset per garantire robustezza contro le variazioni specifiche del dominio.

2. Codifica delle Caratteristiche a Livello di Campo:

   • Le regioni estratte di volto e testo vengono ridimensionate a 224×224 e inviate attraverso un backbone MobileNetV3-Small congelato (pre-addestrato su ImageNet-1K).
   • Il backbone genera embedding compatti a 576 dimensioni per ciascun campo. Congelando i pesi del backbone, il modello evita l'overfitting sui dati limitati dei documenti di identità, sfruttando al contempo le ricche rappresentazioni visive apprese durante il pre-addestramento su larga scala.
   • Questo approccio riduce significativamente il numero di parametri addestrabili rispetto all'addestramento di un backbone completo da zero.

3. Fusione Multi-Campo e Classificazione:

   • Per i documenti che potrebbero contenere manipolazioni multi-campo, gli embedding di volto e testo vengono concatenati per formare una rappresentazione unificata multi-campo.
   • Un classificatore leggero di rete neurale feed-forward (5 strati completamente connessi con attivazioni ReLU e dropout) elabora queste caratteristiche concatenate per classificare il documento come genuino o falsificato.
   • L'intera testata di classificazione contiene solo 191K parametri addestrabili, ottimizzati utilizzando la perdita di entropia incrociata binaria con bilanciamento delle classi.

Contributi Chiave

• Framework a Livello di Campo Consapevole dell'Identità: Un approccio innovativo che modella esplicitamente i documenti di identità come composizioni strutturate di campi semantici, consentendo un'analisi mirata delle falsificazioni distinta dai rilevatori generici di immagini naturali.
• Modulo di Localizzazione Semantica: L'introduzione di un modulo YOLOv8 fine-tuned per rilevare ed estrarre automaticamente le regioni critiche dell'identità (volto e testo), facilitando un pre-processing coerente attraverso formati di documento eterogenei.
• Apprendimento di Rappresentazioni Leggere: Una strategia di embedding efficiente che utilizza un backbone MobileNetV3-Small congelato, ottenendo prestazioni di rilevamento elevate con costi computazionali minimi (191K parametri e 21 volte meno FLOPs rispetto alla baseline).

Risultati Sperimentali
Il framework è stato valutato sul dataset FantasyID, un benchmark contenente 362 design unici di ID con 1.086 immagini genuine e vari tipi di falsificazione (solo volto, solo testo e attacchi combinati). Le prestazioni sono state valutate utilizzando la convalida incrociata stratificata a 5 fold e le metriche PAD ISO/IEC 30107-3.

• Miglioramenti delle Prestazioni: FLiD ha ottenuto punteggi Area Under the Curve (AUC) di 0,880 (volto), 0,954 (testo) e 0,923 (attacchi su entrambi i campi).
• Riduzione dell'Errore: Il metodo ha ridotto il Tasso di Errore Uguale (EER) del 29,40% per gli attacchi al volto, del 35,65% per gli attacchi al testo e del 35,34% per gli attacchi combinati rispetto a una MobileNetV2 di base addestrata da zero su immagini dell'intero documento.
• Efficienza Operativa: FLiD ha costantemente superato i rilevatori di manipolazione generici (TruFor, MMFusion, UniVAD) in tutti gli scenari, richiedendo 13 volte meno parametri e 21 volte meno FLOPs.
• Robustezza: Il modello ha dimostrato una separabilità del punteggio e un'affidabilità nel ranking superiori, in particolare negli attacchi solo testo, dove la baseline ha operato vicino al caso casuale (AUC ~0,54).

Significato e Affermazioni
Il documento sostiene che la natura strutturale dei documenti di identità richiede una strategia di rilevamento fondamentalmente diversa da quella utilizzata per le immagini naturali. Concentrandosi sui campi semanticamente critici anziché elaborare l'intero documento indiscriminatamente, FLiD ottiene un compromesso superiore tra accuratezza di rilevamento ed efficienza computazionale. Gli autori affermano che la modellazione specifica del dominio è essenziale per il rilevamento delle falsificazioni dell'identità digitale, poiché i modelli generici non riescono a generalizzare agli scenari di documenti strutturati. Il framework proposto offre una soluzione riproducibile, open-source e computazionalmente efficiente, adatta al dispiegamento nel mondo reale nei sistemi di verifica dell'identità digitale, in particolare negli ambienti edge dove latenza e vincoli di risorse sono critici.

Limitazioni e Direzioni Future
Gli autori riconoscono che il sistema attuale si basa su rappresentazioni di caratteristiche visive e non utilizza il Riconoscimento Ottico dei Caratteri (OCR) o prioristiche specifiche della lingua. Sebbene efficace contro le attuali tecniche di manipolazione che introducono artefatti visivi (ad esempio, incongruenze nei font, confini di fusione), il lavoro futuro mira a esplorare la fusione multimodale visivo-linguistica per rilevare modifiche semanticamente implausibili ma visivamente fluide. Inoltre, le direzioni future includono l'estensione del sistema per produrre mappe di manomissione a livello di pixel per la localizzazione e l'integrazione di tecniche di spiegabilità (ad esempio, Grad-CAM) per migliorare la fiducia operativa.