R-FLoRA: Residual-Statistic-Gated Low-Rank Adaptation for Single-Image Face Morphing Attack Detection

1. Il Problema: Attacchi di Morfing Facciale (S-MAD)

Gli attacchi di morfing facciale rappresentano una minaccia critica per i sistemi di riconoscimento facciale utilizzati nei passaporti, nel controllo delle frontiere e nella verifica dell'identità digitale. Un attacco di morfing combina le immagini di due o più individui per creare un'identità visivamente plausibile che può essere riconosciuta come autentica da più soggetti.

La sfida principale affrontata in questo lavoro è la Rilevazione di Attacchi di Morfing su Singola Immagine (S-MAD). A differenza della rilevazione differenziale (D-MAD), che confronta un'immagine live con un riferimento (es. chip del passaporto), l'S-MAD deve operare su un'unica immagine senza alcun riferimento di verità. Questo rende il compito estremamente difficile a causa della mancanza di contesto comparativo e della vasta diversità dei metodi di generazione degli attacchi (da tecniche basate su landmark a modelli generativi avanzati come Diffusion Models).

2. Metodologia: Il Framework R-FLoRA

L'approccio proposto integra le statistiche residue ad alta frequenza con le rappresentazioni semantiche di un modello di visione fondazionale (Foundation Model) congelato. L'architettura si compone di sei componenti principali:

A. Backbone Congelato (Frozen ViT)

Il sistema utilizza un Vision Transformer (ViT) su larga scala (specificamente CLIP ViT-L/14) i cui pesi rimangono congelati durante tutto il processo di addestramento. Questo preserva le ricche rappresentazioni semantiche apprese dal modello pre-addestrato, evitando l'overfitting e riducendo drasticamente il numero di parametri aggiornabili.

B. Estrazione di Caratteristiche Residue (Laplacian Residual)

Per catturare le imperfezioni locali introdotte dal morfing (spesso invisibili a livello semantico globale), viene estratta una mappa di residui basata sul filtro di Laplace.

• L'immagine viene convertita in scala di grigi, lisciata e sottoposta all'operatore di Laplace.
• Vengono calcolate statistiche per ogni patch (media, varianza, energia) per creare un descrittore residuo locale.
• Queste statistiche fungono da segnale di "condizionamento" per modulare il backbone.

C. Adattatori R-FLoRA (Residual-Statistic-Gated LoRA)

Questa è l'innovazione centrale. Invece di un fine-tuning statico, il paper introduce R-FLoRA:

• Vengono inseriti adattatori a basso rango (Low-Rank Adaptation - LoRA) solo nelle proiezioni Query (Q) e Value (V) degli ultimi $k=3$ strati del Transformer.
• L'aggiornamento a basso rango è modulato dinamicamente da un "gate" scalare ($g$) derivato dalle statistiche residue globali dell'immagine in ingresso.
• Questo meccanismo permette al modello di enfatizzare adattivamente le cue specifiche del morfing per ogni singolo campione, senza alterare i pesi del backbone.

D. Fusione Res-FiLM (Residual Feature-wise Linear Modulation)

Per integrare le informazioni residue locali con i token semantici globali, viene utilizzato un modulo Res-FiLM.

• I descrittori residui per patch vengono mappati in parametri di scala ($\gamma$) e spostamento ($\beta$) tramite una rete MLP condivisa.
• Questi parametri modulano i token del backbone in modo allineato spazialmente, iniettando evidenze forensi locali senza distruggere il contesto globale.

E. Pooling con Cross-Attention e Loss di Allineamento

• Pooling: Un modulo di Cross-Attention Pooling con query apprese aggrega i token fusi, permettendo al modello di pesare adattivamente le regioni contenenti artefatti di morfing (che sono spesso sparsi).
• Loss RCA (Residual-Contrastive Alignment): Viene introdotta una nuova funzione di perdita che regolarizza la relazione tra i token fusi e i token originali del backbone congelato. Per le immagini genuine (bona fide), i token fusi devono rimanere allineati a quelli originali; per i morf, deve essere massimizzata la separazione. Questo migliora la robustezza nel passaggio di dominio.

3. Contributi Chiave

1. Integrazione Condizionata dai Residui: Dimostrazione che l'uso delle statistiche residue Laplaciane come segnale di condizionamento esplicito per un ViT congelato migliora significativamente la generalizzazione su tecniche di morfing mai viste.
2. R-FLoRA: Un meccanismo di adattamento leggero e dinamico che modula le proiezioni di attenzione in base alle statistiche residue globali, offrendo un controllo specifico per campione.
3. Res-FiLM: Una strategia di fusione efficiente che inietta evidenze forensi locali nei token del backbone mantenendo la struttura semantica globale.
4. Valutazione Cross-Dataset Rigorosa: Il metodo è stato testato su quattro dataset conformi agli standard ICAO (FERET, FRGC, FRLL, MS40) con sette diverse tecniche di generazione di morfing, mostrando una generalizzazione superiore rispetto a nove metodi dello stato dell'arte.

4. Risultati Sperimentali

Il modello è stato valutato in scenari di cross-dataset (addestramento su un dataset, validazione su un altro, test su dataset completamente non visti).

• Performance: Il metodo proposto ha superato tutti i nove metodi di confronto (inclusi modelli basati su Diffusion, few-shot learning, e altri adattamenti di foundation models).
  • Su MD#3 (test su FRILL), ha raggiunto un D-EER (Detection Equal Error Rate) di 7.14%, contro un 12.74% del miglior concorrente (LocalMorph) e valori molto più alti per gli altri.
  • Su MD#4 (test su MS40), ha ottenuto un D-EER di 15.31%, dimostrando robustezza anche in domini con grandi differenze distributive.
• Efficienza: Mantenendo il backbone congelato, il modello ha solo ~9.3 milioni di parametri addestrabili su un totale di ~427 milioni (circa il 2.1%).
• Velocità: L'inferenza avviene in circa 12.99 ms per immagine su GPU (NVIDIA L40), permettendo un throughput di ~77 immagini al secondo, rendendolo adatto per applicazioni in tempo reale.
• Robustezza: Il sistema ha mostrato una degradazione graduale e controllata sotto condizioni di degrado dell'immagine (sfocatura, rumore, compressione JPEG) senza bisogno di ri-addestramento.

5. Significato e Impatto

Questo lavoro rappresenta un avanzamento significativo nel campo della sicurezza biometrica:

• Interpretabilità: A differenza delle "scatole nere" dei modelli puramente deep learning, l'uso di statistiche residue Laplaciane fornisce un segnale forense interpretabile e fisicamente motivato.
• Efficienza Computazionale: L'approccio "frozen backbone + adapter" risolve il problema della scarsità di dati etichettati per il morfing, permettendo di sfruttare modelli foundation enormi senza costi computazionali proibitivi per l'addestramento.
• Generalizzazione Reale: La capacità di rilevare morfing generati da tecniche sconosciute (inclusi i Diffusion Models) in scenari cross-dataset rende questa soluzione particolarmente adatta per il dispiegamento in sistemi reali di controllo frontiere e verifica identità, dove le condizioni di acquisizione e le tecniche di attacco variano costantemente.

In sintesi, R-FLoRA combina la potenza semantica dei Foundation Models con l'analisi forense tradizionale delle texture, creando un sistema di rilevazione di attacchi di morfing robusto, efficiente e altamente generalizzabile.