CPG-PAD: Concept-Informed Prompts Guided Presentation Attack Detection

Sintesi Tecnica: CPG-PAD: Concept-Informed Prompts Guided Presentation Attack Detection

Problematica
La rilevazione degli attacchi di presentazione (Presentation Attack Detection, PAD) è fondamentale per proteggere i sistemi di riconoscimento facciale dai tentativi di spoofing, come foto stampate, video riprodotti o maschere 3D. Sebbene i metodi basati sul deep learning abbiano mostrato risultati promettenti, essi faticano a generalizzare su domini non visti a causa di significativi cambiamenti nei sensori, nelle condizioni di illuminazione e nei materiali di attacco. Approcci recenti che sfruttano i modelli Vision-Language (VLM), in particolare i framework basati su CLIP, hanno migliorato la generalizzazione utilizzando la conoscenza multimodale. Tuttavia, i metodi PAD simili a CLIP si affidano tipicamente a prompt testuali progettati dall'uomo (ad esempio, "una foto di un volto reale") ottimizzati sotto la supervisione di etichette di classe. Gli autori sostengono che tali prompt di livello umano non riescono ad allinearsi esplicitamente con la semantica visiva fine e rilevante per l'attacco (come sottili distorsioni geometriche o discrepanze di riflessione dell'illuminazione) e spesso si adattano eccessivamente (overfitting) ad artefatti specifici del dominio piuttosto che catturare indizi di attacco trasferibili.

Metodologia
Il documento propone CPG-PAD (Concept-Informed Prompts Guided Presentation Attack Detection), un framework che integra la guida dei concetti a livello di modello nel processo di apprendimento dei prompt. Il metodo si compone di due fasi primarie:

1. Visual Concept-driven Enhancement (VCE):

   • Questo modulo opera su un modello CLIP pre-addestrato senza richiedere aggiornamenti dei parametri.
   • Scoperta dei Concetti: Utilizzando la Semi-Negative Matrix Factorization (Semi-NMF) sulle mappe di attivazione di un sottoinsieme di dati di dominio, il sistema scopre automaticamente concetti visivi rilevanti per la PAD (ad esempio, "piega della carta", "fori tagliati", "occhi ambigui") direttamente dallo spazio delle caratteristiche.
   • Generazione di Heatmap: Questi concetti scoperti vengono utilizzati per generare heatmap di caratteristiche fini ($H_{gt}$) per l'intero dataset. Queste heatmap fungono da segnali di guida localizzati e associati ai concetti che evidenziano specifici indizi visivi rilevanti per la rilevazione dell'attacco, estendendosi oltre la comprensione di livello umano.

2. Prompt-based Concept Injection (PCI):

   • Questa fase apprende molteplici prompt informati dai concetti allineando i prompt testuali con i concetti visivi scoperti dalla VCE.
   • Prompt Apprendibili: Il framework utilizza embedding di prompt apprendibili concatenati con descrizioni testuali fisse per classe (ad esempio, "Una foto di un volto falso").
   • Visual-Prompt Decoder (VPD): Un nuovo modulo decoder, che incorpora la Multi-head Self-Attention (MSA) e un proposto meccanismo di Multi-head Dual-Attention (MDA), facilita l'interazione tra le caratteristiche del prompt e i token dell'immagine.
   • Concept Mapping Loss: Il VPD decodifica i prompt in heatmap predette ($H_{dec}$). Una perdita di mappatura dei concetti ($L_M$) viene applicata per minimizzare l'errore tra $H_{dec}$ e le heatmap dei concetti reali ($H_{gt}$) utilizzando il matching di Hungarian. Ciò costringe i prompt apprendibili ad allinearsi con lo spazio concettuale interno del modello, iniettando efficacemente l'informazione del concetto visivo nei prompt testuali.
   • Classificazione: La classificazione finale viene eseguita calcolando i punteggi di similarità tra le caratteristiche del prompt appreso e il token CLS dell'immagine di input, supervisionata sia dalla perdita di cross-entropy di classificazione che dalla perdita di mappatura dei concetti.

Contributi Chiave

• Framework Innovativo: L'introduzione di CPG-PAD, che migliora la generalizzazione del dominio incorporando concetti visivi scoperti tramite tecniche XAI su VLM pre-addestrati nel processo di apprendimento dei prompt.
• Meccanismi VCE e PCI: La progettazione del Visual Concept-driven Enhancement (VCE) per scoprire automaticamente i concetti rilevanti per l'attacco e generare heatmap di caratteristiche, e del Prompt-based Concept Injection (PCI) per apprendere prompt informati dai concetti tramite il Visual-Prompt Decoder (VPD).
• Prestazioni allo Stato dell'Arte: La dimostrazione di una performance superiore nella generalizzazione cross-domain su nove dataset di benchmark sotto protocolli di valutazione multi-source, limited-source e single-source.

Risultati Sperimentali
Gli autori hanno valutato CPG-PAD su nove dataset (inclusi MSU-MFSD, CASIA-FASD, OULU-NPU, CelebA-Spoof e SiW-Mv2) attraverso cinque protocolli di valutazione (P1–P5).

• Multi-source (P1): Sul benchmark ICMO, CPG-PAD ha raggiunto un Half Total Error Rate (HTER) medio del 2,08%, superando il precedente stato dell'arte basato su CLIP, S-CPTL (3,33%), e persino S-CPTL addestrato con dati aggiuntivi (2,89%).
• Limited-source (P2/P3): In scenari con meno domini sorgente, CPG-PAD ha costantemente ottenuto una delle prime due posizioni, riducendo l'HTER medio al 9,91% (senza dati extra) e al 6,59% (con l'aumento di CelebA-Spoof) sui dataset CSW.
• Single-source (P4): Il metodo ha raggiunto un HTER medio del 5,33% (3,36% con l'aumento), superando significativamente altri baseline single-source.
• Unknown PAI (P5): Sul dataset SiW-Mv2 con strumenti di attacco di presentazione (PAI) sconosciuti, CPG-PAD ha ridotto l'HTER medio dal 3,03% (baseline CLIP) all'1,02%, mostrando una particolare robustezza contro l'occultamento, il trucco e le maschere 3D.
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità di ogni componente (Prompt Apprendibili, Concept Mapping Loss e VPD), il numero ottimale di prompt (corrispondente al numero di concetti scoperti, $J=K=15$) e la profondità ottimale del VPD (4 livelli).

Significatività
Il documento afferma che CPG-PAD affronta il limite dei prompt progettati dall'uomo nei metodi PAD basati su CLIP, sfruttando i segnali a livello di modello. Utilizzando la XAI per scoprire concetti visivi ed heatmap, il framework consente al modello di apprendere prompt che si allineano con indizi di attacco fini e trasferibili, piuttosto che con artefatti specifici del dominio. Questo approccio permette al modello di catturare caratteristiche generalizzabili e sopprimere i bias specifici del dataset, portando a una performance robusta in domini target non visti senza dipendere da sensori aggiuntivi o architetture di ragionamento multi-modale complesse (come i Large Language Models). I risultati suggeriscono che distillare i concetti visivi dai VLM pre-addestrati è una strategia efficace per migliorare la generalizzazione del dominio dei sistemi di anti-spoofing facciale.