💻 computer science

CPG-PAD: Concept-Informed Prompts Guided Presentation Attack Detection

Het artikel stelt CPG-PAD voor, een nieuw framework dat cross-domein Presentation Attack Detection verbetert door modelniveau-conceptbegeleiding via XAI-afgeleide heatmaps te integreren in prompt learning, waardoor het een state-of-the-art generalisatie over diverse datasets bereikt door overdraagbare aanvalskenmerken vast te leggen terwijl domeinspecifieke biases worden onderdrukt.

Oorspronkelijke auteurs: Haoyuan Zhang, Xiangyu Zhu, Li Gao, Ajian Liu, Siran Peng, Zhen Lei

Gepubliceerd 2026-07-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haoyuan Zhang, Xiangyu Zhu, Li Gao, Ajian Liu, Siran Peng, Zhen Lei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiliger inhuurt om ID-bewijzen te controleren bij een club. De taak van deze bewaker is om "nep" ID-bewijzen (presentatie-aanvallen) te herkennen, zoals geprinte foto's, afgespeelde video's of 3D-maskers, terwijl echte mensen gewoon worden doorgelaten.

Het probleem is dat de meeste beveiligers zijn getraind in één specifieke kamer met één specifiek type verlichting. Als je ze naar een nieuwe kamer verplaatst met andere lichten, of als de vervalsers een nieuw soort papier gaan gebruiken, raakt de bewaker vaak in de war en laat hij de neppers door. Dit wordt het "domeinverschuiving"-probleem (domain shift) genoemd in de wereld van gezichtsherkenning.

Het artikel introduceert een nieuwe methode genaamd CPG-PAD (Concept-Informed Prompts Guided Presentation Attack Detection). Zie dit als het geven van een superkracht aan de beveiligingsbeambte: het vermogen om de diepe, verborgen concepten te begrijpen die bepalen wat een foto nep maakt, in plaats van alleen maar te onthouden hoe een nep ID-bewijs er in één specische kamer uitziet.

Zo werkt het, stap voor stap uitgelegd:

1. De oude manier: "Menselijk gokken"

Voorheen probeerden onderzoekers de AI te onderwijzen door tekstuele prompts te geven zoals "een foto van een echt gezicht" of "een foto van een nep gezicht".

De analogie: Stel je voor dat je een bewaker vertelt: "Let op een nep ID." De bewaker kijkt dan misschien naar overduidelijke zaken zoals een scheve foto of een vreemd lettertype. Maar sommige vervalsingen zijn heel subtiel—zoals een kleine reflectie op een scherm of een lichte vervorming in de papiertextuur. Mensen (en eenvoudige tekstuele prompts) hebben moeite om deze minuscule, onzichtbare aanwijzingen te beschrijven. De bewaker eindigt met het onthouden van de specifieke verlichting van de trainingsruimte in plaats van het begrijpen van het concept van een nep ID-bewijs.

2. De nieuwe manier: "Het vergrootglas van de detective"

De auteurs realiseerden zich dat hoewel mensen moeite hebben om deze minuscule aanwijzingen te beschrijven, de AI zelf (specifiek een krachtig vooraf getraind model genaamd CLIP) ze juist wel ziet. Het probleem is dat de AI niet weet welke van die miljoenen kleine details er nu echt toe doen.

CPG-PAD gebruikt een techniek genaamd Explainable AI (XAI) om als een detective te fungeren.

De Detective (VCE - Visual Concept-driven Enhancement): Het systeem kijkt naar duizenden nepfoto's en vraagt de AI: "Waar kijk je eigenlijk naar?" De AI onthult de verborgen "concepten" die hij gebruikt om beslissingen te nemen.
- Voorbeeld: In plaats van alleen "nep", ontdekt de AI specifieke concepten zoals "kreukels in het papier", "gaten voor de ogen" of "vreemde lichtreflecties".
- Vervolgens tekent het een heatmap (zoals een weerkaart) over de foto, waarbij precies wordt aangegeven waar deze aanwijzingen zich bevinden.

3. De bewaker onderwijzen: "Concept-geïnformeerde prompts"

Nu het systeem deze heatmaps heeft, leert het de beveiligingsbeambte om op deze punten te letten.

De Leraar (PCI - Prompt-based Concept Injection): Het systeem creëert speciale "prompts" (instructies) voor de AI. In plaats van alleen "Nep" te zeggen, zegt de prompt nu: "Kijk naar de kreukel hier, en het gat daar."
De Brug (VPD - Visual-Prompt Decoder): Dit is een speciale vertaler die de tekstuele instructies verbindt met de visuele heatmaps. Het dwingt de AI om zijn interne "gedachten" af te stemmen op de visuele aanwijzingen die de detective heeft gevonden.

4. Het resultaat: Een super-aanpasbare bewaker

Omdat de bewaker nu getraind is op concepten (zoals "papiertextuur" of "lichtreflectie") in plaats van alleen op specifieke foto's uit één kamer, wordt hij ongelooflijk aanpasbaar.

De analogie: Als je een bewaker traint om "een kreuk in het papier" te herkennen, kan hij zelfs een nep ID herkennen als de verlichting verandert, de camerahoek anders is of de aanvaller een ander merk printer gebruikt. Hij onthoudt niet de kamer; hij begrijpt de aard van de vervalsing.

Wat het artikel beweert

De auteurs hebben dit getest op negen verschillende datasets (negen verschillende "kamers" met verschillende camera's, lichten en soorten aanvallen).

De uitkomst: CPG-PAD versloeg consequent de huidige beste methoden. Het was vooral goed in het herkennen van vervalsingen die het nog nooit eerder had gezien (cross-domain prestaties).
De efficiëntie: Het vereist geen enorme nieuwe hardware of extra sensoren (zoals dieptecamera's). Het gebruikt simpelweg het bestaande AI-model en leert het model om op een andere manier naar de wereld te kijken.

Samenvattend: CPG-PAD is als het upgraden van een beveiligingsbeambte van iemand die een lijst met bekende vervalsingen uit het hoofd leert, naar een meesterdetective die de fundamentele fysica en texturen van vervalsing begrijpt, waardoor hij vervalsingen in elke omgeving en onder alle omstandigheden kan opsporen.

Technische Samenvatting: CPG-PAD: Concept-Informed Prompts Guided Presentation Attack Detection

Probleemstelling
Presentation Attack Detection (PAD) is cruciaal voor het beveiligen van gezichtsherkenningssystemen tegen spoofing-pogingen zoals geprinte foto's, afgespeelde video's en 3D-maskers. Hoewel deep learning-gebaseerde methoden veelbelovend zijn gebleken, hebben ze moeite met het generaliseren naar onbekende domeinen vanwege significante verschuivingen in sensoren, lichtomstandigheden en aanvalsmaterialen. Recente benaderingen die gebruikmaken van Vision-Language Models (VLMs), met name CLIP-gebaseerde frameworks, hebben de generalisatie verbeterd door gebruik te maken van multimodale kennis. Echter, bestaande CLIP-achtige PAD-methoden vertrouwen doorgaans op door mensen ontworpen tekstuele prompts (bijv. "een foto van een echt gezicht") die geoptimaliseerd zijn onder supervisie van klasse-labels. De auteurs stellen dat deze menselijke prompts er niet expliciet in slagen om aan te sluiten bij fijnmazige, aanvalsrelevante visuele semantiek (zoals subtiele geometrische vervormingen of discrepanties in lichtinval-reflectie) en vaak overfitten op domeinspecifieke artefacten in plaats van overdraagbare aanvalskenmerken te vangen.

Methodologie
Het paper stelt CPG-PAD (Concept-Informed Prompts Guided Presentation Attack Detection) voor, een framework dat modelniveau concept-sturing integreert in het prompt-leertproces. De methode bestaat uit twee primaire stadia:

Visual Concept-driven Enhancement (VCE):
- Deze module werkt op een vooraf getraind CLIP-model zonder dat parameters worden bijgewerkt.
- Concept Discovery: Door gebruik te maken van Semi-Negative Matrix Factorization (Semi-NMF) op activatiekaarten van een subset van domeindata, ontdekt het systeem automatisch PAD-relevante visuele concepten (bijv. "papierplooi", "gaten erin gesneden", "ambigue ogen") rechtstreeks uit de feature space.
- Heatmap Generatie: Deze ontdekte concepten worden gebruikt om fijnmazige feature heatmaps ( $H_{gt}$ ) voor de gehele dataset te genereren. Deze heatmaps dienen als gelokaliseerde, concept-geassocieerde sturingssignalen die specifieke visuele kenmerken benadrukken die relevant zijn voor aanvalsdetectie, wat verder gaat dan menselijk begrip.
Prompt-based Concept Injection (PCI):
- Deze fase leert meerdere concept-geïnformeerde prompts door tekstuele prompts af te stemmen op de visuele concepten die door VCE zijn ontdekt.
- Learnable Prompts: Het framework maakt gebruik van leerbare prompt-embeddings die worden geconcateneerd met vaste klasse-specifieke tekstbeschrijvingen (bijv. "Een foto van een nep gezicht").
- Visual-Prompt Decoder (VPD): Een nieuw decoder-module, die gebruik maakt van Multi-head Self-Attention (MSA) en een voorgestelde Multi-head Dual-Attention (MDA) mechanisme, faciliteert de interactie tussen de prompt-features en beeld-tokens.
- Concept Mapping Loss: De VPD decodeert de prompts naar voorspelde heatmaps ( $H_{dec}$ ). Een concept mapping loss ( $L_M$ ) wordt toegepast om de fout tussen $H_{dec}$ en de grondwaarheid concept-heatmaps ( $H_{gt}$ ) te minimaliseren met behulp van Hungarian matching. Dit dwingt de leerbare prompts om af te stemmen op de interne concept-ruimte van het model, waardoor visuele conceptinformatie effectief in de tekstuele prompts wordt geïnjecteerd.
- Classificatie: De uiteindelijke classificatie wordt uitgevoerd door de gelijkenisscores te berekenen tussen de geleerde prompt-features en de CLS-token van de invoerafbeelding, gesuperviseerd door zowel de classificatie cross-entropy loss als de concept mapping loss.

Belangrijkste Bijdragen

Nieuw Framework: De introductie van CPG-PAD, die de domein-generalisatie verbetert door visuele concepten die via XAI-technieken op vooraf getrainde VLMs zijn ontdekt, te integreren in het prompt-leersproces.
VCE en PCI Mechanismen: Het ontwerp van de Visual Concept-driven Enhancement (VCE) om automatisch aanvalsrelevante concepten te ontdekken en feature heatmaps te genereren, en de Prompt-based Concept Injection (PCI) om concept-geïnformeerde prompts te leren via de Visual-Prompt Decoder (VPD).
State-of-the-Art Prestaties: De demonstratie van superieure cross-domein prestaties over negen benchmark-datasets onder multi-source, limited-source en single-source evaluatieprotocollen.

Experimentele Resultaten
De auteurs hebben CPG-PAD geëvalueerd op negen datasets (waaronder MSU-MFSD, CASIA-FASD, OULU-NPU, CelebA-Spoof en SiW-Mv2) over vijf evaluatieprotocollen (P1–P5).

Multi-source (P1): Op de ICMO benchmark behaalde CPG-PAD een gemiddelde Half Total Error Rate (HTER) van 2,08%, waarmee het de vorige state-of-the-art CLIP-gebaseerde methode S-CPTL (3,33%) en zelfs S-CPTL getraind met extra data (2,89%) verslaat.
Limited-source (P2/P3): In scenario's met minder bron-domeinen behaalde CPG-PAD consistent top-twee prestaties, waarbij de gemiddelde HTER werd verlaagd naar 9,91% (zonder extra data) en 6,59% (met CelebA-Spoof augmentatie) op CSW-datasets.
Single-source (P4): De methode behaalde een gemiddelde HTER van 5,33% (3,36% met augmentatie), wat andere single-source baselines aanzienlijk overtreft.
Onbekende PAI (P5): Op de SiW-Mv2 dataset met onbekende Presentation Attack Instruments (PAI's), verminderde CPG-PAD de gemiddelde HTER van 3,03% (CLIP baseline) naar 1,02%, wat een bijzondere robuustheid toont tegen camouflage, make-up en 3D-maskers.
Ablatie-studies: Experimenten bevestigden de noodzaak van elk component (Learnable Prompts, Concept Mapping Loss en VPD), het optimale aantal prompts (overeenkomend met het aantal ontdekte concepten, $J=K=15$ ), en de optimale VPD-diepte (4 lagen).

Betekenis
Het paper stelt dat CPG-PAD de beperking van door mensen ontworpen prompts in CLIP-gebaseerde PAD-methoden aanpakt door gebruik te maken van modelniveau-signalen. Door XAI te gebruiken om visuele concepten en heatmaps te ontdekken, stelt het framework het model in staat om prompts te leren die afstemmen op fijnmazige, overdraagbare aanvalskenmerken in plaats van domeinspecifieke artefacten. Deze aanpak stelt het model in staat om generaliseerbare kenmerken te vangen en dataset-specifieke biases te onderdrukken, wat leidt tot robuuste prestaties in onbekende doel-domeinen zonder dat daar extra sensoren of complexe multi-modale redeneerarchitecturen (zoals Large Language Models) voor nodig zijn. De resultaten suggereren dat het distilleren van visuele concepten uit vooraf getrainde VLMs een effectieve strategie is voor het verbeteren van de domein-generalisatie van gezichtsanti-spoofing systemen.

1. De oude manier: "Menselijk gokken"

2. De nieuwe manier: "Het vergrootglas van de detective"

3. De bewaker onderwijzen: "Concept-geïnformeerde prompts"

4. Het resultaat: Een super-aanpasbare bewaker

Wat het artikel beweert

Meer zoals dit