VISER: Visually-Informed System for Enhanced Robustness in Open-Set Iris Presentation Attack Detection

Titel: VISER: Visueel Geïnformeerd Systeem voor Verhoogde Robuustheid in Open-Set Iris Presentatie-aanval Detectie (PAD)

Auteurs: Byron Dowling, Eleanor Frederick, Jacob Piland, Adam Czajka (Universiteit van Notre Dame)

---

1. Het Probleem

Iris-herkenning is een van de veiligste biometrische methoden, maar is kwetsbaar voor presentatie-aanvallen (bijv. kunstogen, geprinte irissen, contactlenzen met patronen, synthetische afbeeldingen). Bestaande diepe leermodellen presteren vaak goed op bekende aanvalstypen (gesloten-set), maar worstelen met generalisatie naar onbekende aanvalstypen (open-set).

Een veelbelovende aanpak om deze generalisatie te verbeteren, is het gebruik van menselijke salientie (aandachtskaarten die aangeven waar een menselijke expert kijkt tijdens het beoordelen van een afbeelding). Echter, er is geen eenduidig antwoord op welke vorm van menselijke salientie het meest effectief is voor training:

• Handmatige annotaties: Discrete, door mensen gemaakte markeringen (bijv. muisaanwijzingen), die vaak een "motorische bottleneck" vertonen (de vertaling van visuele waarneming naar fysieke actie).
• Eye-tracking: Een continue stroom van oogbewegingen die directer de cognitieve verwerking weerspiegelt, maar vaak ruis bevat (zoals micro-saccades).
• Segmentatiemaskers: Vaak minder informatief voor subtiele aanvalsdetectie.

Het paper onderzoekt of het gebruik van eye-tracking salientie, en specifiek het denoisen (ruisverwijdering) daarvan, leidt tot betere prestaties dan handmatige annotaties of moderne foundation models.

2. Methodologie

De auteurs introduceren VISER, een systeem dat verschillende salientie-modi vergelijkt binnen een leave-one-attack-type-out paradigma (open-set evaluatie).

Experimentele Opzet:

• Basisarchitectuur: DenseNet121 (D-NetPAD) als baseline, getraind met standaard cross-entropy verlies (XENT).
• Salientie-gestuurde training: Modellen worden getraind met een verliesfunctie die bestaat uit cross-entropy plus een Mean Squared Error (MSE) component die de salientie van het model (Class Activation Map - CAM) vergelijkt met de doelsalientie.
• Vergelijkde Salientie-methoden:
  1. Segmentatiemaskers: Open-source iris-segmentatie.
  2. Handmatige annotaties: Gemaakt door experts, gevarieerd in entropie (Laag, Gelijk, Hoog) via Gaussian blur om de invloed van "ruis" in de annotatie te testen.
  3. Eye-tracking: Data van experts en niet-experts, opgesplitst in:
     • Full Eye Tracking: Volledige evaluatieperiode.
     • Initial Eye Tracking: Alleen de eerste indruk.
     • Gedenoised: Toepassing van HDBSCAN clustering om ruis (buitenstaanders) te verwijderen.
• Foundation Models Baseline: Vergelijking met DINOv2-Base embeddings, gekoppeld aan drie klassieke classifiers: LogReg, Lineaire SVM en RBF-SVM.
• Dataset: Een verzameling van 7 aanvalstypen (printouts, ziekte, post-mortem, synthetisch, contactlenzen, kunstogen) en echte irissen.

Evaluatiemetrics:

• AUROC: Area Under the ROC Curve (hoger is beter).
• APCER bij BPCER 1%: Attack Presentation Classification Error Rate bij een Bonafide Presentation Classification Error Rate van 1% (lager is beter).

3. Belangrijkste Bijdragen

1. Systematische Vergelijking: De eerste studie die direct menselijke salientie (hand vs. eye-tracking) en niet-menselijke salientie (segmentatie) vergelijkt voor iris-PAD in een open-set scenario.
2. Denoising Techniek: Een methode voor het denoisen van ruwe eye-tracking data met HDBSCAN, wat leidt tot state-of-the-art prestaties.
3. VISER Framework: Een bewezen methode die aantoont dat eye-tracking salientie superieur is aan handmatige annotaties voor generalisatie.
4. Open Science: Publicatie van code, modelgewichten en salientie-kaarten voor reproduceerbaarheid.

4. Resultaten

De resultaten tonen duidelijke winst voor eye-tracking methoden ten opzichte van de baseline en andere salientie-typen.

• Antwoord op RQ1 (Eye-tracking vs. Andere):

  • Eye-tracking (zowel Full als Initial) presteerde significant beter dan handmatige annotaties en segmentatiemaskers.
  • De beste prestatie werd geboekt door De-noised Initial Eye Tracking. Dit resulteerde in een verbetering van +0,0608 in AUROC en -0,1063 in APCER (bij BPCER 1%) ten opzichte van de XENT-baseline.
  • Handmatige annotaties (zelfs met aangepaste entropie) slaagden er zelden in om de baseline te verbeteren, wat wijst op de beperkingen van de "motorische bottleneck" (mensen markeren niet alles wat ze zien).

• Antwoord op RQ2 (Salientie vs. Foundation Models):

  • Salientie-gestuurde training met eye-tracking overtrof de moderne foundation model-oplossingen (DINOv2 + classifiers).
  • DINOv2 + SVM-RBF toonde enige verbetering in AUROC (+0,0485), maar faalde vaak bij APCER. DINOv2 + LogReg en SVM-Linear presteerden vaak slechter dan de simpele XENT-baseline.
  • Dit suggereert dat voor open-set iris-PAD, het expliciet leren van menselijke aandachtspunten effectiever is dan het gebruik van generieke visuele embeddings van foundation models.

• Antwoord op RQ3 (Denoisen vs. Standaard):

  • Denoisen werkt voor "Initial Eye Tracking": Het verwijderen van ruis met HDBSCAN verbeterde de prestaties aanzienlijk voor de eerste indruk-kaarten.
  • Denoisen werkt NIET voor "Full Eye Tracking": Voor de volledige evaluatieperiode presteerde de ruwe data beter dan de gedenoised versie. Dit suggereert dat de context van de volledige evaluatie (inclusief wat als ruis wordt gezien) waardevolle informatie bevat die verloren gaat bij clustering.

Specifieke Observaties:

• De "Artificial" (kunstogen) en "Printout" aanvalstypen profiteerden het meest van eye-tracking.
• Handmatige annotaties faalden vaak omdat proefpersonen mogelijk gefocust waren op specifieke aanvalskenmerken en subtiele texturen negeerden, terwijl eye-tracking een natuurlijkere, bredere verdeling van aandacht toont.

5. Betekenis en Conclusie

Dit paper is significant omdat het een paradigmaverschuiving aangeeft in het trainen van robuuste biometrische systemen:

• Kwaliteit van Data: Het toont aan dat de kwaliteit en het type van menselijke salientie cruciaal is. Eye-tracking, dat directer de cognitieve verwerking weerspiegelt, is superieur aan handmatige markeringen voor dit specifieke domein.
• Open-Set Robuustheid: De methode (VISER) biedt een praktische route om modellen te trainen die beter generaliseren naar onbekende aanvalstypen, een kritieke vereiste voor veilige biometrie in de echte wereld.
• Praktische Toepassing: De bevinding dat "Initial Eye Tracking" (eerste indruk) na denoising het beste werkt, biedt een efficiëntere strategie voor het verzamelen van trainingsdata: men hoeft niet de volledige evaluatie te analyseren, maar kan focussen op de eerste, meest reflexieve blik van de expert.

Kortom, VISER bewijst dat het integreren van gedenoised eye-tracking salientie in de training van diepe leermodellen de huidige state-of-the-art voor open-set iris-PAD aanzienlijk verbetert, zowel in vergelijking met traditionele annotaties als met geavanceerde foundation models.