A Systematic Failure Analysis of Vision Foundation Models for Open Set Iris Presentation Attack Detection

Technische Samenvatting: Een Systematische Foutanalyse van Vision Foundation Models voor Open Set Iris Presentation Attack Detection

Probleemstelling
Irisherkenning is een biometrische modus met een hoog veiligheidsniveau, maar blijft kwetsbaar voor Presentation Attacks (PA's) met behulp van instrumenten zoals afgedrukte afbeeldingen, getextureerde contactlenzen, elektronische schermen en synthetische irissen. Hoewel Presentation Attack Detection (PAD) op basis van deep learning hoge nauwkeurigheid heeft bereikt in gesloten-set scenario's (waarbij test-aanvallen in de training zijn vertegenwoordigd), staan real-world implementaties voor "open-set" omstandigheden met onbekende aanvalsinstrumenten, verschillende sensoren en variërende spectrale condities. Recent werk heeft Vision Foundation Models (VFMs) — grootschalige modellen die vooraf zijn getraind op enorme datasets via zelftoezicht of zwak toezicht — geïntroduceerd in de biometrie. Hun geschiktheid voor open-set iris PAD, met name wat betreft hun vermogen om te generaliseren naar ongezette distributieveranderingen, blijft echter onvoldoende onderzocht. Dit artikel adresseert de kloof tussen de sterke prestaties van VFMs in gesloten sets en hun betrouwbaarheid onder realistische, open-set operationele omstandigheden.

Methodologie
De studie hanteert een unificerend experimenteel kader om vijf representatieve vision foundation models te evalueren: CLIP, DINOv2, DINOv3, EVA02 en OpenVision. De evaluatie maakt gebruik van een divers corpus van 81.024 perioculaire afbeeldingen in het Nabij-Infrarood (NIR) en 31.200 perioculaire afbeeldingen in het Zichtbare Spectrum (VIS).

• Inputrepresentatie: Om consistentie te garanderen over heterogene datasets en verstorende factoren gerelateerd aan segmentatiekwaliteit te vermijden, gebruiken de primaire experimenten perioculaire afbeeldingen (bijgesneden tot 224×224 pixels) in plaats van gesegmenteerde irisregio's.
• Adaptatiestrategieën: Twee adaptatieregimes worden beoordeeld:
  1. Bevroren Kenmerken: De backbone wordt bevroren en een lichtgewicht Multi-Layer Perceptron (MLP) wordt getraind om bona fide versus aanvalstalen te classificeren.
  2. Parameter-efficiënte Adaptatie (LoRA): Low-Rank Adaptation wordt toegepast op attentielagen in de laatste transformer-blokken, wat taakspecifieke fine-tuning mogelijk maakt met een minimaal aantal trainbare parameters.
• Open-set Protocollen: Drie distincte protocollen isoleren specifieke bronnen van distributieverandering:
  • Protocol 1 (Cross-PAI): Evalueert generalisatie naar ongezette Presentation Attack Instruments (PAI's) door volledige PAI-categorieën (bijv. synthetische irissen, getextureerde lenzen, papieren prints, zieke ogen) tijdens de training buiten beschouwing te laten.
  • Protocol 2 (Cross-Dataset): Evalueert generalisatie naar ongezette datasets/sensoren met een leave-one-dataset-out-benadering over NIR-corpora.
  • Protocol 3 (Cross-Spectraal): Evalueert transfer van NIR (training) naar VIS (test) beelden.
• Metingen: Prestaties worden gemeten met de Attack Presentation Classification Error Rate (APCER), Bona Fide Presentation Classification Error Rate (BPCER) en Detection Equal Error Rate (D-EER), waarbij 95% betrouwbaarheidsintervallen worden geschat via niet-parametrische bootstrapping.
• Kenmerkanalyse: Een geometrische scheidbaarheidsanalyse wordt uitgevoerd met behulp van de Separability Ratio Drop (SRD) en Dispersion Drop Percentage (DDP) om te begrijpen hoe verschuivingen de structuur van de embedding-ruimte beïnvloeden.

Belangrijkste Bijdragen

1. Grootschalige Evaluatie: De eerste systematische evaluatie van vijf diverse vision foundation models voor iris PAD met een unificerend kader en een groot, multi-bron corpus van NIR- en VIS-perioculaire data.
2. Protocol-gedreven Foutanalyse: Het ontwerp en de toepassing van drie complementaire open-set protocollen die aanvals-, dataset- en spectrale verschuivingen isoleren, waardoor een precieze toedeling van faalmodi mogelijk is.
3. Beoordeling van Adaptatie-impact: Een gecontroleerde vergelijking van bevroren versus LoRA-aangepaste representaties, die aantoont dat parameter-efficiënte fine-tuning de open-set robuustheid niet universeel verbetert.
4. Geometrisch Inzicht: Een empirische analyse die PAD-prestatiedegradatie koppelt aan veranderingen in de geometrie van het kenmerkmanifold (inter-klassenafstand en intra-klassedispersie).
5. Uitgebreide Validaties: Aanvullende experimenten met behulp van gesegmenteerde iris-inputs, volledige backbone fine-tuning, gecombineerde cross-dataset/PAI-verschuivingen en reverse (VIS→NIR) spectrale transfer om alternatieve verklaringen voor de waargenomen fouten uit te sluiten.

Resultaten
De studie onthult een kritieke discrepantie tussen prestaties in gesloten sets/cross-dataset en open-set beveiliging:

• Ongezette PAI's (Protocol 1): Foundation modellen falen in het generaliseren naar ongezette aanvalsinstrumenten. D-EER-waarden benaderen vaak toevalsniveaus (50%), met name voor synthetische irissen en getextureerde lenzen. LoRA-adaptatie verergert deze fout vaak, wat leidt tot een toename van D-EER en BPCER, wat wijst op over-specialisatie op trainings-PAI's.
• Ongezette Datasets (Protocol 2): Modellen tonen betere overdraagbaarheid over datasets wanneer de sensormodus (NIR) constant blijft. Bevroren modellen zoals DINOv2 en OpenVision bereiken lage D-EER-waarden op bepaalde buiten beschouwing gelaten datasets. LoRA verbetert de prestaties in dit regime vaak, waardoor D-EER voor specifieke datasets tot een-cijferige waarden daalt. Deze succes is echter ongelijkmatig en strekt zich niet uit tot synthetische data of alle sensortypen.
• Cross-Spectrale Transfer (Protocol 3): Prestaties breken aanzienlijk in elkaar wanneer er wordt overgegaan van NIR naar VIS. De meeste modellen vertonen hoge D-EER en verzadigde BPCER. LoRA-adaptatie verwijdert de gedeeltelijke transfervoordelen van bevroren modellen en drijft de prestaties naar toevalsniveaus.
• Kenmerkruimte-analyse: De scheidbaarheidsanalyse bevestigt dat bij ongezette PAI- en spectrale verschuivingen de geometrische scheiding tussen bona fide en aanvalsklassen verslechtert (hoge SRD). LoRA-adaptatie verhoogt vaak de intra-klassedispersie (negatieve DDP), waardoor de klassen verder verstrikt raken.
• Uitgebreide Validaties:
  • Het gebruik van gesegmenteerde iris-inputs loste de open-set-fouten niet op.
  • Volledige backbone fine-tuning leverde geen consistente robuustheid op en presteerde vaak slechter dan bevroren of LoRA-varianten onder ongezette PAI- en cross-dataset-verschuivingen.
  • Gecombineerde cross-dataset en cross-PAI-verschuivingen leidden tot aanhoudende fouten, wat bevestigt dat geïsoleerd succes geen robuustheid impliceert ten opzichte van gecombineerde verschuivingen.
  • Reverse spectrale transfer (VIS→NIR) faalde eveneens, wat aangeeft dat het probleem een spectrale domein-mismatch is en niet een specifieke directionaliteit.

Betekenis en Claims
Het artikel betoogt dat sterke prestaties in gesloten-set of beperkte cross-dataset-evaluaties niet als bewijs moeten worden geïnterpreteerd voor robuuste open-set beveiliging voor iris PAD. De bevindingen benadrukken dat algemene vision foundation models, geoptimaliseerd voor semantische invariantie, de subtiele, laag-niveau artefacten (bijv. printpatronen, contactlens-texturen) die cruciaal zijn voor PAD, hebben de neiging te onderdrukken.

De studie concludeert dat huidige foundation modellen de nodige "PAD-bewuste" representaties missen om realistische implementatievariaties aan te pakken. Specifiek:

• Invariantie versus Sensitiviteit: De invariantie-eigenschappen die in VFMs zijn ingebouwd (om omgang met verlichting en sensornuis te faciliteren) zijn nadelig voor PAD, omdat deze juist afhankelijk is van het detecteren van die variaties.
• Risico's van Adaptatie: Parameter-efficiënte adaptatie (LoRA) is geen algemene oplossing; het kan fouten versterken onder aanvals- en spectrale verschuivingen door overfitting op trainingsdistributies.
• Ontwerpimplicaties: Toekomstige PAD-systemen gebaseerd op foundation modellen vereisen expliciete strategieën om artefact-sensitieve aanwijzingen te behouden, zoals PAD-bewuste voortraining, beperkte adaptatie en spectrumbewuste kalibratie van de beslissingslaag.

Het werk dient als een methodologische waarschuwing en een oproep tot evaluatieprotocollen die expliciet open-set omstandigheden weerspiegelen, zodat robuustheidsclaims worden gekwalificeerd door de specifieke soorten distributieveranderingen die zij adresseren.