Foundation Models for Face Presentation Attack Detection: A Unified Linear-Probing Benchmark
Dit artikel stelt een verenigde linear-probing benchmark vast die 24 bevroren foundation modellen evalueert voor gezichtspresentatie-aanvaldetectie, waarbij wordt onthuld dat hoewel voorgetrainde representaties taakrelevante informatie bevatten voor prestaties binnen één dataset, ze niet generaliseren over datasets heen zonder expliciete adaptatie om de domeinverschuiving te overwinnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij een nepding herkent. Je laat hem een foto van een echt persoon zien, en daarna laat je hem een foto zien van een persoon die een geprinte foto van datzelfde gezicht omhoog houdt. De robot moet "Echt!" roepen voor de eerste en "Nep!" voor de tweede. Dit is de taak van Face Presentation Attack Detection (PAD). Het is de digitale uitsmijter bij de club van je telefoon of bank-app, die ervoor zorgt dat de persoon die probeert binnen te komen ook daadwerkelijk een levend mens is en geen slimme bedrieger met een foto, een video of een masker.
Het lastige deel is dat deze robots vaak te goed zijn in het onthouden van de specifieke verlichting of camera van de trainingsruimte, maar slecht zijn in het herkennen van neptrucs in een nieuwe kamer met andere lichten. Dit wordt het "domain shift"-probleem genoemd. Om dit op te lossen, zijn wetenschappers begonnen met het gebruik van Foundation Models. Denk aan deze als gigantische, superintelligente breinen die al bijna het hele internet hebben gelezen en miljarden plaatjes hebben bekeken. Ze zijn nog niet gespecialiseerd in het ontdekken van neptrucs, maar ze weten heel veel over hoe gezichten eruitzien. De grote vraag die onderzoekers hebben gesteld is: "Weten deze gigantische breinen al genoeg over neptrucs zodat we alleen maar een klein, simpel schakelaartje aan hun output hoeven toe te voegen om ze te laten werken, of moeten we het hele ding opnieuw trainen?"
Dit artikel, getiteld "Foundation Models for Face Presentation Attack Detection: A Unified Linear-Probing Benchmark", gaat het laboratorium in om die vraag te beantwoorden. De onderzoekers namen 24 verschillende gigantische, vooraf getrainde breinen — sommige die alleen naar plaatjes kijken, sommige die tekst en plaatjes combineren, en sommige die leerden door ontbrekende delen van afbeeldingen te raden — en bevroren deze. Ze lieten de breinen niets nieuws leren; ze plakten er alleen een zeer eenvoudig, lichtgewicht "lineair hoofd" (een enkele laag wiskunde) aan het einde van elk brein aan om te zien of het kon leren om neptrucs te herkend.
De resultaten waren een mix van "Wauw" en "Oei". Wanneer de onderzoekers deze bevroren breinen testten op hetzelfde type data waarop ze getraind waren (intra-dataset), waren de grote breinen ongelooflijk. Het grootste model, genaamd InternViT-6B, maakte bijna geen fouten, met een foutpercentage van slechts 1,6%. Het is echter belangrijk om op te merken dat gespecialiseerde robots die specifiek voor deze taak zijn gebouwd, zoals DeepPixBiS, de meeste van de bevroren probes versloegen (hoewel InternViT-6B DeepPixBiS nog steeds versloeg), ook al had DeepPixBiS veel minder trainbare parameters. Dit suggereker dat hoewel deze gigantische modellen de geheime aanwijzingen bevatten die nodig zijn om een neptruc te ontdekken, de informatie daar gewoon zit te wachten om ontgrendeld te worden, maar dat gespecialiseerde training in dezelfde omgeving nog steeds een voordeel heeft voor veel modellen.
Echter, het verhaal verandert wanneer je de robot naar een nieuwe omgeving verplaatst (cross-dataset). Wanneer de onderzoekers deze zelfde bevroren breinen testten op data van verschillende camera's of lichtomstandigheden, zakte de prestatie hard. Zelfs het beste model, InternViT-6B, zag zijn foutpercentage aanzienlijk stijgen, met een gat van 30,3% tussen de prestaties op vertrouwde data en nieuwe data, wat resulteerde in een totaal foutpercentage van ongeveer 32% bij het bewegen tussen datasets. Het artikel sluit expliciet de mogelijkheid uit dat het simpelweg hebben van een groter model of een meer gespecialiseerde pre-training (zoals een model dat specifiek is getraind op gezichts-neptrucs) succes in nieuwe situaties garandeert. Sterker nog, een middelgroot model genaamd CLIP ViT-B/32, dat getraind was op algemene beeld-tekstparen van het internet, bleek de meest evenwichtige keuze te zijn. Het bood de beste afweging tussen hoeveel computerkracht het nodig had en hoe goed het met nieuwe, onbekende data kon omgaan, met een cross-dataset foutpercentage van 31,6%.
De auteurs suggereren dat hoewel deze foundation models de ruwe ingrediënten hebben om neptrucs te ontdekken, ze nog steeds wat extra hulp nodig hebben — zoals een beetje fine-tuning of adaptatie — om om te gaan met de rommelige realiteit van verschillende camera's en verlichting. Het artikel concludeert dat hoewel we niet voor elke nieuwe beveiligingscamera een nieuw brein vanaf nul moeten bouwen, we ook niet zomaar een bevroren gigantisch brein kunnen inpluggen en verwachten dat het overal perfect werkt. De "linear probing"-methode die hier werd gebruikt, dient als een stresstest, die ons precies laat zien hoeveel van de "neptruc-herkenningskennis" er al aanwezig is, en hoeveel we nog moeten leren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.