LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

Stel je voor dat je een robot probeert te leren hoe hij een nep ID-kaart kan herkennen. Je laat de robot duizend foto's zien van echte mensen en duizend foto's van mensen die een geprinte foto omhoog houden of video's van gezichten afspelen op hun telefoon. De robot wordt heel goed in het herkennen van de vervalsingen in die specifieke kamer, onder dat specifieke licht, met die specifieke camera's. Maar zodra je de robot naar een andere kamer brengt, het licht verandert, of de camera vervangt, vergeet de robot plotseling alles en begint hij willekeurig te gokken. Dit is de frustrerende realiteit van "Face Presentation Attack Detection" (PAD). Het is een tak van computer vision die zich bezighoudt met het veilig houden van gezichtsherkenningssystemen tegen trucs zoals foto's, maskers of afgespeelde video's. De grote droom is om een detector te boueren die overal werkt, ongeacht de camera of de verlichting. Onlangs hebben wetenschappers geprobeerd om "Foundation Models" te gebruiken — enorme, superintelligente AI-hersenen getraind op miljarden internetafbeeldingen en tekst — om dit op te lossen. De hoop was dat deze gigantische hersenen al zoveel over de wereld weten dat ze met slechts een klein beetje extra training gemakkelijk vervalsingen kunnen herkennen.

Dit artikel onderzoekt die hoop aan de hand van een enorm experiment. De onderzoekers namen 32 verschillende soorten van deze gigantische AI-hersenen (waaronder bekende modellen zoals CLIP en DINO) en probeerden hen te leren gezichtsvervalsingen te herkennen met een slimme, lichtgewicht truc genaamd "LoRA". Denk aan LoRA als het omhangen van een kleine, verstelbare trainings halsband aan een enorme hond; je traint niet de hele hond opnieuw, je past slechts een fractie van minder dan 1% van zijn hersenen aan om een nieuwe truc te leren. De resultaten waren een mix van verbazingwekkend succes en een harde realiteitscheck. Wanneer de AI werd getest op dezelfde data waarop hij getraind was, werd hij een superster en herkende hij vervalsingen met bijna perfecte nauwkeurigheid (minder dan 2% foutmarge). Echter, wanneer de onderzoekers de AI vroegen om vervalsingen te herkennen in een nieuwe omgeving die hij nog niet eerder had gezien, stortte de prestatie in. De foutmarge schoot omhoog naar tussen de 20% en 43%, wat nauwelijks beter is dan het gooien van een muntje. Het artikel concludeert dat hoewel LoRA geweldig is in het polijsten van een model voor een specifieke taak, het niet voldoende is om het diepere probleem op te lossen: het werkend krijgen van AI in verschillende werelden. Het "brein" van het model is belangrijker dan de grootte van het model, en de data waarop het getraind is, is zelfs nog belangrijker.

Het verhaal van de slimme robot en de schimmige vervalsingen

Laten we in het avontuur duiken. De wetenschappers begonnen met een eenvoudige vraag: Is een klein beetje extra training (LoRA) genoeg om deze gigantische AI-hersenen robuust genoeg te maken om overal gezichtsvervalsingen te herkennen?

Om dit te ontdekken, organiseerden ze een enorme toernooi. Ze verzamelden 32 verschillende "Vision Encoders" — dit zijn de ogen van de AI, de onderdelen die daadwerkelijk naar de plaatjes kijken. Sommige van deze ogen kwamen van modellen die alleen op afbeeldingen waren getraind, terwijl andere de "vision towers" waren die werden weggehaald uit enorme "Vision-Language Models" (VLMs), wat AI-hersenen zijn die tegelijkertijd afbeeldingen kunnen zien en tekst kunnen lezen. Ze testten ook 9 van deze gigantische VLMs in hun "zero-shot" modus. Zero-shot is als het aan een student geven van een toets zonder hem eerst de stof te laten bestuderen; je vraagt simpelweg: "Is dit een echt gezicht of een nep gezicht?" en kijkt wat ze zeggen.

De Zero-Shot verrassing
Eerst probeerden ze de zero-shot benadering. Ze vroegen de gigantische VLMs om vervalsingen te herkennen met een eenvoudige prompt, zoals een leraar die een vraag stelt. Het resultaat? De AI was volledig de weg kwijt. Hij presteerde met ongeveer 50% nauwkeurigheid, wat hetzelfde is als het gokken van "kop of munt" door een muntje op te gooien. Zelfs de slimste, duurste modellen met miljarden parameters konden het niet zonder specifieke training. Dit vertelde de onderzoekers dat het hebben van een slim brein alleen niet genoeg is; het brein moet specifiek worden afgestemd op de taak van het herkennen van vervalsingen.

De LoRA Magie (en de grenzen ervan)
Vervolgens probeerden ze de LoRA-methode. Ze namen de bevroren ogen van deze 32 modellen en voegden die kleine, verstelbare trainingshalsbanden toe. Ze trainden ze op vier verschillende datasets (verzamelingen van gezichtsfoto's genomen met verschillende camera's en verlichting).

• Het goede nieuws: Wanneer ze de AI testten op dezelfde dataset waar hij van leerde, was het ongelooflijk. De meeste modellen brachten hun foutmarge terug naar onder de 2%. Sommige, zoals de CLIP ViT-B/32, kwamen zelfs op 0,3% uit. Het was alsoっぱ dat de AI plotseling een meesterdetective was geworden voor die specifieke kamer.
• Het slechte nieuws: Wanneer ze de AI naar een andere dataset verplaatsten (een andere kamer, een andere camera), verdween de magie. De foutmarges schoten omhoog naar tussen de 19,8% en 42,6%.

De onderzoekers realiseerden zich dat LoRA fungeerde als een zeer goede kleermaker. Het kon een pak perfect aanpassen aan één persoon (één dataset) door een paar knopen aan te passen. Maar het kon datzelfde pak niet laten passen bij een volledig ander persoon (een andere dataset) door alleen de knopen aan te passen. Het pak was nog steeds gevormd voor de eerste persoon.

Grootte maakt niet veel uit
Een algemeen geloof in AI is dat "groter beter is". De onderzoekers testten dit door kleine modellen te vergelijken met enorme modellen. Ze ontdekten dat een relatief klein model genaamd CLIP ViT-B/32 (met slechts 0,09 miljard parameters) eigenlijk beter presteerde dan sommige enorme modellen met meer dan 8 miljard parameters. Sterker nog, het kleine CLIP-model was een van de beste in het herkennen van vervalsingen over verschillende datasets heen, terwijl een enorm model genaamd InternViT-6B (met 5,54 miljard parameters) een van de slechtste was in het overbruggen van de kloof tussen datasets.

Dit sugg�t dat het type training dat het model oorspronkelijk heeft ontvangen, veel belangrijker is dan hoe groot het is. Modellen die getraind zijn met "contrastieve" methoden (leren om afbeeldingen te koppelen aan hun tekstuele beschrijvingen) of "zelf-distillatie" (leren consistent te zijn met zichzelf) werkten beter dan modellen die alleen getraind zijn om ontbrekende delen van een plaatje in te vullen.

De "Data Dieet" doet ertoe
Het team keek ook naar hoeveel data de modellen hadden gegeten tijdens hun oorspronkelijke training. Ze ontdekten dat het eten van een "web-scale" dieet (miljarden afbeeldingen van het internet) noodzakelijk was om goede resultaten te behalen, maar dat het eten van meer dan dat niet veel hielp. Zodra een model genoeg van het internet had gezien, maakte het toevoegen van meer data het niet beter in het herkennen van vervalsingen op nieuwe plekken. Het was als een student die elk boek in de bibliotheek heeft gelezen; het lezen van een paar boeken extra zal hem niet plotseling een genie maken in een specifiek nieuw onderwerp.

De Verborgen Aanwijzing: De "Kamer" versus het "Gezicht"
De meest fascinerende ontdekking kwam voort uit het analyseren van hoe de AI de plaatjes "zag". De onderzoekers gebruikten een techniek genaamd t-SNE om de interne gedachten van de AI te visualiseren. Ze ontdekten dat de AI, zelfs na de LoRA-training, de plaatjes nog steeds groepeerde op basis van waar ze genomen waren (de dataset) in plaats van wat ze waren (echt of nep).
Stel je voor dat je probeert een stapel foto's te sorteren in "Echte Mensen" en "Nep Mensen". Maar de AI blijft ze sorteren in "Foto's gemaakt in het Lab" en "Foto's gemaakt op Straat". De LoRA-training hielp de AI om de "Lab"-foto's perfect te sorteren, maar wanneer de AI een "Straat"-foto zag, raakte hij in de war omdat hij nog steeds zocht naar "Lab"-kenmerken. De AI had niet het universele concept van een "nep gezicht" geleerd; hij had alleen geleerd om de specifieke verlichting en cameragekken van de trainingskamer te herkennen.

Het eindoordeel
Het artikel concludeert dat LoRA-adaptatie alleen niet genoeg is om het probleem van cross-dataset gezichtsdetectie op te lossen. Hoewel het modellen ongelooflijk nauwkeurig maakt in de omgeving waarin ze getraind zijn, is het niet robuust genoeg om om te gaan met nieuwe camera's, nieuwe lichten of nieuwe aanvalsmethoden. De "generalisatiescore" (een nieuwe metriek die de auteurs bedachten om te meten hoe goed een model in beide scenario's werkt) liet zien dat zelfs de beste modellen nog steeds moeite hadden om de kloof te overbruggen.

De auteurs suggereren dat het probleem niet de grootte van het model is of de slimheid van de LoRA-truc. Het probleem is dat de modellen nog steeds te afhankelijk zijn van de specifieke "smaak" van de data waarop ze getraind zijn. Om dit echt op te lossen, moeten we misschien de manier waarop we deze modellen trainen vanaf de grond af aan veranderen, bijvoorbeeld door ze te leren de "kamer" te negeren en zich alleen op het "gezicht" te concentreren, of door andere trainingsstrategieën te gebruiken die de AI dwingen om universele regels te leren in plaats van specifieke gewoontes.

Kortom, we hebben AI-detectives gebouwd die briljant zijn in hun eigen politiebureau, maar de weg kwijtraken zodra ze de deur uitstappen. De kleine LoRA-halsband helpt hen misschien om iets beter te lopen, maar het geeft hen geen kaart voor de rest van de wereld.