Foundation Models for Face Presentation Attack Detection: A Unified Linear-Probing Benchmark
Diese Arbeit etabliert einen vereinheitlichten Linear-Probing-Benchmark zur Evaluierung von 24 eingefrorenen Foundation-Modellen für die Erkennung von Präsentationsangriffen bei Gesichtern und zeigt auf, dass vorab trainierte Repräsentationen zwar aufgabenspezifische Informationen für die Intra-Datensatz-Leistung enthalten, jedoch ohne explizite Anpassung scheitern, um den Domain Shift zu überwinden und eine Generalisierung über Datensätze hinweg zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Fälschung zu erkennen. Sie zeigen ihm das Foto einer echten Person und dann ein Foto einer Person, die ein ausgedrucktes Bild desselben Gesichts hochhält. Der Roboter muss „Echt!“ für das erste und „Gefälscht!“ für das zweite rufen. Das ist die Aufgabe der Face Presentation Attack Detection (PAD). Sie ist der digitale Türsteher im Club Ihres Handys oder Ihrer Bank-App, der sicherstellt, dass die Person, die hineinkommen will, tatsächlich ein lebender Mensch ist und kein geschickter Trickbetrüger mit einem Foto, einem Video oder einer Maske.
Der schwierige Teil ist, dass diese Roboter oft zu gut darin sind, sich das spezifische Licht oder die Kamera des Trainingsraums zu merken, aber schlecht darin sind, Fälschungen in einem neuen Raum mit anderem Licht zu erkennen. Dies wird als „Domain Shift“-Problem bezeichnet. Um dies zu lösen, haben Wissenschaftler begonnen, Foundation Models einzusetzen. Denken Sie an diese riesigen, superintelligenten Gehirne, die bereits fast das gesamte Internet gelesen und Milliarden von Bildern gesehen haben. Sie sind noch nicht darauf spezialisiert, Fälschungen zu erkennen, aber sie wissen sehr viel darüber, wie Gesichter aussehen. Die große Frage, die Forscher gestellt haben, lautete: „Wissen diese riesigen Gehirne bereits genug über Fälschungen, sodass wir nur einen winzigen, einfachen Schalter an ihrem Ausgang hinzufügen müssen, um sie funktionsfähig zu machen, oder müssen wir das gesamte Modell neu trainieren?“
Dieses Papier mit dem Titel „Foundation Models for Face Presentation Attack Detection: A Unified Linear-Probing Benchmark“ geht in das Labor, um diese Frage zu beantworten. Die Forscher nahmen 24 verschiedene riesige, vortrainierte Gehirne – einige, die nur Bilder betrachten, manche, die Text und Bilder lesen, und andere, die durch das Erraten fehlender Teile von Bildern gelernt haben – und frierten sie ein. Sie ließen die Gehirne nichts Neues lernen; sie hängten einfach einen sehr einfachen, leichtgewichtigen „linearen Kopf“ (eine einzige mathematische Schicht) an das Ende jedes Gehirns an, um zu sehen, ob es lernen könnte, Fälschungen zu erkennen.
Die Ergebnisse waren eine Mischung aus „Wow“ und „Whoa“. Wenn die Forscher diese eingefrorenen Gehirne auf demselben Typ von Daten testeten, auf denen sie trainiert wurden (Intra-Dataset), waren die großen Gehirne unglaublich. Das größte Modell, namens InternViT-6B, machte fast keine Fehler, mit einer Fehlerrate von nur 1,6 %. Es ist jedoch wichtig zu beachten, dass spezialisierte Roboter, die speziell für diese Aufgabe gebaut wurden, wie etwa DeepPixBiS, die meisten der eingefrorenen Sonden (Probes) übertrafen (obwohl InternViT-6B DeepPixBiS immer noch schlug), obwohl DeepPixBiS weit weniger trainierbare Parameter hatte. Dies deutet darauf hin, dass diese riesigen Modelle zwar die geheimen Hinweise enthalten, die nötig sind, um eine Gesichtsverfälschung zu erkennen, die Informationen aber nur dort liegen und darauf warten, freigeschaltet zu werden, während spezialisiertes Training in derselben Umgebung für viele Modelle immer noch einen Vorsprung bietet.
Die Geschichte ändert sich jedoch, wenn man den Roboter in eine neue Umgebung bewegt (Cross-Dataset). Als die Forscher dieselben eingefrorenen Gehirne mit Daten von anderen Kameras oder Lichtverhältnissen testeten, sank die Leistung drastisch. Selbst das beste Modell, InternViT-6B, verzeichnete einen signifikanten Anstieg seiner Fehlerrate, mit einer Lücke von 30,3 % zwischen seiner Leistung bei vertrauten Daten und neuen Daten, was zu einer Gesamtefferrate von etwa 32 % beim Wechsel zwischen Datensätzen führte. Das Papier schließt explizit die Idee aus, dass ein größeres Modell oder ein spezialisierteres Pre-Training (wie eines, das speziell auf Gesichtsfälschungen trainiert wurde) einen Erfolg in neuen Situationen garantiert. Tatsächlich erwies sich ein mittelgroßes Modell namens CLIP ViT-B/32, das auf allgemeinen Bild-Text-Paaren aus dem Internet trainiert wurde, als die ausgewogenste Wahl. Es bot das beste Gleichgewicht zwischen der benötigten Rechenleistung und der Fähigkeit, mit neuen, ungesehenen Daten umzugehen, mit einer Cross-Dataset-Fehlerrate von 31,6 %.
Die Autoren legen nahe, dass diese Foundation Models zwar die Rohzutaten zum Erkennen von Fälschungen besitzen, sie aber dennoch etwas zusätzliche Hilfe benötigen – wie ein wenig Fine-Tuning oder Anpassung –, um mit der chaotischen Realität verschiedener Kameras und Lichtverhältnisse fertig zu werden. Das Papier kommt zu dem Schluss, dass wir zwar nicht für jede neue Sicherheitskamera ein neues Gehirn von Grund auf neu bauen müssen, wir aber auch nicht einfach ein eingefrorenes, riesiges Gehirn einstecken können und erwarten können, dass es überall perfekt funktioniert. Die hier verwendete Methode des „Linear Probing“ dient als Stresstest, der uns genau zeigt, wie viel des „Fälschungserkennungs-Wissens“ bereits vorhanden ist und wie viel wir noch lehren müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.