LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein gefälschtes Ausweisdokument zu erkennen. Sie zeigen ihm tausend Fotos echter Menschen und tausend Fotos von Menschen, die gedruckte Bilder hochhalten oder Videos von Gesichtern auf ihren Telefonen abspielen. Der Roboter wird sehr gut darin, die Fälschungen in diesem speziellen Raum, unter diesem speziellen Licht, mit diesen spezifischen Kameras zu erkennen. Doch in dem Moment, in dem man den Roboter in einen anderen Raum bringt, das Licht ändert oder die Kamera austauscht, vergisst der Roboter plötzlich alles und rät nur noch zufällig. Dies ist die frustrierende Realität der „Face Presentation Attack Detection“ (PAD). Es ist ein Zweig der Computer Vision, der sich damit beschäftigt, Gesichtserkennungssysteme vor Tricks wie Fotos, Masken oder Replay-Videos zu schützen. Der große Traum ist es, einen Detektor zu bauen, der überall funktioniert, egal welche Kamera oder welches Licht gerade herrscht. Kürzlich haben Wissenschaftler versucht, „Foundation Models“ einzusetzen – riesige, superintelligente KI-Gehirne, die mit Milliarden von Internetbildern und Texten trainiert wurden, um dieses Problem zu lösen. Die Hoffnung war, dass diese gigantischen Gehirne bereits so viel über die Welt wissen, dass sie mit nur ein wenig zusätzlichem Training leicht lernen könnten, Fälschungen zu entlarven.

Diese Arbeit stellt diese Hoffnung im Rahmen eines massiven Experiments auf die Probe. Die Forscher nahmen 32 verschiedene Arten dieser riesigen KI-Gehirne (darunter berühmte wie CLIP und DINO) und versuchten, ihnen mit einem cleveren, leichtgewichtigen Trick namens „LoRA“ beizubringen, Gesichtsfälschungen zu erkennen. Denken Sie an LoRA wie an eine kleine, verstellbare Trainingshalsband für einen riesigen Hund; man trainiert nicht den ganzen Hund neu, sondern man passt nur einen winzigen Bruchteil seines Gehirns (weniger als 1 %) an, um ihm einen neuen Trick beizubringen. Die Ergebnisse waren eine Mischung aus erstauschendem Erfolg und einer harten Realitätsprüfung. Wenn die KI auf denselben Daten getestet wurde, auf denen sie trainiert wurde, wurde sie zu einem Superstar und entlarvte Fälschungen mit nahezu perfekter Genauigkeit (weniger als 2 % Fehlerquote). Wenn die Forscher die KI jedoch baten, Fälschungen in einer neuen Umgebung zu erkennen, die sie noch nicht gesehen hatte, stürzte die Leistung ab. Die Fehlerrate sprang auf zwischen 20 % und 43 %, was kaum besser ist als das Werfen einer Münze. Das Papier kommt zu dem Schluss, dass LoRA zwar großartig darin ist, ein Modell für eine spezifische Aufgabe zu polieren, aber nicht ausreicht, um das tiefere Problem zu lösen, KI über verschiedene Welten hinweg funktionsfähig zu machen. Das „Gehirn“ des Modells zählt mehr als die Größe des Modells, und die Daten, mit denen es trainiert wurde, zählen sogar noch mehr.

Die Geschichte des smarten Roboters und der trügerischen Fälschungen

Tauchen wir in das Abenteuer ein. Die Wissenschaftler begannen mit einer einfachen Frage: Ist ein klein wenig zusätzliches Training (LoRA) genug, um diese riesigen KI-Gehirne robust genug zu machen, um Gesichtsfälschungen überall zu erkennen?

Um dies herauszufinden, richteten sie ein massives Turnier ein. Sie sammelten 32 verschiedene „Vision Encoder“ – das sind die Augen der KI, die Teile, die tatsächlich auf die Bilder schauen. Einige dieser Augen stammten von Modellen, die nur mit Bildern trainiert wurden, während andere die „Vision Towers“ waren, die aus riesigen „Vision-Language Models“ (VLMs) extrahiert wurden – also KI-Gehirnen, die Bilder sehen und gleichzeitig Text lesen können. Sie testeten auch 9 dieser riesigen VLMs im „Zero-Shot“-Modus. Zero-Shot ist wie wenn man einem Schüler einen Test gibt, ohne ihn vorher das Thema studieren zu lassen; man fragt einfach: „Ist das ein echtes Gesicht oder eine Fälschung?“ und sieht, was er sagt.

Die Zero-Shot-Überraschung
Zuerend versuchten sie den Zero-Shot-Ansatz. Sie baten die riesigen VLMs, Fälschungen mithilfe eines einfachen Prompts zu erkennen, so wie ein Lehrer eine Frage stellt. Das Ergebnis? Die KI war völlig verloren. Sie erreichte eine Genauigkeit von etwa 50 %, was dasselbe ist wie das Raten von „Kopf oder Zahl“ beim Münzwurf. Selbst die klügsten, teuersten Modelle mit Milliarden von Parametern konnten es ohne spezifisches Training nicht herausfinden. Dies zeigte den Forschern, dass ein kluges Gehirn allein nicht ausreicht; das Gehirn muss speziell für die Aufgabe des Erkennens von Fälschungen abgestimmt werden.

Die LoRA-Magie (und ihre Grenzen)
Als Nächstes probierten sie die LoRA-Methode aus. Sie nahmen die eingefrorenen Augen dieser 32 Modelle und fügten jene kleinen, verstellbaren Trainingshalsbänder hinzu. Sie trainierten sie auf vier verschiedenen Datensätzen (Sammlungen von Gesichtsfotos, die mit unterschiedlichen Kameras und unter unterschiedlicher Beleuchtung aufgenommen wurden).

• Die gute Nachricht: Wenn sie die KI auf demselben Datensatz testeten, von dem sie gelernt hatte, war sie unglaublich. Die meisten Modelle senkten ihre Fehlerrate auf unter 2 %. Einige, wie der CLIP ViT-B/32, erreichten sogar nur 0,3 %. Es war, als wäre die KI plötzlich zu einem Meisterdetektiv für genau diesen speziellen Raum geworden.
• Die schlechte Nachricht: Als sie die KI zu einem anderen Datensatz bewegten (einem anderen Raum, einer anderen Kamera), verschwand die Magie. Die Fehlerraten schossen in die Höhe auf zwischen 19,8 % und 42,6 %.

Die Forscher erkannten, dass LoRA wie ein sehr guter Schneider agierte. Er konnte einen Anzug perfekt an eine Person anpassen (einen Datensatz), indem er ein paar Knöpfe verstellte. Aber er konnte diesen Anzug nicht passend für eine völlig andere Person (einen anderen Datensatz) machen, nur durch das Verstellen der Knöpfe. Der Anzug war immer noch auf die erste Person zugeschnitten.

Größe spielt (nicht viel) eine Rolle
Ein weit verbreiteter Glaube in der KI ist, dass „größer besser ist“. Die Forscher testeten dies, indem sie winzige Modelle mit massiven Modellen verglichen. Sie fanden heraus, dass ein relativ kleines Modell namens CLIP ViT-B/32 (mit nur 0,09 Milliarden Parametern) tatsächlich besser abschnitt als einige massive Modelle mit über 8 Milliarden Parametern. Tatsächlich war das winzige CLIP-Modell eines der besten darin, Fälschungen über verschiedene Datensätze hinweg zu erkennen, während ein riesiges Modell namens InternViT-6B (mit 5,54 Milliarden Parametern) eines der schlechtesten beim Überbrücken der Kluft zwischen den Datensätzen war.

Dies deutet darauf hin, dass die Art des ursprünglichen Trainings, das das Modell erhalten hat, viel wichtiger ist als die bloße Größe. Modelle, die mit „kontrastiven“ Methoden trainiert wurden (Lernen, Bilder mit ihren Textbeschreibungen abzugleichen) oder durch „Selbst-Distillation“ (Lernen, konsistent mit sich selbst zu sein), arbeiteten besser als Modelle, die nur darauf trainiert wurden, fehlende Teile eines Bildes zu ergänzen.

Die „Daten-Diät“ zählt
Das Team untersuchte auch, wie viele Daten die Modelle während ihres ursprünglichen Trainings „gegessen“ hatten. Sie fanden heraus, dass eine „Web-Scale“-Diät (Milliarden von Bildern aus dem Internet) notwendig war, um gute Ergebnisse zu erzielen, aber mehr als das zu essen, half nicht viel. Sob sobald ein Modell das gesamte Internet gesehen hatte, half es nicht mehr, mehr Daten hinzuzufügen, um besser darin zu werden, Fälschungen an neuen Orten zu erkennen. Es war wie ein Student, der alle Bücher in der Bibliothek gelesen hat; das Lesen von ein paar weiteren Büchern wird ihn nicht plötzlich zu einem Genie in einem ganz spezifischen neuen Fach machen.

Der verborgene Hinweis: Der „Raum“ vs. das „Gesicht“
Die faszinierendste Entdeckung kam aus der Betrachtung dessen, wie die KI die Bilder „sah“. Die Forscher nutzten eine Technik namens t-SNE, um die internen Gedanken der KI zu visualisieren. Sie fanden heraus, dass die KI die Bilder selbst nach dem LoRA-Training immer noch basierend auf dem Ort der Aufnahme (dem Datensatz) gruppierte, anstatt basierend auf dem Inhalt (echt oder falsch).
Stellen Sie sich vor, Sie versuchen, einen Stapel Fotos in „Echte Menschen“ und „Falsche Menschen“ zu sortieren. Aber die KI sortiert sie stattdessen in „Fotos, die im Labor aufgenommen wurden“ und „Fotos, die auf der Straße aufgenommen wurden“. Das LoRA-Training half ihr, die „Labor“-Fotos perfekt zu sortieren, aber als sie ein „Straßen“-Foto sah, wurde sie verwirrt, weil sie immer noch nach „Labor“-Merkmalen suchte. Die KI hatte nicht das universelle Konzept eines „falschen Gesichts“ gelernt, sondern lediglich die spezifischen Licht- und Kamera-Besonderheiten des Trainingsraums erkannt.

Das Urteil
Das Paper kommt zu dem Schluss, dass die Anpassung durch LoRA allein nicht ausreicht, um das Problem der Gesichtserkennung über Datensätze hinweg zu lösen. Während es die Modelle in der Umgebung, in der sie trainiert wurden, unglaublich präzise macht, reicht es nicht aus, um sie robust genug für neue Kameras, neue Lichter oder neue Angriffsarten zu machen. Der „Generalisierungs-Score“ (eine neue Metrik, die die Autoren erfunden haben, um zu messen, wie gut ein Modell in beiden Szenarien funktioniert) zeigte, dass selbst die besten Modelle immer noch damit kämpfen, die Kluft zu überbrücken.

Die Autoren legen nahe, dass das Problem nicht die Größe des Modells oder der clevere LoRA-Trick ist. Das Problem ist, dass die Modelle immer noch zu sehr von der spezifischen „Geschmacksrichtung“ der Daten abhängen, mit denen sie trainiert wurden. Um dies wirklich zu lösen, müssen wir vielleicht die Art und Weise ändern, wie wir diese Modelle von Grund auf trainieren – indem wir sie vielleicht lehren, den „Raum“ zu ignorieren und sich nur auf das „Gesicht“ zu konzentieren, oder indem wir andere Trainingsstrategien verwenden, die die KI zwingen, universelle Regeln statt spezifischer Gewohnheiten zu lernen.

Kurz gesagt: Wir haben brillante Detektive gebaut, die in ihrem eigenen Revier glänzen, aber die Orientierung verlieren, sobald sie vor die Tür treten. Das kleine LoRA-Halsband hilft ihnen zwar, ein wenig besser zu laufen, aber es gibt ihnen keine Karte für die ganze Welt.