Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models

Stellen Sie sich eine Welt vor, in der Computer ein Bild einer Katze betrachten können und sofort wissen, welcher Teil das Ohr, welcher der Schwanz und welcher die Nase ist, selbst wenn die Katze schläft, rennt oder einen Hut trägt. Lange Zeit dachten Wissenschaftler, Computer müssten dies spezifisch lernen, wie ein Schüler, der ein Lehrbuch auswendig lernt. Doch vor kurzem ist eine neue Art von „Super-Gehirn“ für Computer entstanden. Dies sind sogenannte Foundation Models. Denken Sie an sie als Studenten, die fast jedes Buch in der Bibliothek gelesen haben, ohne jemals zu einem spezifischen Thema geprüft worden zu sein. Sie lernen die allgemeinen Regeln darüber, wie die Welt aussieht – wie Texturen, Formen und Muster zusammenpassen – einfach nur, indem sie Millionen von Bildern betrachten.

Die große Frage, die sich Wissenschaftler stellen, ist: Verstehen diese Super-Gehirne, die nie speziell über Gesichter unterrichtet wurden, tatsächlich die Landkarte eines menschlichen Gesichts? Wenn man ihnen das Bild eines Fremden zeigt, können sie auf die Nase zeigen und sagen: „Das ist eine Nase, genau wie die Nase in dem anderen Bild“, selbst wenn die Menschen völlig unterschiedlich aussehen? Dies ist wichtig, denn wenn ein Computer dies tun kann, ohne dafür trainiert worden zu sein, bedeutet das, dass er eine universelle Sprache der Formen und Strukturen gelernt hat. Es deutet darauf hin, dass der Computer ein internes „Koordinatensystem“ für Gesichter aufgebaut hat, eine mentale Landkarte, die für jeden funktioniert, unabhängig davon, wer er ist oder was er tut.

Die Entdeckung des Papers: Eine Gesichtskarte ohne Lehrer

Dieses Paper untersucht, ob ein spezielles Super-Gehirn namens DINOv3 heimlich gelernt hat, menschliche Gesichter abzubilden, obwohl es nie darauf trainiert wurde, Augen, Nasen oder Münder zu erkennen. Die Forscher wollten sehen, ob dieses eingefrorene (unveränderliche) Modell als universeller Übersetzer für Gesichtszüge fungieren kann.

Um dies zu testen, behandelten sie das Modell wie einen Detektiv. Sie haben dem Modell nicht beigebracht, was eine „Nase“ ist. Stattdessen verwendeten sie ein separates Werkzeug namens FaRL, nur um dem Modell ein Namensschild zu geben. FaRL sah ein Gesicht an und sagte: „Dieser Pixelbereich ist eine Nase, dieser hier ist ein Auge.“ Dann fragten die Forscher DINOv3: „Wenn ich dir einen Pixelbereich der Nase von Person A zeige, kannst du den passenden Nasenbereich im Gesicht von Person B finden, obwohl du Person B noch nie gesehen hast?“

Die Ergebnisse waren überraschend stark. Das Modell, das nie auf Gesichter trainiert wurde, konnte Gesichtspartien über verschiedene Personen hinweg mit einer Genauigkeit von 83,0 % erfolgreich zuordnen. Um dies einzuordnen: Wenn man einfach zufällig basierend auf der Menge an Haut oder Haaren in einem Bild raten würde, käme man nur in 23,0 % der Fälle richtig. Das Modell hat nicht nur geraten; es hatte eine verborgene Struktur gelernt.

Das Rätsel der „Mittelschicht“

Eine der spannendsten Entdeckungen in diesem Paper betrifft die Frage, wo in dem Gehirn des Modells diese Magie geschieht. DINOv3 ist wie ein mehrstöckiges Gebäude mit 24 Etagen (Layern). Die Forscher fanden heraus, dass die „beste“ Etage für das Verständnis von Gesichtern nicht die oberste Etage ist, auf der das Modell seine endgültige Entscheidung trifft.

Stellen Sie sich die Schichten des Modells wie ein Team von Künstlern vor, die eine Skizze eines Gesichts anfertigen:

• Die oberste Etage (Layer 24): Dies ist der Ort, an dem der Künstler einen Schritt zurücktritt, um das Gesamtbild zu sehen. Er weiß, dass es ein Gesicht ist, aber er hat alle Details miteinander vermischt. Wenn man ihn bittet, auf die Nase zu zeigen, könnte er verwirrt sein, weil die Nase, der Mund und die Haut für ihn alle zu „Gesichtssachen“ verschmelzen. In diesem Paper war diese Etage nur 1,48-mal besser darin, Nasen zu Nasen zuzuordnen, als sie anderen Körperteilen zuzuordnen.
• Die mittlere Etage (Layer 18): Hier arbeitet der Künstler noch an den Details. In dieser Schicht hält das Modell die Merkmale deutlich voneinander getrennt. Es weiß genau, wo die Nase vom Mund getrennt ist. In dieser Schicht war das Modell 4,93-mal besser darin, denselben Teil (wie Nase-zu-Nase) zu matchen als unterschiedliche Teile (wie Nase-zu-Mund). Wenn man ignoriert, dass linke und rechte Augen sehr ähnlich aussehen (Symmetrie), springt dieser Wert auf 7,19-mal besser!

Dies zeigt uns, dass das „mittlere Gehirn“ des Modells eine sehr präzise, detaillierte Karte der Gesichtsteile besitzt, während das „obere Gehirn“ zu sehr damit beschäftigt ist, das große Ganze zu betrachten, um sich um die kleinen Details zu kümmern.

Gesichter in Bewegung verfolgen

Die Forscher testeten auch, ob diese Karte in Videos funktioniert. Sie nahmen ein Video einer sprechenden Person und baten das Modell, einen bestimmten Teil, wie etwa den Mund, vom ersten bis zum letzten Frame zu verfolgen, ohne ihm Bewegungen beizubringen.

Das Ergebnis? Das Modell verfolgte die Gesichtsteile mit einer Genauigkeit von 95,5 %. Es war, als würde man einer Tänzerin zusehen und der Hand perfekt folgen können, selbst wenn die Tänzerin sich dreht oder ihren Gesichtsausdruck ändert. Das Modell benötigte keinen speziellen „Video-Lehrer“; es nutzte einfach dieselbe Gesichtskarte, die es aus Standbildern gelernt hatte.

Was dieses Modell NICHT ist

Es ist wichtig zu wissen, was dieses Modell nicht kann. Die Forscher testeten ein anderes berühmtes Modell namens CLIP, um zu sehen, ob es dasselbe leisten kann. CLIP ist großartig darin, die allgemeine Idee eines Gesichts zu verstehen (wie „dies ist ein Gesicht“), aber es scheiterte an den feinen Details. Als CLIP gebeten wurde, spezifische Teile wie Augen oder Brauen über verschiedene Menschen hinweg zuzuordnen, hatte es Schwierigkeiten. Dies beweist, dass DINOv3 nicht nur besser darin ist, Gesichter zu finden; es hat eine spezifische, detaillierte anatomische Karte gelernt, die anderen Modellen fehlt.

Zudem „weiß“ das Modell nicht von sich aus, was die Wörter „Nase“ oder „Auge“ bedeuten. Wenn man das Werkzeug entfernt hätte, das ihm die Namensschilder gab (FaRL), wäre die Leistung des Modells auf 0,9 % zusammengebrochen. Das bedeutet, das Modell liefert die Struktur (die Karte), aber es braucht einen Menschen (oder ein anderes Werkzeug), um die Namen bereitzustellen. Es ist wie eine perfekte Stadtkarte, auf der jede Straße mit einem Code beschriftet ist; man braucht eine Legende, um zu wissen, dass „Code A“ die „Hauptstraße“ bedeutet.

Das Fazament

Dieses Paper zeigt, dass eingefrorene Vision-Modelle, die auf allgemeinen Bildern trainiert wurden, versehentlich ein mächtiges, universelles Koordinatensystem für menschliche Gesichter gelernt haben. Sie können Augen, Nasen und Münder über verschiedene Menschen hinweg zuordnen und sie sogar in Videos verfolgen, ohne jemals speziell über Gesichter unterrichtet worden zu sein. Das Geheimnis liegt in den mittleren Schichten des Modells, die die Details scharf und unterscheidbar halten. Diese Entdeckung legt nahe, dass wir vielleicht nicht für jede einzelne Aufgabe eine spezielle KI trainieren müssen; manchmal besitzen die allgemeinen „Super-Gehirne“ bereits die Antworten, die in ihnen verborgen liegen und nur darauf warten, gefunden zu werden.