Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models

Stel je een wereld voor waarin computers naar een foto van een kat kunnen kijken en direct weten welk deel de oor is, welk deel de staart is en welk deel de neus is, zelfs als de kat slaapt, rent of een hoed draagt. Een lange tijd dachten wetenschappers dat computers dit specifiek aangeleerd moesten worden, zoals een student die een tekstboek uit het hoofd leert. Maar onlangs is er een nieuw soort "superbrein" voor computers opgekomen. Dit zijn foundationmodellen. Denk aan hen als studenten die bijna elk boek in de bibliotheek hebben gelezen zonder ooit te zijn getest op een specifiek onderwerp. Ze leren de algemene regels van hoe de wereld eruitziet — hoe texturen, vormen en patronen in elkaar passen — simpelweg door naar miljoenen afbeeldingen te kijken.

De grote vraag die wetenschappers zich stellen is: begrijpen deze superbreinen, die nooit specifiek over gezichten zijn onderwezen, daadwerkelijk de kaart van een menselijk gezicht? Als je hen een foto van een vreemde laat zien, kunnen ze dan naar de neus wijzen en zeggen: "Dat is een neus, net als de neus in de andere foto," zelfs als de mensen er totaal verschillend uitzien? Dit is belangrijk omdat als een computer dit kan zonder dat het is aangeleerd, het betekent dat het een universele taal van vormen en structuren heeft geleerd. Het suggereert dat de computer een intern "coördinatensysteem" voor gezichten heeft opgebouwd, een mentale kaart die voor iedereen werkt, ongeacht wie ze zijn of wat ze doen.

De ontdekking van het paper: Een gezichtskaart zonder leraar

Dit paper onderzoekt of een specifiek superbrein, genaamd DINOv3, stiekem heeft geleerd om menselijke gezichten in kaart te brengen, ook al is het nooit getraind om ogen, neuzen of monden te herkennen. De onderzoekers wilden zien of dit bevroren (onveranderlijke) model als een universele vertaler voor gelaatstrekken kon fungeren.

Om dit te testen, behandelden ze het model als een detective. Ze hebben het model niet geleerd wat een "neus" is. In plaats daarvan gebruikten ze een apart hulpmiddel genaamd FaRL, enkel om het model een naamkaartje te geven. FaRL keek naar een gezicht en zei: "Deze verzameling pixels is een neus, deze is een oog." Vervolgens vroegen de onderzoekers aan DINOv3: "Als ik je een verzameling pixels laat zien van de neus van Persoon A, kun je dan de bijbehorende neus-patch op het gezicht van Persoon B vinden, zelfs als je Persoon B nog nooit hebt gezien?"

De resultaten waren verrassend sterk. Het model, dat nooit getraind was op gezichten, slaagde erin om gezichtsregio's tussen verschillende mensen te matchen in 83,0% van de gevallen. Om dit in perspectief te plaatsen: als je simpelweg willekeurig zou gokken op basis van hoeveel huid of haar er in een plaatje zit, zou je het slechts in 23,0% van de gevallen goed hebben. Het model was niet zomaaan aan het gokken; het had een verborgen structuur geleerd.

Het "Middenlaag"-mysterie

Een van de leukste ontdekkingen in het paper gaat over waar in het brein van het model deze magie gebeurt. DINOv3 is als een gebouw met meerdere verdiepingen met 24 verdiepingen (lagen). De onderzoekers ontdekten dat de "beste" verdieping voor het begrijpen van gezichten niet de bovenste verdieping is waar het model zijn uiteindelijke beslissing neemt.

Denk aan de lagen van het model als een team van kunstenaars die een gezicht schetsen.

• De bovenste verdieping (Laag 24): Dit is waar de kunstenaar afstand neemt om het hele plaatje te zien. Ze weten dat het een gezicht is, maar ze hebben alle details met elkaar vermengd. Als je hen vraagt om naar de neus te wijzen, kunnen ze in de war raken omdat de neus, mond en huid voor hen allemaal als "gezicht-dingen" aanvoelen. In dit paper was deze verdieping slechts 1,48 keer beter in het matchen van neuzen aan neuzen dan het matchen aan andere delen.
• De middelste verdieping (Laag 18): Dit is waar de kunstenaar nog bezig is met de details. Hier houdt het model de kenmerken duidelijk gescheiden. Het weet precies waar de neus losstaat van de mond. In deze laag was het model 4,93 keer beter in het matchen van hetzelfde deel (zoals neus-naar-neus) dan het matchen van verschillende delen (zoals neus-naar-mond). Als je er geen rekening mee houdt dat links en rechts oog er erg op elkaar lijken (symmetrie), springt dit getal naar 7,19 keer beter!

Dit vertelt ons dat het "middenbrein" van het model een zeer precieze, gedetailleerde kaart van gelaatstrekken bevat, terwijl het "bovenbrein" te druk is met het kijken naar het grote plaatje om aandacht te besteden aan de kleine details.

Gezichten volgen in beweging

De onderzoekers testten ook of deze kaart werkt in video's. Ze namen een video van een persoon die praat en vroegen het model om een specifiek deel te volgen, zoals de mond, van het eerste tot het laatste frame, zonder het hoe het moet bewegen te leren.

Het resultaat? Het model volgde de gelaatstrekken met een nauwkeurigheid van 95,5%. Het was alsof je een danser observeert en de hand van de danser perfect kunt volgen van begin tot eind, zelfs als de danser ronddraait of van expressie verandert. Het model had geen speciale "videoleraar" nodig; het gebruep simpelweg dezelfde gezichtskaart die het had geleerd van stilstaande beelden.

Wat dit model NIET is

Het is belangrijk om te weten wat dit model niet doet. De onderzoekers testten een ander beroemd model genaamd CLIP om te zien of het hetzelfde kon doen. CLIP is erg goed in het begrijpen van het algemene idee van een gezicht (zoals "dit is een menselijk gezicht"), maar het faalde bij de fijne details. Wanneer CLIP werd gevraagd om specifieke delen zoals ogen of wenkbrauwen te matchen tussen verschillende mensen, had het moeite. Dit bewijst dat DINOv3 niet alleen beter is in het vinden van gezichten; het heeft een specifieke, gedetailleerde anatomische kaart geleerd die andere modellen missen.

Ook "weet" het model zelf de woorden "neus" of "oog" niet. Als je het hulpmiddel zou weghalen dat het de naamkaartjes gaf (FaRL), stort de prestatie van het model in tot 0,9%. Dit betekent dat het model de structuur (de kaart) levert, maar het heeft een mens (of een ander hulpmiddel) nodig om de namen te geven. Het is als het hebben van een perfecte kaart van een stad waar elke straat is gelabeld met een code; je hebt een legenda nodig om te weten dat "Code A" "Hoofdstraat" betekent.

De kern van het verhaal

Dit paper laat zien dat bevroren visiemodellen, die getraind zijn op algemene afbeeldingen, per ongeluk een krachtig, universeel coördinatensysteem voor menselijke gezichten hebben geleerd. Ze kunnen ogen, neuzen en monden matchen tussen verschillende mensen en zelfs volgen in video's, zonder dat ze specifiek over gezichten zijn onderweken. Het geheim ligt in de middelste lagen van het model, die de details scherp en onderscheidend houden. Deze ontdekking suggereert dat we misschien niet voor elke taak een speciale AI hoeven te trainen; soms hebben de algemene "superbreinen" de antwoorden al verborgen in zichzelf, wachtend om gevonden te worden.