Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models

Immaginate un mondo in cui i computer possono guardare la foto di un gatto e sapere istantaneamente quale parte sia l'orecchio, quale la coda e quale il naso, anche se il gatto sta dormendo, correndo o indossando un cappello. Per molto tempo, gli scienziati hanno pensato che i computer dovessero essere istruiti specificamente su questo, come uno studente che impara a memoria un libro di testo. Ma recentemente, è emerso un nuovo tipo di "super-cervello" per i computer. Questi sono chiamati modelli di base (foundation models). Pensateli come studenti che hanno letto quasi tutti i libri della biblioteca senza essere mai stati testati su una materia specifica. Imparano le regole generali di come il mondo appare — come le texture, le forme e i pattern si incastrano tra loro — semplicemente guardando milioni di immagini.

La grande domanda che gli scienziati si pongono è: questi super-cervelli, che non sono mai stati istruiti specificamente sui volti, comprendono davvero la mappa di un volto umano? Se mostrate loro la foto di uno sconosciuto, possono indicare il naso e dire: "Questo è un naso, proprio come il naso nell'altra foto", anche se le persone sono completamente diverse? Questo è importante perché se un computer può farlo senza essere stato istruito, significa che ha imparato un linguaggio universale di forme e strutture. Suggerisce che il computer abbia costruito un "sistema di coordinate" interno per i volti, una mappa mentale che funziona per tutti, indipendentemente da chi siano o da cosa stiano facendo.

La scoperta del documento: Una mappa del volto senza un insegnante

Questo articolo investiga se un particolare super-cervello, chiamato DINOv3, abbia imparato segretamente a mappare i volti umani, nonostante non sia mai stato addestrato a riconoscere occhi, nasi o bocche. I ricercatori volevano vedere se questo modello congelato (immodificabile) potesse agire come un traduttore universale per i tratti del viso.

Per testarlo, hanno trattato il modello come un detective. Non hanno insegnato al modello cos'è un "naso". Invece, hanno usato uno strumento separato chiamato FaRL solo per dare al modello un'etichetta. FaRL guardava un volto e diceva: "Questa porzione di pixel è un naso, questa è un occhio". Poi, i ricercatori hanno chiesto a DINOv3: "Se ti mostro una porzione di pixel dal naso della Persona A, puoi trovare la porzione di naso corrispondente sul volto della Persona B, anche se non hai mai visto la Persona B prima d'ora?".

I risultati sono stati sorprendentemente forti. Il modello, che non era mai stato addestrato sui volti, ha identificato con successo le regioni facciali tra persone diverse nell'83,0% dei casi. Per mettere questo dato in prospia, se aveste tirato a indovinare casualmente in base a quanta pelle o capelli ci sono in un'immagine, avreste avuto ragione solo il 23,0% delle volte. Il modello non stava solo tirando a indovinare; aveva appreso una struttura nascosta.

Il mistero dello "strato intermedio"

Una delle scoperte più interessanti del documento riguarda dove nel cervello del modello avvenga questa magia. DINOv3 è come un edificio a più piani con 24 piani (layer). I ricercatori hanno scoperto che il "miglior" piano per comprendere i volti non è l'ultimo piano, dove il modello prende la sua decisione finale.

Pensate ai livelli del modello come a una squadra di artisti che schizzano un volto.

• L'ultimo piano (Livello 24): È qui che l'artista fa un passo indietro per vedere l'intera immagine. Sa che si tratta di un volto, ma ha mescolato tutti i dettagli insieme. Se gli chiedete di indicare il naso, potrebbe confondersi perché il naso, la bocca e la pelle per lui sono tutti "cose da faccia". In questo livello, il modello ha abbinato i nasi ai nasi solo 1,48 volte meglio rispetto ad altre parti.
• Il piano intermedio (Livello 18): È qui che l'artista sta ancora lavorando ai dettagli. In questo livello, il modello mantiene le caratteristiche distinte. Sa esattamente dove il naso è separato dalla bocca. In questo livello, il modello è stato 4,93 volte più bravo a far corrispondere la stessa parte (come naso-naso) rispetto a far corrispondere parti diverse (come naso-bocca). Se ignorate il fatto che l'occhio destro e sinistro si somigliano molto (simmetria), questo numero sale a 7,19 volte meglio!

Questo ci dice che il "cervello intermedio" del modello possiede una mappa molto precisa e dettagliata delle parti del viso, mentre il "cervello superiore" è troppo impegnato a guardare l'immagine globale per occuparsi dei piccoli dettagli.

Tracciare i volti in movimento

I ricercatori hanno anche testato se questa mappa funzioni nei video. Hanno preso un video di una persona che parla e hanno chiesto al modello di tracciare una parte specifica, come la bocca, dal primo fotogramma all'ultimo, senza insegnargli come muoversi.

Il risultato? Il modello ha tracciato le parti del viso con un'accuratezza del 95,5%. Era come guardare un ballerino e riuscire a seguire perfettamente la sua mano dall'inizio alla fine, anche se il ballerino ruotava su se stesso o cambiava espressione. Il modello non aveva bisogno di un "insegnante video" speciale; ha semplicemente usato la stessa mappa del volto che aveva appreso dalle immagini statiche.

Cosa NON è questo modello

È importante sapere cosa questo modello non fa. Il documento ha testato un altro modello famoso chiamato CLIP per vedere se potesse fare la stessa cosa. CLIP è bravo a comprendere l'idea generale di un volto (come "questo è il volto di una persona"), ma è fallito nei dettagli fini. Quando gli è stato chiesto di abbinare parti specifiche come occhi o sopracciglia tra persone diverse, CLIP ha avuto difficoltà. Questo dimostra che DINOv3 non è solo migliore nel trovare i volti; ha appreso una mappa anatomica specifica e dettagliata che altri modelli non possiedono.

Inoltre, il modello non "sa" le parole "naso" o "occhio" da solo. Se aveste rimosso lo strumento che gli forniva le etichette (FaRL), le prestazioni del modello sarebbero crollate allo 0,9%. Ciò significa che il modello fornisce la struttura (la mappa), ma ha bisogno di un essere umano (o di un altro strumento) per fornire i nomi. È come avere una mappa perfetta di una città dove ogni strada è etichettata con un codice; serve una legenda per sapere che "Codice A" significa "Via Principale".

In sintamente

Questo articolo dimostra che i modelli di visione congelati, che sono addestrati su immagini generiche, hanno accidentalmente appreso un potente e universale sistema di coordinate per i voli umani. Possono abbinare occhi, nasi e bocche tra persone diverse e persino tracciarli nei video, senza mai essere stati istruiti specificamente sui volti. Il segreto risiede negli strati intermedi del modello, che mantengono i dettagli nitidi e distinti. Questa scoperta suggerisce che potremmo non aver bisogno di addestrare IA speciali per ogni singola attività; a volte, i "super-cervelli" generali hanno già le risposte nascoste al loro interno, in attesa di essere trovate.