Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models

Imaginez un monde où les ordinateurs peuvent regarder la photo d'un chat et savoir instantanément quelle partie est l'oreille, laquelle est la queue et laquelle est le nez, même si le chat dort, court ou porte un chapeau. Pendant longtemps, les scientifiques ont pensé que les ordinateurs devaient être enseignés de manière spécifique, comme un élève mémorisant un manuel scolaire. Mais récemment, un nouveau type de « super-cerveau » pour les ordinateurs est apparu. Ces modèles sont appelés modèles de fondation. Voyez-les comme des étudiants qui ont lu presque tous les livres de la bibliothèque sans jamais avoir été testés sur un sujet précis. Ils apprennent les règles générales de la façon dont le monde se présente — comment les textures, les formes et les motifs s'assemblent — simplement en regardant des millions d'images.

La grande question que se posent les scientifiques est la suivante : ces super-cerveaux, qui n'ont jamais été enseignés spécifiquement sur les visages, comprennent-ils réellement la carte d'un visage humain ? Si vous leur montrez la photo d'un étranger, peuvent-ils pointer le nez et dire : « C'est un nez, tout comme le nez sur l'autre photo », même si les personnes se ressemblent complètement différemment ? Cela importe car si un ordinateur peut faire cela sans être enseigné, cela signifie qu'il a appris un langage universel de formes et de structures. Cela suggère que l'ordinateur a construit un « système de coordonnées » interne pour les visages, une carte mentale qui fonctionne pour tout le monde, peu importe qui ils sont ou ce qu'ils font.

La découverte du papier : Une carte du visage sans professeur

Ce papier de recherche examine si un super-cerveau spécifique, appelé DINOv3, a secrètement appris à cartographier les visages humains, bien qu'il n'ait jamais été entraîné à reconnaître les yeux, les nez ou les bouches. Les chercheurs voulaient voir si ce modèle gelé (immuable) pouvait agir comme un traducteur universel des traits du visage.

Pour tester cela, ils ont traité le modèle comme un détective. Ils n'ont pas enseigné au modèle ce qu'est un « nez ». Au lieu de cela, ils ont utilisé un outil séparé appelé FaRL juste pour donner au modèle une étiquette de nom. FaRL regardait un visage et disait : « Cette zone de pixels est un nez, celle-ci est un œil ». Ensuite, les chercheurs ont demandé à DINOv3 : « Si je te montre une zone de pixels du nez de la Personne A, peux-tu trouver la zone de nez correspondante sur le visage de la Personne B, même si tu n'as jamais vu la Personne B auparavant ? »

Les résultats ont été étonnamment solides. Le modèle, qui n'avait jamais été entraîné sur les visages, a réussi à faire correspondre les régions faciales entre différentes personnes dans 83,0 % des cas. Pour mettre cela en perspective, si vous deviez simplement deviner au hasard en fonction de la quantité de peau ou de cheveux présente dans une image, vous n'auriez raison que dans 23,0 % des cas. Le modèle ne faisait pas que deviner ; il avait appris une structure cachée.

Le mystère de la « couche intermédiaire »

L'une des découvertes les plus amusantes de ce papier concerne l'endroit où, dans le cerveau du modèle, cette magie opère. DINOv3 est comme un immeuble de plusieurs étages avec 24 étages (couches). Les chercheurs ont découvert que le « meilleur » étage pour comprendre les visages n'est pas le dernier étage où le modèle prend sa décision finale.

Imaginez les couches du modèle comme une équipe d'artistes esquissant un visage.

• Le dernier étage (Couche 24) : C'est là que l'artiste prend du recul pour voir l'image entière. Il sait que c'est un visage, mais il a mélangé tous les détails. S'il lui demandez de pointer le nez, il pourrait être confus car le nez, la bouche et la peau se ressemblent tous comme des « trucs de visage » pour lui. Dans ce papier, cet étage n'a fait correspondre les nez aux nez que 1,48 fois mieux qu'il n'a fait correspondre les nez à d'autres parties.
• L'étage intermédiaire (Couche 18) : C'est là que l'artiste travaille encore sur les détails. Ici, le modèle garde les caractéristiques distinctes. Il sait exactement où le nez se sépare de la bouche. Dans cette couche, le modèle était 4,93 fois meilleur pour faire correspondre la même partie (comme nez à nez) que pour faire correspondre des parties différentes (comme nez à bouche). Si l'on ignore le fait que l'œil gauche et l'œil droit se ressemblent beaucoup (symétrie), ce chiffre grimpe à 7,19 fois mieux !

Cela nous indique que le « cerveau intermédiaire » du modèle détient une carte très précise et détaillée des parties du visage, tandis que le « cerveau supérieur » est trop occupé à regarder la vue d'ensemble pour se soucier des petits détails.

Suivre les visages en mouvement

Les chercheurs ont également testé si cette carte fonctionne dans les vidéos. Ils ont pris une vidéo d'une personne parlant et ont demandé au modèle de suivre une partie spécifique, comme la bouche, de la première à la dernière image, sans lui apprendre comment elle bouge.

Le résultat ? Le modèle a suivi les parties du visage avec une précision de 95,5 %. C'était comme regarder un danseur et pouvoir suivre sa main parfaitement du début à la fin, même si le danseur tournait sur lui-même ou changeait d'expression. Le modèle n'avait pas besoin d'un « professeur de vidéo » spécial ; il utilisait simplement la même carte faciale qu'il avait apprise à partir d'images fixes.

Ce que ce modèle n'est PAS

Il est important de savoir ce que ce modèle ne fait pas. Le papier a testé un autre modèle célèbre appelé CLIP pour voir s'il pouvait faire la même chose. CLIP est excellent pour comprendre l'idée générale d'un visage (comme « ceci est un visage humain »), mais il a échoué sur les détails fins. Lorsqu'on lui a demandé de faire correspondre des parties spécifiques comme les yeux ou les sourcils entre différentes personnes, CLIP a eu des difficultés. Cela prouve que DINOv3 ne se contente pas d'être meilleur pour trouver des visages ; il a appris une carte anatomique spécifique et détaillée que les autres modèles n'ont pas.

De plus, le modèle ne « sait » pas ce que sont les mots « nez » ou « œil » par lui-même. Si vous aviez retiré l'outil qui lui donnait ses étiquettes de noms (FaRL), la performance du modèle s'effondrerait à 0,9 %. Cela signifie que le modèle fournit la structure (la carte), mais qu'il a besoin d'un humain (ou d'un autre outil) pour fournir les noms. C'est comme avoir une carte parfaite d'une ville où chaque rue est étiquetée avec un code ; vous avez besoin d'une légende pour savoir que le « Code A » signifie « Rue Principale ».

L'essentiel à retenir

Ce papier démontre que les modèles de vision gelés, qui sont entraînés sur des images générales, ont accidentellement appris un système de coordonnées puissant et universel pour les visages humains. Ils peuvent faire correspondre les yeux, les nez et les bouches entre différentes personnes et même suivre ces éléments dans des vidéos, et ce, sans jamais avoir été enseignés spécifiquement sur les visages. Le secret réside dans les couches intermédiaires du modèle, qui maintiennent les détails nets et distincts. Cette découverte suggère que nous n'aurons peut-être pas besoin d'entraîner une IA spéciale pour chaque tâche ; parfois, les « super-cerveaux » généraux possèdent déjà les réponses cachées en eux, attendant d'être découvertes.