Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models

Imagina un mundo donde las computadoras pueden mirar la foto de un gato y saber instantáneamente qué parte es la oreja, qué es la cola y qué es la nariz, incluso si el gato está durmiendo, corriendo o usando un sombrero. Durante mucho tiempo, los científicos pensaron que las computadoras necesitaban ser enseñadas esto específicamente, como un estudiante memorizando un libro de texto. Pero recientemente, ha surgido un nuevo tipo de "supercerebro" para las computadoras. Estos se llaman modelos fundacionales. Piensa en ellos como estudiantes que han leído casi todos los libros de la biblioteca sin haber sido evaluados nunca en una materia específica. Aprenden las reglas generales de cómo se ve el mundo —cómo encajan las texturas, las formas y los patrones— simplemente mirando millones de imágenes.

La gran pregunta que los científicos se hacen es: ¿entienden estos supercerebros, que nunca fueron enseñados sobre rostros específicamente, el mapa de un rostro humano? Si les muestras la foto de un extraño, ¿pueden señalar la nariz y decir: "Esa es una nariz, igual que la nariz en la otra foto", incluso si las personas se ven completamente diferentes? Esto es importante porque si una computadora puede hacer esto sin ser enseñada, significa que ha aprendido un lenguaje universal de formas y estructuras. Sugiere que la computadora ha construido un "sistema de coordenadas" interno para los rostros, un mapa mental que funciona para todos, independientemente de quiénes sean o qué estén haciendo.

El descubrimiento del artículo: Un mapa facial sin un maestro

Este artículo investiga si un supercerebro específico, llamado DINOv3, ha aprendido secretamente a mapear rostros humanos, a pesar de que nunca fue entrenado para reconocer ojos, narices o bocas. Los investigadores querían ver si este modelo congelado (invariable) podía actuar como un traductor universal para los rasgos faciales.

Para probar esto, trataron al modelo como a un detective. No le enseñaron al modelo qué es una "nariz". En su lugar, utilizaron una herramienta separada llamada FaRL solo para darle al modelo una etiqueta de nombre. FaRL miraba un rostro y decía: "Este parche de píxeles es una nariz, este otro es un ojo". Luego, los investigadores le preguntaron a DINOv3: "Si te muestro un parche de píxeles de la nariz de la Persona A, ¿puedes encontrar el parche de la nariz correspondiente en el rostro de la Persona B, aunque nunca hayas visto a la Persona B antes?".

Los resultados fueron sorprendentemente sólidos. El modelo, que nunca había sido entrenado en rostros, logró emparejar regiones faciales entre diferentes personas el 83.0% de las veces. Para ponerlo en perspectiva, si simplemente adivinaran al azar basándose en cuánta piel o cabello hay en una imagen, solo acertarían el 23.0% de las veces. El modelo no estaba simplemente adivinando; había aprendido una estructura oculta.

El misterio de la "capa intermedia"

Uno de los descubrimientos más divertidos del artículo es sobre dónde en el cerebro del modelo ocurre esta magia. DINOv3 es como un edificio de varios pisos con 24 plantas (capas). Los investigadores descubrieron que la "mejor" planta para entender los rostros no es el piso superior donde el modelo toma su decisión final.

Piensa en las capas del modelo como un equipo de artistas esbozando un rostro.

• El piso superior (Capa 24): Aquí es donde el artista da un paso atrás para ver la imagen completa. Sabe que es un rostro, pero ha mezclado todos los detalles. Si le pides que señale la nariz, podría confundirse porque la nariz, la boca y la piel parecen "cosas de la cara" para él. En este artículo, este piso solo emparejó narices con narices 1.48 veces mejor de lo que las emparejó con otras partes.
• El piso intermedio (Capa 18): Aquí es donde el artista todavía está trabajando en los detalles. En este nivel, el modelo mantiene los rasgos distintos. Sabe exactamente dónde la nariz está separada de la boca. En esta capa, el modelo fue 4.93 veces mejor emparejando la misma parte (como nariz con nariz) que emparejando partes diferentes (como nariz con boca). Si ignoras el hecho de que el ojo izquierdo y el derecho se ven muy similares (simetría), ¡este número salta a 7.19 veces mejor!

Esto nos dice que el "cerebro medio" del modelo posee un mapa de las partes faciales muy preciso y detallado, mientras que el "cerebro superior" está demasiado ocupado mirando el panorama general como para preocuparse por los pequeños detalles.

Rastreo de rostros en movimiento

Los investigadores también probaron si este mapa funciona en videos. Tomaron un video de una persona hablando y le pidieron al modelo que rastreara una parte específica, como la boca, desde el primer cuadro hasta el último, sin enseñarle cómo se mueve.

¿El resultado? El modelo rastreó las partes faciales con una precisión del 95.5%. Era como observar a un bailarín y poder seguir su mano perfectamente de principio a fin, incluso si el bailarín giraba o cambiaba su expresión. El modelo no necesitó un "maestro de video" especial; simplemente utilizó el mismo mapa facial que había aprendido de las imágenes estáticas.

Lo que este modelo NO es

Es importante saber lo que este modelo no hace. El artículo probó otro modelo famoso llamado CLIP para ver si podía hacer lo mismo. CLIP es excelente para entender la idea general de un rostro (como "esto es la cara de una persona"), pero falló en los detalles finos. Cuando se le pidió que emparejara partes específicas como ojos o cejas entre diferentes personas, CLIP tuvo dificultades. Esto demuestra que DINOv3 no es solo mejor encontrando rostros; ha aprendido un mapa anatómico específico y detallado que otros modelos carecen.

Además, el modelo no "sabe" las palabras "nariz" o "ojo" por sí mismo. Si le quitaras la herramienta que le daba las etiquetas de nombre (FaRL), el rendimiento del modelo colapsaría al 0.9%. Esto significa que el modelo proporciona la estructura (el mapa), pero necesita a un humano (o a otra herramienta) para proporcionar los nombres. Es como tener un mapa perfecto de una ciudad donde cada calle está etiquetada con un código; necesitas una leyenda para saber que el "Código A" significa "Calle Principal".

La conclusión

Este artículo muestra que los modelos de visión congelados, que son entrenados en imágenes generales, han aprendido accidentalmente un sistema de coordenadas poderoso y universal para los rostros humanos. Pueden emparejar ojos, narices y bocas entre diferentes personas e incluso rastrearlos en videos, sin haber sido enseñados específicamente sobre rostros. El secreto reside en las capas medias del modelo, que mantienen los detalles nítidos y distintos. Este descubrimiento sugiere que podríamos no necesitar entrenar una IA especial para cada tarea; a veces, los "supercerebros" generales ya tienen las respuestas escondidas dentro de ellos, esperando ser encontradas.