Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models

컴퓨터가 고양이 사진을 보고 즉시 귀, 꼬리, 코가 어디인지 알아낼 수 있는 세상을 상상해 보세요. 고양이가 잠을 자고 있거나, 달리고 있거나, 심지어 모자를 쓰고 있더라도 말이죠. 오랫동안 과학자들은 컴퓨터가 교과서를 암기하는 학생처럼 이 과정을 구체적으로 배워야 한다고 생각했습니다. 하지만 최근, 컴퓨터를 위한 새로운 종류의 "슈퍼 브레인"이 등장했습니다. 이것들은 **파운데이션 모델(foundation models)**이라고 불립니다. 이 모델들을 거의 모든 책을 다 읽었지만 특정 과목에 대해 시험을 치른 적은 없는 학생이라고 생각해 보세요. 이들은 수백만 장의 이미지를 단순히 바라보는 것만으로 질감, 모양, 패턴이 어떻게 서로 어우러지는지 같은 세상의 일반적인 규칙을 학습합니다.

과학자들이 던지는 큰 질문은 이것입니다. 얼굴에 대해 구체적으로 배우지 않은 이 슈퍼 브레인들이 실제로 인간의 얼굴 지도를 이해하고 있을까요? 만약 낯선 사람의 사진을 보여준다면, 그들은 코를 가리키며 "이것은 저 사진 속의 코와 똑같은 코다"라고 말할 수 있을까요? 사람들이 완전히 다르게 생겼더라도 말이죠. 이것이 중요한 이유는, 컴퓨터가 배우지 않고도 이 일을 해낼 수 있다면, 그것이 보편적인 형태와 구조의 언어를 학습했다는 것을 의미하기 때문입니다. 이는 컴퓨터가 얼굴을 위한 내부적인 "좌표계", 즉 누구에게나 적용되는 정신적 지도를 구축했음을 시사합니다.

논문의 발견: 스승 없는 얼굴 지도

이 논문은 특정 슈퍼 브레인인 DINOv3가 얼굴을 인식하도록 훈련받은 적이 없음에도 불구하고, 비밀리에 인간의 얼굴을 매핑하는 법을 배웠는지 조사합니다. 연구진은 이 고정된(변하지 않는) 모델이 얼굴 특징을 위한 보편적인 번역기 역할을 할 수 있는지 확인하고 싶었습니다.

이를 테스트하기 위해, 그들은 모델을 탐정처럼 다루었습니다. 모델에게 "코"가 무엇인지 가르치지 않았습니다. 대신, FaRL이라는 별도의 도구를 사용하여 모델에게 이름표를 붙여주기만 했습니다. FaRL은 얼굴을 보고 "이 픽셀 덩어리는 코이고, 이것은 눈이다"라고 말해주는 역할을 했습니다. 그런 다음 연구진은 DINOv3에게 물었습니다. "만약 내가 A라는 사람의 코에서 추출한 픽셀 덩어리를 보여준다면, 너는 B라는 사람을 본 적이 없는데도 B의 얼굴에서 일치하는 코 부분을 찾아낼 수 있니?"

결과는 놀라울 정도로 강력했습니다. 얼굴에 대한 훈련을 받은 적이 없는 이 모델은 서로 다른 사람들 사이에서 얼굴 영역을 **83.0%**의 확률로 성공적으로 일치시켰습니다. 이를 체감하기 위해 설명하자면, 만약 사진 속의 피부나 머리카락 양을 바탕으로 무작위로 추측한다면 정답률은 **23.0%**에 불과했을 것입니다. 모델은 단순히 추측하는 것이 아니라, 숨겨진 구조를 학습한 것이었습니다.

"중간 레이어"의 미스터리

이 논문에서 가장 흥미로운 발견 중 하나는 모델의 뇌 어디에서 이 마법이 일어나는지에 관한 것입니다. DINOv3는 24개의 층(레이어)으로 이루어진 다층 건물과 같습니다. 연구진은 얼굴을 이해하는 데 있어 "최적의" 층이 모델이 최종 결정을 내리는 꼭대기 층이 아니라는 것을 발견했습니다.

모델의 레이어를 얼굴을 스케치하는 화가 팀이라고 생각해 보세요.

• 꼭대기 층 (레이어 24): 이곳은 화가가 전체 그림을 보기 위해 한 걸음 뒤로 물러난 곳입니다. 그들은 그것이 얼굴이라는 것은 알지만, 모든 세부 사항을 하나로 섞어버렸습니다. 만약 그들에게 코를 가리키라고 한다면, 그들은 코, 입, 피부가 모두 "얼굴 관련 요소"로 보이기 때문에 혼란을 느낄 수 있습니다. 논문에서 이 층은 코를 코와 매칭하는 능력이 다른 부위와 매칭하는 것보다 1.48배 높았습니다.
• 중간 층 (레이어 18): 이곳은 화가가 여전히 세부 사항을 작업하고 있는 곳입니다. 여기서 모델은 특징들을 뚜렷하게 유지합니다. 모델은 코가 입과 어떻게 다른지 정확히 알고 있습니다. 이 레이어에서 모델은 동일한 부위(예: 코와 코)를 매칭하는 능력이 서로 다른 부위(예: 코와 입)를 매칭하는 것보다 4.93배 더 뛰어났습니다. 만약 좌우 눈이 매우 비슷하다는 점(대칭성)을 제외한다면, 이 수치는 7.19배까지 올라갑니다!

이는 모델의 "중간 뇌"가 매우 정밀하고 상세한 얼굴 부위 지도를 보유하고 있는 반면, "상단 뇌"는 큰 그림을 보는 데 너무 바빠서 작은 세부 사항에는 신경 쓰지 않는다는 것을 알려줍니다.

움직이는 얼굴 추적하기

연구진은 이 지도가 비디오에서도 작동하는지 테스트했습니다. 그들은 사람이 말하는 영상을 가져와서, 움직이는 법을 가르쳐주지 않고도 입과 같은 특정 부위를 첫 프레임부터 마지막 프레임까지 추적하도록 요청했습니다.

결과는 어떠했을까요? 모델은 **95.5%**의 정확도로 얼굴 부위를 추적했습니다. 이는 마치 무용수가 회전하거나 표정을 바꾸더라도, 그 무용수의 손을 처음부터 끝까지 완벽하게 따라가는 것을 보는 것과 같았습니다. 모델은 특별한 "비디오 선생님"을 필요로 하지 않았습니다. 그저 정지된 사진에서 학습한 것과 동일한 얼굴 지도를 사용했을 뿐입니다.

이 모델이 '아닌' 것

이 논문은 이 모델이 무엇을 하지 못하는지를 아는 것도 중요합니다. 연구진은 다른 유명한 모델인 CLIP이 이와 같은 일을 할 수 있는지 테스트했습니다. CLIP은 얼굴의 일반적인 개념(예: "이것은 사람의 얼굴이다")을 이해하는 데는 뛰어나지만, 미세한 세부 사항에서는 실패했습니다. 눈이나 눈썹 같은 특정 부위를 서로 다른 사람들 사이에서 매칭하라는 요청을 받았을 때, CLIP은 어려움을 겪었습니다. 이는 DINOv3가 단순히 얼굴을 잘 찾는 것이 아니라, 다른 모델에는 없는 구체적이고 상세한 해부학적 지도를 학습했음을 증명합니다.

또한, 모델은 스스로 "코"나 "눈"이라는 단어를 "알고" 있는 것이 아닙니다. 만약 이름표를 붙여주던 도구(FaRL)를 제거한다면, 모델의 성능은 **0.9%**로 무너집니다. 이는 모델이 구조(지도)를 제공하지만, 그 구조에 이름을 붙여줄 인간(또는 다른 도구)이 필요함을 의미합니다. 이는 도시의 모든 거리가 코드로 라벨링된 완벽한 지도를 가지고 있는 것과 같습니다. "코드 A"가 "메인 스트리트"임을 알기 위해서는 범례가 필요한 것과 같습니다.

결론

이 논문은 일반적인 이미지로 훈련된 고정된 비전 모델들이 인간의 얼굴에 대한 강력하고 보편적인 좌표계를 우연히 학습했다는 것을 보여줍니다. 이들은 얼굴에 대해 구체적으로 배운 적이 없음에도 불구하고, 서로 다른 사람들 사이에서 눈, 코, 입을 매칭하고 비디오에서 이를 추적할 수 있습니다. 그 비밀은 세부 사항을 날카롭고 뚜렷하게 유지하는 모델의 중간 레이어에 있습니다. 이 발견은 우리가 매번 새로운 작업을 위해 특수한 AI를 훈련시킬 필요가 없을지도 모른다는 점을 시사합니다. 때로는 일반적인 "슈퍼 브레인" 안에 이미 답이 숨겨져 있으며, 단지 그것을 찾아내기를 기다리고 있을 뿐입니다.