Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models

コンピュータが猫の写真を見た瞬間に、どこが耳で、どこが尻尾で、どこが鼻なのかを即座に理解できる世界を想像してみてください。たとえその猫が眠っていたり、走っていたり、帽子を被っていたとしてもです。長い間、科学者たちは、コンピュータに教科書を暗記させる学生のように、特定のことを教え込む必要があると考えてきました。しかし最近、コンピュータの中に新しい種類の「超脳」が出現しました。これらは**基盤モデル（foundation models）**と呼ばれます。これらは、特定の主題についてテストを受けることもなく、図書館にあるほぼすべての本を読み終えた学生のようなものです。彼らは、何百万もの画像を見ることで、テクスチャや形、パターンがどのように組み合わさっているかという、世界の一般的なルールを学びます。

科学者が投げかけている大きな疑問は、顔について具体的に教えられていないこれらの「超脳」が、果たして人間の顔の地図を理解しているのか？ということです。もし見知らぬ人の写真を見せたとき、彼らは鼻を指さして、「これは鼻だ。他の写真にある鼻と同じだ」と言えるのでしょうか？たとえ人々の見た目が全く異なっていても。これが重要なのは、もしコンピュータが教えられることなくこれを実行できるのであれば、それはコンピュータが、形や構造に関する「普遍的な言語」を学習したことを意味するからです。これは、コンピュータが顔に関する独自の「座標系」、つまり、誰が何をしていようとも機能する、顔のメンタルマップ（精神的な地図）を構築したことを示唆しています。

研究の発見：教師のいない顔の地図

この論文は、特定の超脳であるDINOv3が、目や鼻、口を認識するように訓練されていないにもかかわらず、密かに人間の顔のマッピングを学習しているかどうかを調査しています。研究者たちは、この凍結された（変化しない）モデルが、顔の特徴のユニバーサルな翻訳機として機能できるかどうかを確認したいと考えました。

これをテストするために、彼らはモデルを探偵のように扱いました。モデルに「鼻」とは何かを教えませんでした。代わりに、FaRLと呼ばれる別のツールを使用して、モデルに名前タグを与えるだけを行いました。FaRLは顔を見て、「このピクセルの塊は鼻であり、これは目である」と伝えました。そして研究者たちはDINOv3にこう尋ねました。「もし私が、人物Aの鼻のピクセルの一部を見せたら、人物Bに会ったことがなくても、人物Bの顔にある一致する鼻のパッチを見つけ出すことができますか？」

結果は驚くほど強力でした。顔の訓練を受けていないこのモデルは、異なる人物間での顔の領域のマッチングに**83.0%の成功率を収めました。これを、単に肌や髪の量に基づいてランダムに推測した場合と比較すると、正解率はわずか23.0%**でした。モデルはただ推測していたのではなく、隠れた構造を学習していたのです。

「中間層」の謎

この論文における最も興味深い発見の一つは、モデルの脳の「どこ」でこの魔法が起きているかについてです。DINOv3は、24階層（レイヤー）を持つ多層ビルのようなものです。研究者たちは、顔を理解するための「最高の」フロアは、モデルが最終的な判断を下す最上階ではないことを発見しました。

モデルの層を、顔を描いているアーティストのチームに例えてみましょう。

• 最上階（第24層）： これは、アーティストが全体像を見るために一歩下がった状態です。彼らはそれが顔であることを知っていますが、すべての詳細を混ぜ合わせてしまっています。もし彼に鼻を指さすよう頼んだら、鼻、口、皮膚がすべて「顔の一部」として見えるため、混乱してしまうかもしれません。この論文では、このフロアが鼻を鼻に一致させた割合は、他の部位に一致させた割合よりも1.48倍高いだけでした。
• 中間層（第18層）： ここでは、アーティストはまだ細部を描いています。ここでは、モデルは特徴を明確に区別しています。モデルは、鼻が口からどこで離れているかを正確に把握しています。この層において、モデルは同じ部位（例えば鼻と鼻）を一致させる能力が、異なる部位（例えば鼻と口）を一致させる能力よりも4.93倍優れていました。左右の目が非常に似ていること（対称性）を無視すれば、この数値は7.19倍に跳ね上がります！

このことは、モデルの「中間脳」が非常に精密で詳細な顔のパーツの地図を持っている一方で、「上部脳」は全体像を見ることに忙しすぎて、細かいディテールには関心がないことを示しています。

動く顔の追跡

研究者たちは、この地図がビデオでも機能するかどうかもテストしました。ある人が話している動画を使い、動きを教えることなく、特定の部位（例えば口）を最初のフレームから最後のフレームまで追跡するようモデルに求めました。

結果はどうだったでしょうか？モデルは、**95.5%**の精度で顔のパーツを追跡しました。それは、ダンサーが回転したり表情を変えたりしても、その手の動きを最初から最後まで完璧に追い続けることができるのを見ているかのようでした。モデルには特別な「ビデオ教師」は必要ありませんでした。単に静止画から学んだのと同じ顔の地図を使用していたのです。

このモデルが「できない」こと

このモデルが「できない」ことを知っておくことも重要です。論文では、別の有名なモデルであるCLIPが同じことができるかどうかをテストしました。CLIPは、顔の一般的な概念（例えば「これは人の顔である」など）を理解することには長けていますが、細かいディテールについては失敗しました。目や眉などの特定のパーツを異なる人物間で一致させるよう求められると、CLIPは苦戦しました。これは、DINOv3が単に顔を見つけるのが得意なのではなく、他のモデルにはない、具体的で詳細な解剖学的地図を学習していることを証明しています。

また、モデルは自力で「鼻」や「目」という言葉を「知って」いるわけではありません。もし名前タグを与えるツール（FaRL）を取り除いてしまったら、モデルの性能は**0.9%**に崩壊します。これは、モデルは「構造（地図）」を提供しますが、名前を与えるには人間（または別のツール）が必要であることを意味します。それは、街のすべての通りがコードでラベル付けされた完璧な地図を持っているようなもので、その「コードA」が「メインストリート」を意味することを知るためには、凡例が必要なのです。

結論

この論文は、一般的な画像で訓練された凍結された視覚モデルが、人間の顔に関する強力で普遍的な座標系を、偶然にも学習していることを示しています。これらのモデルは、顔について具体的に教えられていないにもかかわらず、異なる人々間で目、鼻、口を一致させ、ビデオ内でそれらを追跡することができます。その秘密は、詳細を鮮明かつ明確に保持しているモデルの中間層にあります。この発見は、あらゆるタスクに対して特別なAIを訓練する必要はないかもしれないことを示唆しています。時には、汎用的な「超脳」の中に、すでに答えが隠されており、それが発見されるのを待っていることがあるのです。