技術的概要：頭部類似性

問題定義

従来の顔認識システムは、アイデンティティ不変な埋め込みを学習するように設計されており、髪型、化粧、加齢などの同一アイデンティティ内の変動を意図的に抑制し、ある人物のすべてのサンプルを単一のコンパクトなクラスターに集約する。生体認証検証には効果的であるが、このアプローチは、動画生成、リエンアクトメント、編集など、外観に敏感な一貫性が求められるシナリオでは機能しない。これらの文脈では、単に法的なアイデンティティを検証するだけでなく、外観属性が変化しても、一連の映像が視覚的に同一人物を描いていることを保証することが目的となる。

現在のモデルは、以下の理由から頭部全体（whole-head）の類似性に苦慮している：

1. 同一アイデンティティの異なる外観状態を単一の表現に集約してしまい、メガネの有無や異なる髪型を持つ人物を区別できない。
2. 整列された顔の切り抜きから未整列の頭部全体画像へ移行する際（分布シフト）、性能が著しく低下する。
3. 同一アイデンティティの異なる外観（例：異なる髪型）を持つサンプルが、視覚的属性が類似している異なるアイデンティティのサンプルよりも上位にランク付けされるような階層的な類似性順序を強制できない。

本論文は、アイデンティティ中心の認識を構造化された頭部全体の外観モデリングに拡張する新しい定式化である**Head Similarity（頭部類似性）**を導入する。これは、アイデンティティの識別性と、照明、背景、わずかなポーズなどのノイズ要因に対する不変性を維持しつつ、構造化された同一アイデンティティ内での外観変動を保持することを目的としている。

手法

提案されるフレームワークは、二重 CLS ビジョン・トランスフォーマーアーキテクチャと、階層的類似性監督およびアイデンティティ認識蒸留を組み合わせることで、この問題に対処する。

1. 問題定式化

タスクは、埋め込み空間における 3 つのペア関係によって定義される：

• $R_1$：同一アイデンティティ、同一外観状態（最も密なクラスター）。
• $R_2$：同一アイデンティティ、異なる外観状態（中間的な距離）。
• $R_3$：異なるアイデンティティ（最も離れている）。

目的は、階層的順序 $s_\theta(R_1) > s_\theta(R_2) > s_\theta(R_3)$ を強制する埋め込み関数 $f_\theta$ を学習することである。ここで、$s_\theta$ はコサイン類似度である。これにより、アイデンティティの一貫性が外観の類似性よりも支配的となるが、同一アイデンティティ内では外観状態も区別可能となる。

2. アーキテクチャ：二重 CLS ビジョン・トランスフォーマー

バックボーンは、AdaFace で事前学習されたビジョン・トランスフォーマー（ViT）である。単一の分類トークンを使用する標準的な顔認識システムとは異なり、このモデルは2 つの学習可能な CLS トークンを採用する：

• $CLS_{id}$：アイデンティティ保持のために最適化される。
• $CLS_{head}$：外観に敏感な頭部類似性のために最適化される。

両方のトークンは同じバックボーンパラメータを共有するが、異なる投影ヘッド（$g_{id}$ および $g_{head}$）を介して個別の埋め込み（$z_{id}$ および $z_{head}$）に投影される。

• $z_{id}$：推論時にはアイデンティティ検証と類似性ランキングの両方に使用される。蒸留と階層的損失の両方で訓練される。
• $z_{head}$：外観に敏感な信号を提供するために訓練中のみ使用される補助的な埋め込みであり、推論時には破棄される。

3. 訓練戦略

訓練パイプラインは、3 つの主要なコンポーネントを含む：

1. 蒸留ベースのアイデンティティ整列：事前学習に使用された整列された顔の切り抜きと、頭部全体入力との間の分布ギャップを埋めるため、$z_{id}$ ブランチは整列された顔で訓練された凍結された教師ネットワーク（AdaFace-ViT）と整列される。損失は $L_{align} = 1 - \cos(z_t, z_{id})$ と定義される。
2. 階層的類似性損失：Softplus ベースの多レベルマージン損失が、$R_1 > R_2 > R_3$ の順序を強制する。これは、アイデンティティと外観の表現を共同で構造化するために、$z_{id}$ と $z_{head}$ の両方に適用される。
3. データセット構築：長編動画からベンチマークデータセット（HeadSim-Head）が構築される。外観状態に対する弱い教師信号は、時間的グルーピング（同じ短い動画セグメント内のフレームは同一の外観状態を共有すると仮定される）から導出される。このデータセットは、多様なポーズ、遮蔽、時間的変化を網羅している。

主要な貢献

1. タスク定義：構造化された頭部全体の外観をモデル化し、同一アイデンティティ内の変動を明示的に保持する、アイデンティティ不変な顔認識を超えた定式化である**Head Similarity（頭部類似性）**の導入。
2. ベンチマーク：弱い教師信号付きの外観状態を備えた長編動画から構築された大規模データセットの作成。多様なポーズ、遮蔽、時間的変化を網羅。
3. 手法：アイデンティティ認識蒸留と階層的類似性監督を組み合わせ、アイデンティティ保持と外観に敏感な類似性を共同でモデル化する、シンプルかつ効果的な二重 CLS ビジョン・トランスフォーマーベースラインの提案。
4. 実証的知見：従来の顔認識モデルが外観依存の類似性を捉えられないことを示す一方、提案手法はアイデンティティ検証能力を犠牲にすることなく、強力な頭部全体マッチングを達成することを証明。

実験結果

顔検証性能

顔認識モデルを頭部全体入力に適応させた場合、標準的なモデルは性能が著しく低下する。

• AdaFace-ViT：FAR=$10^{-3}$ における検証率（VR）は、整列された顔で0.914から頭部全体で0.078まで低下する。
• 蒸留済み AdaFace：提案された蒸留アプローチは性能を回復させ、頭部全体入力において FAR=$10^{-3}$ で0.912の VR を達成し、整列された顔のベースラインとほぼ同等の性能を示す。

頭部類似性性能

HeadSim-Headデータセットにおいて、提案手法は構造化された外観状態を区別する点でベースラインを上回る：

• Ours：FAR=$10^{-3}$ で0.862の VR と0.996の AUC を達成。
• TransReID-ViT：強力な類似性性能（0.749 VR）を達成する一方、アイデンティティ検証（VoxCeleb2 における 0.025 VR）では失敗しており、グローバルな外観の手がかりに依存しすぎていることと、アイデンティティ識別性が欠如していることを示している。
• Vanilla AdaFace：外観変動を集約してしまうため、性能が低い（0.326 VR）。

アブレーション研究

本研究は、トークンレベルのデカップリング（二重 CLS）が、ヘッドレベルの分離や共有埋め込みよりも優れていることを確認している。

• Dual-CLS（Ours）：FAR=$10^{-3}$ で 0.962 の VR。
• Dual-Head（Split）：0.762 の VR。トークンレベルのデカップリングなしでのヘッドの分離は、類似性ブランチに対するアイデンティティ監督が不十分になる。
• Shared Embedding：0.892 の VR。単一の表現では、不変性と変動保持という相反する目的のバランスを取ることが困難である。

意義と主張

本論文は、**Head Similarity（頭部類似性）**が、視点やスタイリングの変化にもかかわらずフレーム間での視覚的一貫性が求められる動画生成や編集などのアプリケーションに不可欠である、顔の類似性とホリスティックな頭部レベルの類似性の間の重要なギャップを埋めると主張している。

著者は、彼らのアプローチが以下の点に重点を置いていると強調している：

• 抑制するのではなく、明示的に同一アイデンティティ内での外観変動を捉えること。
• 階層的順序を強制し、アイデンティティの一貫性が主要な要因である一方で、異なる外観状態の区別も可能にすること。
• 実現可能性を示す：長編動画からの弱い教師信号と、確立された顔認識モデルからの蒸留を活用する比較的シンプルなフレームワークを用いて、構造化された頭部全体類似性のモデリングが可能であることを結果が示している。

本論文は限界も認めており、外観状態は弱い教師信号（潜在的にノイズを含む）であり、現在の階層は人間の知覚の代理であり、主観的判断の完璧なモデルではないと指摘している。提案されたフレームワークは、この新しいタスクに対するベースラインとして提示されている。