技術要約：AlignFace：解釈可能な概念関係を備えた、人間の知覚に整合した顔類似度指標

問題提起

生成された顔コンテンツ（例：顔編集、プライバシー保護）に関する現在のコンピュータビジョンモデルは、人間の知覚を忠実に代理する指標として機能しないことが多い。知覚評価は、信号ベースのヒューリスティック（例：PSNR、SSIM）から表現ベースの指標（例：LPIPS、DreamSim）へと進化してきたが、既存のアプローチは依然として行動モデリングに限定されており、認知的な整合性を欠いている。これらの「ブラックボックス」モデルは、暗黙的かつ偽の相関関係に依存し、普遍的な観察者を想定しており、多様な人間集団間に存在する固有の差異を考慮できていない。その結果、ステークホルダーに対して不正確な評価モデルを提供したり、生成モデルのデバッグにおいて、人間が顔を類似していると認識する場合でも、プライバシーリスクやアイデンティティの変化を過小評価するなど、誤ったガイダンスを与えたりしている。

著者らは、真の人間への整合性を達成するためには、知覚モデルが科学的な認知効果に従う必要があると主張している。具体的には、人間の顔知覚は以下の特性を持つ：

1. 二重処理： 特徴的属性（目の色のような離散的な構成要素）と構成的属性（瞳孔間距離のような空間的レイアウト）の両方への依存。
2. 非線形スケーリング： 属性の違いに対する人間の知覚は線形にはスケールせず、非線形な精神物理学的法則に従う。
3. 人口統計学的変動： 自グループ・バイアスの存在。これは、個人が自身の人口統計学的グループ（民族、性別）の顔を、他のグループよりも正確に認識するという現象である。

メソドロジー

1. FACETS データセット

モデルを人間の認知に根ざさせるため、著者らは大規模な人間によるアノテーション付きデータセットである FACETS を導入した。

• 刺激画像： CMU Multi-PIE および CelebA データセットから構築され、120のアイデンティティ（白人とアジア人の人口統計学的にバランスが取れたもの）を特徴とする。画像は、拡散ベースのインペインティング、ランドマークベースのワーピング、およびGANベースの転送を用いて編集され、20の認知に基づいた属性（14の特徴的属性、6の構成的属性）におけるバリエーションを作成している。
• データ収集： 二肢選択強制比較（2AFC）プロトコルを利用し、参加者は編集された顔をリファレンスと比較した。
  • 全体的な類似度： 78名の参加者による9.36k個のトリプレット評価。
  • 属性の類似度： 611名の参加者による20の属性に関する73.32k個のトリプレット評価。
• 分析： このデータに対する予備的な一般化加法モデル（GAM）分析により、属性の影響の非線形性と、自グループと他グループの知覚における感度の有意な差が確認された。

2. AlignFace アーキテクチャ

AlignFace は、これらの認知原理をエンコードするように設計された、ante-hoc（事前設計型）の解釈可能なモデルである。これは主に4つのモジュールで構成される：

1. 視覚言語モデル（VLM）エンコーダ：

   • 共有ビジョンエンコーダを使用して、顔のペア（$\hat{\mathbf{z}}_A, \hat{\mathbf{z}}_B$）の表現を抽出し、関係的な差異（$\hat{\mathbf{Z}}_\Delta$）を計算する。
   • テキストエンコーダは、属性プロンプト（例：「瞳孔間距離」）を処理してアンカー（$\hat{\mathbf{Z}}_{attr}$）を作成し、特定の次元に沿った比較をガイドする。

2. 属性ゲート付きクロスアテンション（AGCA）：

   • 画像の差異特徴がクエリ（$Q$）として機能し、テキストの属性特徴がキー（$K$）および値（$V$）として機能するマルチモーダル融合を行う。
   • 学習可能なゲーティング係数（$\tanh(\alpha)$）が、属性条件付き信号の注入を制御し、差分表現から属性に関連する視覚的特徴を効果的に抽出する。

3. コンセプト・ボトルネック・モデル（CBM）：

   • AGCAの出力は、解釈可能なマルチラベル・バイナリ・コンセプト（$\Delta\hat{\mathbf{c}}_{attr} \in [-1, +1]$）へと制約される。
   • これにより、モデルの推論が、潜在的で解釈不可能な特徴ではなく、これら分離された顔属性に明示的に基づくことを強制する。

4. 属性影響ニューラル一般化加法モデル（Neural GAM）：

   • 属性の差異を、ニューラルGAMを用いて全体的な類似度スコアへとマッピングする：$F(\Delta\hat{\mathbf{c}}) = \sigma(\beta + \sum f_i(\Delta\hat{c}_i))$。
   • 各 $f_i$ は小さなニューラルネットワークを介したスプライン関数として実装され、非線形な部分的影響を捉える。
   • モノトニシティ（単調性）制約（$\frac{\partial f_i}{\partial \Delta\hat{c}_i} \geq 0$）が課されており、属性の差異が増加しても顔の距離が減少することはないよう、知覚の一貫性を保証している。

3. 学習目的

モデルは、マルチタスク・トリプレット・メトリックである AlignFace2AFC として学習される。モデルは2つの比較（$\langle A, Ref \rangle$ および $\langle B, Ref \rangle$）のペアワイズ距離を予測し、予測された相対的な距離の差と、人間のバイナリラベル（どちらの顔がより類似しているかを示す）の間の二乗ヒンジ損失を最小化する。学習は段階的に行われる。まず、属性レベルの予測が学習され固定され、次に、全体の距離損失に対してニューラルGAMが学習される。

主な貢献

1. 認知的特性化： 特徴的/構成的依存性、非線形な精神物理学的スケーリング、および人口統計学的な自グループ・バイアスを含む、人間の顔類似度知覚に関する特定の認知的特性を特定した。
2. AlignFace モデル： VLM、ゲート付きクロスアテンション、コンセプト・ボトルネック、およびニューラルGAMを統合し、人間への整合性を強制する、認知に基づいた解釈可能なante-hocモデル。
3. AlignFace2AFC 指標： 接地された属性の非線形な寄与を通じて知覚を定量化する、説明可能な指標。
4. FACETS データセット： 人口統計学的メタデータを含む、全体的な類似度および20の属性における類似度判断を伴う、顔のトリプレットの新しいデータセット。

結果

• 行動的一致： AlignFaceは、ヒューリスティックな指標（SSIMなど）、学習済み指標（LPIPS/DreamSimなど）、および顔特化型モデル（ArcFaceなど）を含むベースラインを大幅に上回り、人間の2AFC判断との一致において高い性能を示した。全体的な顔知覚における一致スコアで最高値を達成した。
• 属性の一致： モデルは、髪の長さや眉の形などの属性において、FLIPバックボーンとの平均一致度0.79という高い一致度を示した。
• 解釈可能性と非線形性： 部分依存プロット（PDP）により、AlignFaceが属性の差異と全体的な類似度の間の高度に非線形な関係を捉えていることが明らかになり、人間のGAMとの高いピアソン相関係数（$\rho \approx 0.94–0.98$）を達成した。これは、属性の影響は非線形であるという仮説を裏付けている。
• 人口統計学的感度： モデルは「自グループ」効果を捉えることに成功し、白人およびアジア人の参加者が、自身の人口統計学的グループの顔を評価する場合と、他方のグループを評価する場合で、異なる感度の傾向を示すことを示した。

意義

本論文は、学習された表現と人間の認知プロセスを橋渡しすることで、AlignFaceがより透明性が高く、整合された知覚評価指標を可能にすると主張している。潜在的な相関関係のリスクを伴う従来のデータ駆動型のアプローチとは異なり、AlignFaceは認知心理学を通じて理論的に正当化されている。これは、デジタルメイクアップ、修復、プライバシー保護といった、人間中心のタスクにおいて、「人々への真の影響」を正確に推定する必要があるアプリケーションのためのフレームワークを提供する。開発者は、特定の構成的または特徴的な属性に基づいて、なぜモデルが2つの顔を類似している、あるいは異なると判断したのかを理解できるため、より説明可能な評価が可能となる。