技術要約：カーネル距離を用いた生成モデルの一貫した分散型ランキング

問題提起

生成モデル（GAN、拡散モデル、VAEなど）の評価とランキングは、最も優れた性能を持つアーキテクチャを特定するために極めて重要である。標準的な中央集権的設定では、Fréchet Distance (FD) や Kernel Distance (KD) といった指標を用いて、生成されたデータと単一のリファレンス分布を比較することでこれが行われる。しかし、現代のアプリケーションは、リファレンスデータが複数のクライアントに分散し、かつデータの不均一性（ヘテロジェニティ）を持つ分散型設定（例：連合学習）で動作することが増えている。

このようなシナリオでは、プライバシー制約や通信コストのために、中央集権的な評価（すべてのクライアントのデータを集約して単一の「スコア・オール」指標を計算すること）を行うことが困難な場合が多い。代わりに、個々のクライアントのスコアを集約する手法（「スコア・アベレージ」）に頼らざるを得ないことがある。ここで根本的な疑問が生じる：個々のクライアントのスコアを集約することは、中央集権的な評価と同じモデルランキングをもたらすのだろうか？ 本論文は、異なる評価指標において、分散型ランキングが中央集権的な評価と一致するかどうかを調査している。

手法

著者らは、2つの主要な距離ベースの指標、すなわち Kernel Distance (KD) と Fréchet Distance (FD) について、分散型ランキングの一貫性を分析している。

1. 理論的枠組み

本研究では、$k$ 個のクライアント（分布 $P_{X_1}, \dots, P_{X_k}$、重み $\lambda_i$）に対する2つの集計スコアリングメカニズムを定義する：

• Score-All ($D_{all}$): 生成モデル $P_G$ と混合分布 $\bar{P}_X = \sum \lambda_i P_{X_i}$ との間の距離。これは理想的な中央集権的評価を表す。
• Score-Avg ($D_{avg}$): 個々のクライアントの距離の加重平均：$\sum \lambda_i D(P_{X_i}, P_G)$。

著者らは、KDとFDについて、$D_{all}$ と $D_{avg}$ の間の理論的な関係を導出している。

2. Kernel Distance (KD) 分析

KD指標は、カーネル関数 $k$ を用いた二乗最大平均偏差 (Maximum Mean Discrepancy, MMD) として定義される。

• 定理 1: 標準的な再生核ヒルベルト空間 (RKHS) の条件を満たす任意のカーネル関数について、平均KDスコアと中央集権的KDスコアの関係は以下の通りであることを著者らは証明している：
  $$KD_{avg} = KD_{all} + \sum_{i=1}^k \lambda_i KD(\bar{P}_X, P_{X_i})$$
• 示唆: 項 $\sum \lambda_i KD(\bar{P}_X, P_{X_i})$ はクライアントのデータ分布のみに依存し、生成モデル $P_G$ には依存しない。したがって、$KD_{avg}$ と $KD_{all}$ はすべてのモデルに対して一定のオフセット（差）を持つ。これにより、$KD_{avg}$ によってモデルをランキングすることは、データの不均一性に関わらず、$KD_{all}$ によるランキングと全く同じ順序付けを保証する。

3. Fréchet Distance (FD) 分析

FDは、データ分布のガウス近似間の2-Wasserstein距離として定義される。

• 定理 2: 著者らは、クライアントの平均 $\mu_i$ が不均一な場合、中央集権的な集約のための最適共分散行列（$\bar{C}$）が、平均集約のための最適共分散（$\tilde{C}$）とは異なることを示している。具体的には、$\bar{C}$ はクライアントの平均の分散を考慮した項を含むが、$\tilde{C}$ は含まない。
• 命題 1: 著者らは、2つの異なる生成モデルが、すべてのクライアントからほぼ同一の個別FDスコアを受け取り（したがって同一の $FD_{avg}$ を持ち）、ながらも、中央集権的な $FD_{all}$ スコアにおいては大きく異なるシナリオが存在することを証明した。これは、個別のFDスコアを集約するいかなる戦略を用いても、中央集権的なFD-all指標と一貫したランキングを保証することはできないことを示している。

主な貢献

1. 問題の定式化: 本論文は、不均一なデータを持つ分散型設定における生成モデルのランキングタスクを正式に特定し、プライバシーを保護するローカル評価と中央集権的なグラウンドトゥルース（真値）との間のギャップを浮き彫りにした。
2. KDの一貫性: Kernel Distance (KD) 指標が、一貫した分散型ランキングを可能にすることを理論的に証明した。具体的には、任意のカーネル関数において、クライアントのKDスコアを平均すること（$KD_{avg}$）は、中央集権的なKDスコア（$KD_{all}$）とモデルの順序付けにおいて数学的に等価である。
3. FDの不一致性: 広く使用されている Fréchet Distance (FD) 指標が、分散型設定においてランキングの一貫性を維持できないことを示した。本論文は、ローカルなFDスコアではグローバルなランキングを復元するには不十分であり、異なるモデルがローカルでは同一に見えてもグローバルでは異なり得ることを証明している。
4. 実証的検証: 著者らは、標準的な画像データセット（ImageNet, CIFIST, FFHQ, AFHQ）および様々な生成アーキテクチャ（BigGAN, StyleGAN, 拡散モデル）を用いた広範な数値実験を通じて、これらの理論的知見を検証した。

実験結果

• KDの一貫性: ImageNetおよび分散型StyleGANトレーニングを用いた実験では、異なるモデルやトレーニング構成間で、$KD_{avg}$ と $KD_{all}$ の間に固定された差が存在することが示された。両方の指標から導出されるランキングは同一であった。
• FDの不一致性:
  • 6つのシミュレーションされたクライアントを用いた制御実験において、2つの生成器（$G_1, G_2$）は、クライアントレベルのFDスコアがほぼ同一（差 < 1.0）であり、同一の $FD_{avg}$（195.04 対 195.37）を持っていた。しかし、彼らの中央集権的な $FD_{all}$ スコアは劇的に異なっていた（100.49 対 190.93）。
  • 分散が限定的なフェデレーテッド・データセット（クライアント内の分散は低いが、クライアント間の分散が高いもの）を用いた実験でも、$FD_{avg}$ と $FD_{all}$ が矛盾するランキングを生み出し、多様性と忠実度のトレードオフに基づいて異なるモデルを優先することが多いことが確認された。
• その他の指標: 本研究では、Recall スコアも一貫性を維持する（Recall-all = Recall-avg）一方で、Precision、Density、Coverage といった指標は、FDと同様のランキングの不一致を示すことが指摘されている。

重要性と主張

本論文は、Kernel Distanceが、生成モデルのプライバシーを保護した分散型評価において、一意に適した指標であると主張している。$KD_{avg}$ は生のデータにアクセスすることなく $KD_{all}$ のランキングを保持するため、以下を可能にする：

• プライベートなランキング: クライアントはスカラー値のスコアのみを共有できるため、サーバーは生データにアクセスすることなく、グローバルなリファレンス分布に基づいたモデルのランキングを行うことができる。
• 分散型最適化: $KD_{avg}$ と $KD_{all}$ の間の単調な関係により、ローカルの目的関数がグローバルの目的関数と一致する分散型微調整（例：MMD損失の最小化）が可能になる。

著者らは、KDが一貫したランキングのための解決策を提供する一方で、FDのような他の一般的な指標はその特性を共有しておらず、分散型モデル選択において課題を突きつけていると控えめに結論づけている。また、今後の研究として、ランキングプロセスをさらに安全にするための差分プライバシー技術の探索や、通信制約下でのランキングの調査を提案している。