技術要約：順序的類似性を用いたスケーラブルで解釈可能な表現アライメント

問題提起

表現空間の間の類似性を評価することは、表現学習における基礎的な課題であり、モデルの挙動の解釈、人工システムと人間の認知の整合、および転移学習や生成モデルの設計において不可欠である。しかし、既存の類似性指標は、以下の3つの決定的な限界を抱えている：

1. 解釈性の欠如： ほとんどの指標は直感的な意味や一貫したベースラインを持たない生のスコアを出力するため、意味のあるアライメントと、単なる偽りの類似性を区別することが困難である。
2. 外れ値への敏感さ： 現在の指標は堅牢性に欠けることが多く、少数の極端な外れ値によって類似度スコアが劇的に変化し、完全に整列した表現が不整合であると判定されることがある。
3. 計算の困難性： 大規模なデータセットに対する厳密な計算は、高いメモリおよび時間要件のためにしばしば不可能であり、正当性の理論的境界を欠いたヒューリスティックな近似法への依存を強いている。

手法

著者らは、正確な名目距離の値に依存する指標から、非計量的多次元尺度構成法（NMDS）に着想を得た、ロバストな関係的特性を強調する指標への転換を提案している。核心となる仮説は、距離の順序関係（ランク順序）を保存することが、アライメントに必要な本質的な構造を捉えるというものである。

本論文では、順序の一貫性に基づく2つの主要な指標を導入している：

• トリプレット類似性指数 (Triplet Similarity Index, TSI): アンカーベースの相対的類似性の一貫性を測定する。2つの表現空間において、三つ組 $(i, j, k)$ の順序関係「点 $i$ は $k$ よりも $j$ に近い」が保持されている割合を評価する。
• クアドラプレット類似性指数 (Quadruplet Similarity Index, QSI): 互いに素なペア間の相対的類似性の一貫性を測定する。四つ組 $(i, j, k, l)$ において、「距離 $(i, j)$ は距離 $(k, l)$ より小さい」という関係が保持されている割合を評価する。

理論的基礎

• 確率的解釈： TSIとQSIは、ランダムに選択された順序関係が保持される確率として定義される。これにより、直接的な意味論的解釈（例：TSIが0.8であれば、80%の三つ組が順序に一致していることを意味する）が得られる。
• 非類似性のためのベースライン： 統計的に独立した表現に対して、期待値が近似的に $0.5$ に収束すること（タイ/同順位を無視する場合）を証明しており、データセットのサイズや次元に関わらず、ランダムなアライメントに対する普遍的で解釈可能なベースラインを確立している。
• 近傍等価性： 完全なTSIアライメントと、すべてのスケール（$k=1$ から $N-2$）における相互最近傍（MNN）の保存との間の形式的な等価性が確立されている。
• 堅牢性： TSIとQSAは本質的に外れ値や破損に対して堅牢であることが理論的境界によって示されている。スコアの偏差は変換された点の割合によって抑えられるため、疎な外れ値が指標を不当に変動させることはない。
• 計量公理： 相補的な距離（$1 - \text{TSI}$ および $1 - \text{QSI}$）が、適切な計量の公理（等価性、対称性、三角不等式）を満たすことが証明されている。

計算効率

素朴な実装では $O(N^3)$ および $O(N^4)$ の時間を要するが、著者らはケンドールの順位相関係数との関連性を利用して、効率的なアルゴリズムを開発している：

• 厳密な計算： TSIは $O(N^2 \log N)$ の時間と $O(N)$ の空間で計算可能であり、QSIは $O(N^2 \log N)$ の時間と $O(N^2)$ の空間で計算可能である。
• スケーラブルな近似： 有界なU統計量として、TSIとQSIは原理的なモンテカルロ近似が可能である。少数の三つ組または四つ組をサンプリングすることで、データセットのサイズ $N$ に依存しない時間で、誤差 $\epsilon$ および信頼度 $1-\delta$ で指標を推定できる。

主な貢献

1. 順序的類似性の定式化： 相対的類似性と距離比較の一致に基づく指標としてのTSIおよびQSIの定式化。
2. 理論的解釈性： 直接的な確率的解釈の提示と、非整列な表現に対する安定した普遍的ベースライン（$\approx 0.5$）の確立。
3. 近傍一貫性への接続： 完全なTSIアライメントが、すべてのスケールにおける共同相互最近傍のアライメントと等価であることの証明。
4. 保証された堅牢性： 外れ値や破損に対して堅牢であることを保証する理論的境界の提示。これはCKAのような既存の指標が持つ脆弱性に対処するものである。
5. 計算のスケーラビリティ： 効率的な厳密アルゴリズムと、理論的な誤差境界を持つ原理的な近似スキームの提供により、大規模なデータセットへの適用を可能にした。
6. 実証的検証： 学習中の表現の収束の追跡や、CLIPモデルにおけるマルチモーダル・アライメントの評価を含む、多様なシナリオでの検証。

実験結果

著者らは、以下の実験を通じて提案された指標を検証している：

• 一貫したベースライン： 統計的に独立した表現を用いたテストにおいて、TSIとQSIはサンプルサイズや次元が変化しても0.5付近で安定したスコアを維持した。対照的に、CKA、SVCCA、PWCCAといった指標はこれらのパラメータに対して高い感受性を示し、独立したデータに対してさえ完璧に近いアライメントスコアを示すことがあった。
• 外れ値への堅牢性： データポイントの2%を、外れ値の強度を上げながら摂動させた際、TSIとQSIは理論的な下限に従い、極めて安定していた。逆に、近傍ベースの指標（MutualNN, CKNNA）やカーネルベースの指標（CKA）は、外れ値によって誘発された「ハブネス（hubness）」効果により、スコアがほぼゼロまで低下した。
• 近似の品質： TSIとQSIの原理的なサンプリング近似は、偏差を無視できるほど僅かながら、急速かつ単調な収束を示し、他の指標で使用されている標準的なバッチ近似を大幅に上回った。
• 実世界のアプリケーション：
  • 学習ダイナミクス： TSIとQSIは、CIFAR-10におけるVision Transformer (ViT) 表現の収束を正確に追跡し、同じシードで訓練されたモデル（1.0に収束）と異なるシードで訓練されたモデル（完全ではないアライメントに収束）を区別した。
  • マルチモーダル・アライメント： 様々なスケールのCLIPモデルを評価する際、TSIとQSIはアライメントの単調増加を正しく捉えた。特筆すべきは、CKAが異なる埋め込み次元を持つモデルへ移行する際に、反直観的な挙動（スコアの低下）を示したことであり、これは次元の変化に対するCKAの敏感さを浮き彫りにした。

意義

本論文は、TSIとQSIが、厳密でスケーラブル、かつ理論的根拠に基づいた表現アライメントの枠組みを提供すると主張している。距離の絶対値ではなく距離の順序を優先することで、これらの指標は以下を実現する：

• 解釈性： スコアには明確な確率的意味と安定したベースラインがあり、ケースごとのキャリブレーションなしに、実務者がアライメントの質を判断することを可能にする。
• 堅牢性： 疎な外れ値や破損に対して理論的に鈍感であることが保証されており、これは現在の最先端の指標に欠けている特性である。
• スケーラビリティ： 効率的に厳密な値を計算するか、あるいは保証された誤差範囲内で近似できる能力により、他の手法が失敗したり信頼できないヒューリスティックを必要としたりする現代の大規模なデータセットへの適用が可能となる。

著者らは、順序的類似性が表現をより良く理解し設計することを可能にし、解釈性の問題、脆弱性、または計算上の制約に悩まされる既存の指標に代わる信頼できる選択肢を提供すると結論付けている。