Hyperbolic Latent Geometry for Tree-Structured Prototype Networks: A Local-vs-Global Trade-off

技術要約：木構造プロトタイプネットワークのための双曲潜在幾何学

問題提起

本論文は、階層的分類タスクにおける潜在多様体の幾何学的な有効性を調査している。具体的には、木構造の正則化（クラスのプロトタイプが既知の階層に従うことを強制するもの）を満たすことと、高いデータ尤度（正確な分類）を維持することとの間の緊張関係に対処している。

現実世界の分類問題は、しばしば外部的な階層（例：芸術運動、生物学的分類）を有している。自然なモデリング手法は、クラス・プロトタイプのペアワイズ距離を、参照ツリーによって定義された距離に近づける正則化を追加することである。核心となる問いは、潜在多様体の選択（ユークリッド空間 $\mathbb{R}^d$ 対 ポアンカレ・ボール $\mathbb{B}^d_c$）が、クラス条件付き尤度を歪めることなく、この正則化を満たす能力に影響を与えるかどうかである。理論的研究によれば、指数関数的な体積成長を持つ双曲空間は、多項式的に成長するユークリッド空間よりも低い歪度で木を埋め込むことができる。しかし、この幾何学的な優位性が、尤度と正則化のバランスを取る際に、実世界のデータセットにおいて性能向上として現れるかどうかは、依然として経験的な未解決問題である。

手法

著者らは、この調査を WikiArt-Refined（27の芸術様式にラベル付けされた81,446枚の絵画からなるデータセット）を用いて実施している。階層は、美術史の参照（例：ルネサンス $\to$ バロック $\to$ ロココ）から手作業で構築されている。

モデル・アーキテクチャ:

• エンコーダ: 凍結された CLIP ViT-B/16 エンコーダが特徴量を抽出する。
• ヘッド: 2層のMLPが特徴量を潜在多様体 $\mathcal{M}$ へと写像する。
• 分類器: クラス条件付き尤度は、学習可能なクラス・プロトタイプ $\{p_k\} \subset \mathcal{M}$ への距離に対するソフトマックス関数であるプロトタイプ分類器。
• 幾何学: 本研究では、ユークリッド空間 $\mathbb{R}^d$ とポアンカレ・ボール $\mathbb{B}^d_c$ （曲率 $c > 0$）を比較する。唯一のアーキテクチャ上の違いは、最終的な変換（恒等写像 vs 指数写像）と距離尺度（ユークリッド vs 双曲）である。

正則化:
木構造の正則化は、学習されたプロトタイプ間の距離行列 ($D_{ij}$) と参照ツリーの距離行列 ($T_{ij}$) との偏差を罰する。正則化項は平均正規化された二乗誤差である：
$$R(\{p_k\}) = \frac{\lambda}{|P|} \sum_{(i,j) \in P} \left( \frac{D_{ij}}{\bar{D}} - \frac{T_{ij}}{\bar{T}} \right)^2$$
ここで $\lambda$ は強度を制御する。この定式化は、正則化が相対的な構造を制約することを保証し、尤度が好む絶対的なスケールを幾何学が選択できるようにしている。

実験設計:
著者らは、以下の変数を変化させた150のシード複製構成のスイープを実施した：

• 埋め込み次元 $d \in \{2, 4, 8, 16, 32, 64\}$。
• 曲率 $c \in \{0.1, 0.3, 1, 3\}$。
• 正則化強度 $\lambda \in \{0, 0.1, 0.3, 1, 3\}$。
• 3つの参照ツリー定義：手作りの系譜ツリー、年代的な時代区分、およびフラットなヌルツリー。
• 堅牢性テストのための、CLIPおよびDINOv2の特徴量セントロイドから派生した2つの追加の経験的ツリー。

主な結果

実験は、局所的な階層保存、グローバルな忠実度、および分類性能を区別する3つの主要な知見をもたらしている。

1. 局所的な階層保存（堅牢な効果）
双曲プロトタイプは、対応するユークリッド・プロトタイプと比較して、局所的なツリー構造の保存において大幅に優れた性能を示した。

• 指標: シブリング（兄弟）リコール@5 および コーズン（従兄弟）リコール@5（潜在空間における最近傍が、ツリーにおける真のシブリングまたはコーズンであるかどうかを測定）。
• 性能: $d=8$ において、双曲プロトタイプは 0.195 のシブリングリコール@5を達成したが、ユークリッドは 0.149 であった。
• 集計された差: 18組のペア・シード構成全体で、平均改善幅はシブリングリコールで +8.7 パーセントポイント (pp)、コーズンリコールで +15.2 pp であった。
• 堅牢性: この優位性は、すべての埋め込み次元、正則化強度、そして決定的なことに、3つの異なる参照ツリー定義（手作り、CLIP派生、DINOv2派生）にわたって持続した。ユークリッドでは（歪度のために）次元が増加するにつれて差が拡大するが、双曲では平坦に保たれる。

2. キャリブレーションと分類（中立／トレードオフの効果）
凍結された生の CLIP 特徴量で訓練されたベースラインと比較すると：

• ユークリッド: Top-1 正解率においてロジスティック回帰ベースラインの性能に一致する（64.3% 対 64.1%）が、局所的な検索における k-NN ベースラインを上回ることはできず、エンコーダに対して検出可能な構造的価値を付加していない。
• 双曲: Top-1 分類においては、ユークリッドの適合およびロジスティック・ベースラインと比較して下回る（60.6%）。しかし、局所的な階層保存（シブリングリコール@5 が 0.188 対 0.160）において k-NN ベースラインを改善できる唯一の訓練済みモデルである。
• 結論: 双曲的な適合は、グローバルな分類精度を局所的な構造的忠実度とトレードオフするが、ユークリッド的な適合は、生のエンコーダに対して構造的な優位性を提供しない。

3. グローバルなツリー忠実度（不安定な効果）
グローバルなツリー忠実度に関する主張は、参照ツリーの定義に非常に敏感であり、決定的な結論は出ていない。

• 歪度: 平均ツリー歪度は、手作りのツリーに対してユークリッド空間が大幅に優位であることを示している。
• 相関: 学習された距離とツリー間のスピアマン相関係数は、全スイープを通じてゼロから有意に差はない（$p=0.68$）。
• 不安定性: グローバルな忠実度の格差の方向は、参照ツリーが手作り、CLIP派生、または DINOv2 派生であるかによって反転する。著者らは、グローバルなツリー忠実度の「勝者」を主張しないと明記している。

意義と主張

本論文の主な貢献は、実世界の階層的分類問題におけるクラス構造化正則化に対する、ユークリッド幾何学と双曲幾何学の経験的な分離である。

• 局所 vs グローバルのトレードオフ: 著者らは、「クリーンな」結果を主張している。すなわち、双曲的な潜在構造は、エンコーダに対して局所的な検索価値（シブリング/コーズン・リコールの向上）を加えるが、ユークリッド構造はそうではない。この局所的な優位性は、「局所」の定義（すなわち、参照ツリーの選択）に対して堅牢である。
• グローバルな勝者は不在: 本論文は、グローバルなツリー埋め込みにおいて双曲幾何学が普遍的に優れているという主張は控えめにし、グローバルな忠実度指標は不安定であり、参照ツリーの構築に依存することを指摘している。
• メカニズム: 結果は、双曲空間の指数関数的な体積成長が、ユークリッド空間よりも（尤度への歪みを少なく抑えつつ）ツリー構造の制約を「安価に」満たすことができるという理論的直感を支持しているが、これはグローバルな分類精度ではなく、主に局所的な近傍トポロジーの保持として現れる。

限界事項:
著者らは、これらの知見が中規模のデータセットと凍結されたエンコーダ（CLIP ViT-B/16）および27個のリーフを持つタクソノミーに特有のものであると述べている。彼らは、この局所的な優位性が、ファインチューニングされたエンコーダや、より深い階層においても必ずしも生き残るとは主張していない。また、分類のギャップは、双曲幾何学が構造的な検索を改善する一方で、この設定において分類器自体の識別力を必ずしも向上させるわけではないことを示唆している。