技術概要：HyRo – オープンボキャブラリ意味セグメンテーションのための双曲空間における意味的整合性

1. 問題定義

オープンボキャブラリ意味セグメンテーション（OVSS）は、画像内のすべてのピクセルに意味カテゴリを割り当てることを目指し、訓練中に未見のクラスも含む。CLIP などのビジョン・ランゲージモデル（VLM）は豊かな意味的整合性を提供するが、これらは画像レベルの表現のために事前学習されているため、密なピクセルレベルの予測への適応は困難である。

既存のアプローチは、以下の 2 つの主要な限界に直面している：

1. 階層性と意味の不一致： 双曲幾何学を利用する最近の研究（例：HyperCLIP）は、埋め込みの双曲半径を調整してピクセルレベルの粒度に合わせることで、階層的関係を成功裡にモデル化している。しかし、それらは同じ階層レベル内の埋め込み間の意味的不整合を見落としがちである。
2. 幾何学的制約： 双曲空間では、階層性は半径距離によって符号化され、意味的類似性は角度方向によって反映される。半径のみを調整する先行手法は、誤った角度関係を修正できず、意味的に異なる概念（例：「人」と「椅子」）が同様の半径だが誤った角度で埋め込まれる状況を引き起こし、モデルがこれらを単一の物体として誤分類させる。

2. 手法：HyRo（双曲回転）

著者は、ポアンカレ球モデル内で階層的整合性と意味的洗練を明示的に解離させるファインチューニングフレームワークHyRoを提案する。核心となる洞察は、階層性と意味がそれぞれ異なる幾何学的性質に対応することである：階層性は半径、意味は角度に対応する。

2.1. 理論的基盤

この手法はポアンカレ球モデル（$D^m_c$）において動作し、以下の特徴を持つ：

• 共形性： 原点で測定される角度はユークリッド空間から保存される。
• 直交変換： 著者は、ポアンカレ球内の点に直交行列 $R$ を適用することが理想的な回転として機能することを証明している。これは、双曲半径（階層的深さ）を変化させることなく、角度関係（意味的整合性）を調整する。
  • $x$ を埋め込みとする。原点におけるその接ベクトルは $v_x = \log_0(x)$ である。
  • 直交行列 $R$ を適用すると $v'_x = R v_x$ となる。$R$ はユークリッドノルムを保存する（$\|v'_x\| = \|v_x\|$）ため、指数写像を介して戻した後の双曲半径は変化しない：$x' = \exp_0(R v_x) = R x$。

2.2. アーキテクチャとワークフロー

HyRo パイプライン（図 3 に示す）は 4 つの段階で構成される：

1. 双曲空間へのマッピング： CLIP からのユークリッド特徴埋め込み（$z$）を指数写像を用いてポアンカレ球にマッピングする：$h = \exp_0^{\mathbb{D},c}(z)$。
2. 階層的調整（半径）： 学習可能な対角行列 $S$（効率化のためのブロック対角構造を持つ）が双曲半径をスケーリングし、埋め込みを適切なピクセルレベルの粒度に整合させる：$q = S \otimes_c h$。
3. 意味的洗練（回転）： 直交行列 $R$ を適用して角度関係を洗練する：$v = R q$。
   • パラメータ化： $R$ を厳密に直交行列にするため、著者は学習可能な斜対称行列 $\Theta$ に対してキャリー変換を用いる：$R = (I + A)(I - A)^{-1}$（ここで $A = \Theta - \Theta^\top$）。
   • 効率性： 高次元の CLIP 埋め込み（例：768 次元）や異なるモダリティ次元を処理するために、$R$ は独立したブロック対角行列に分解され、計算コストを $O(d^3)$ から $O(d^3/n^2)$ に削減する。
4. デコーディング： 洗練された双曲埋め込みを対数写像を介してユークリッド空間にマッピングし、コスト集約デコーダー（CATSeg ベース）に入力してピクセルレベルの予測を生成する。

2.3. 学習戦略

• 凍結エンコーダー： 汎化能力を維持するため、CLIP エンコーダーは凍結されたままにする。
• ファインチューニング： ピクセルごとの交差エントロピー損失を使用して、双曲変換パラメータ（半径スケーリング行列 $S$ と回転行列 $R$）のみをファインチューニングする。

3. 主要な貢献

1. 解離された整合性： 本論文は、双曲空間内で階層的整合性（半径）と意味的洗練（角度）を明示的に分離するフレームワークを導入し、先行する OVSS 手法における重要なギャップを埋める。
2. 直交回転戦略： 階層構造を歪めることなく意味角度を調整するための、理論的に正当化された直交変換（キャリーパラメータ化経由）を用いた手法。
3. 最先端のパフォーマンス： 提案手法は標準ベンチマークで優れた結果を達成し、幾何学的アプローチの有効性を検証した。

4. 実験結果

著者は、HyRo を標準的な OVSS ベンチマーク：ADE20K（A-847, A-150）、PASCAL-Context（PC-459, PC-59）、PASCAL VOC（PAS-20, PAS-20b）で評価した。

• 定量的パフォーマンス： HyRo は 6 つのベンチマークのうち 4 つで最良のパフォーマンスを達成した。特に、先行する双曲空間の最先端手法（HyperCLIP）を以下のように改善した：
  • A-847 で +0.1 mIoU（12.0 vs 11.9）
  • PC-459 で +0.7 mIoU（18.9 vs 18.2）
  • PC-59 で +0.2 mIoU（57.3 vs 57.1）
  • PAS-20 で +0.1 mIoU（95.0 vs 94.9）
• 定性的改善： 可視化により、先行手法が失敗する意味的曖昧さを HyRo が効果的に解決することが示された。例えば、人が椅子に横たわるシーンにおいて、HyperCLIP は両方を「椅子」と誤分類することが多いが、HyRo は正しく物体を分離する。アテンションマップは、HyRo がターゲット領域に注意を集中させ、背景ノイズを抑制することを確認させる。
• アブレーション研究：
  • コンポーネントの重要性： 半径スケーリングと回転の両方を組み合わせることが最良の結果をもたらす。回転はオープンボキャブラリ汎化の主要な駆動力と特定され、半径スケーリングは微細な分離可能性を確保する。
  • 曲率（$c$）： CLIP のゼロショット汎化を維持しつつ必要な階層的調整を可能にする「穏やかな」曲率（$c=0.01$）が最適であることが判明した。
  • ブロックサイズ： ブロックサイズ $n=256$ が容量と汎化性の最適なバランスを提供した。

5. 意義と主張

本論文は、非ユークリッド空間において階層性と意味を共同でモデル化することの重要性を HyRo が浮き彫りにしたと主張する。密な予測にとって角度関係が半径距離と同様に重要であることを実証することで、この研究はビジョン・ランゲージタスクにおける幾何学的表現学習の新たな方向性を開拓する。

著者は、自らの研究を、先行する双曲アプローチに内在する「意味的不整合」問題に対する解決策として位置づけている。彼らは、単に粒度（半径）を調整するだけでは不十分であり、頑健なオープンボキャブラリ汎化を達成するには、意味的向き（角度）の明示的な最適化が必要であると論じる。この手法は、未見のカテゴリを認識する能力を犠牲にすることなく、密なピクセルレベルの理解のために基盤モデルを適応させるための重要な一歩として提示されている。

将来の研究として、この双曲幾何学的アプローチを複雑なオープンボキャブラリ動画セグメンテーション設定（例：MOSE, MeViS）へ拡張することが提案されているが、現在の範囲は静的画像に限定されている。