技術要約：コヒーレントな表現の学習：解釈可能性へのトポロジカルなアプローチ

問題提起

深層ニューラルネットワーク（DNN）は、個々の潜在特徴が解釈可能な意味を持たない表現を学習することが多い。分類学習は潜在空間におけるクラス・マニフォールド（多様体）の分離には成功するが、個々のニューロンが人間にとって理解可能な概念に対応することを保証するものではない。オートエンコーダのような教師なし設定では、この問題はさらに深刻化する。クラスラベルによる分離のガイドがないため、ネットワークは、意味的に関連するサンプルが散在し、個々の特徴がデータの多様体上の不連続で一貫性のない部分集合に対して活性化するような表現を学習してしまう可能性がある。

スパース性（L1）のような既存の正則化手法は、特徴が少数のサンプルに対して活性化することを促すが、それらのサンプルが幾何学的に関連していることを保証するには至らない。スパースな特徴であっても、データの多様体上の散在した領域に対して発火する可能性がある。対照的に、生物学的な神経回路（グリッド細胞や頭部方向細胞など）は、**局所性（locality）**を通じて解釈可能性を実現している。すなわち、ニューロンは状態空間の連続した領域に反応する。本論文は、局所性が解釈可能なニューラルコードのための設計原理であると仮定し、これを人工ニューラルネットワークに課すための定式化を試みるものである。

手法

1. 理論的枠組み：コヒーレント行列

著者らは、神経符号化から着想を得て、トポロジカル・データ・アナリシス（TDA）に基づいた幾何学的特性である**コヒーレンス（coherence）**を導入する。彼らは、非負の活性化を持つネットワークの潜在空間を、行がサンプル、列が特徴を表す非負行列 $M$ としてモデル化する。

行列は、以下の2つの条件を満たすとき、$\epsilon$-コヒーレントであると定義される：

1. $\epsilon$-局所性： 各行（サンプル）は、幾何学的にクラスター化した一連の列（特徴）に注目し、その逆も同様である。これは**フレシェ分散（Fréchet variance）**を用いて定量化される。具体的には、重心写像 $\phi$（サンプルを特徴の加重平均へ写すもの）および $\psi$（特徴をサンプルの加重平均へ写すもの）が、実際の特徴／サンプルに対して低い分散を持つ必要がある。
2. $\epsilon$-被覆（covering）： すべてのサンプルはある特徴によって適切に記述されており、すべての特徴はあるサンプルによって必要とされている。これにより、空間のどの部分も未カバーであったり、冗長であったりすることがなくなる。

トポロジカルな保証：
本論文では、行列が $\epsilon$-コヒーレントであり、かつ重心写像がリプシッツ連続である場合、サンプルと特徴の**ヴィエトリス・リップス・フィルトレーション（Vietoris-Rips filtrations）**が **$\epsilon^{1/2}$-インターリーブ（interleaved）**されることを証明している。これは、サンプル空間と特徴空間が互換性のあるトポロジカル構造を共有していることを意味する。例えば、データが円の上に存在する場合、コヒーレントな特徴はその円を連続した弧へとタイル状に分割しなければならず、これにより特徴空間がサンプル空間のトポロジーを反映することを保証する。

2. COH目的関数

学習中にコヒーレンスを強制するために、著者らはフレシェ分散に基づく微分可能な損失関数 COH を導出する。

• 正規化： 行と列を確率分布として扱うために、二乗L1正規化を使用する。
• 損失成分： 損失は、行と列の両方における分散（局所性）と被覆の量を罰する。
• 実装： この目的関数は、非負の活性化を持つあらゆるアーキテクチャ（例：Softplusを使用）に追加可能である。これは重心写像とその分散を計算し、外れ値に対する堅牢性を確保するために、ワーストな上位$k$個を集計する。

主な貢献

1. コヒーレンスの定義： 著者らは、サンプルと特徴の間のヴィエトリス・リップス・フィルトレーションのインターリーブに関連付け、非負行列に対する $\epsilon$-コヒーレンスを形式的に定義した。これにより、潜在的なサンプル空間と潜在的な特徴空間が互換性のあるトポロジーを共有するという理論的保証を提供している。
2. 微分可能な目的関数（COH）： 局所性と被覆の制約を強制する実用的な損失関数 COH を導入した。スパース性が活性化の「数」を制限するのに対し、COH は活性化の「幾何学的連結性」を制限する。
3. 実証的検証： 本手法は、以下の3つの異なる設定で検証された：
   • 合成データ： 分離した円のトポロジーの回復。
   • 回転MNIST： 回転した数字に対する解釈可能な特徴の学習。
   • 言語モデル： BERTのトークン埋め込みにコヒーレンスを適用し、人間が理解可能なカテゴリに整合した解釈可能な特徴を得る。

実験結果

合成データおよび回転MNISTオートエンコーダ

• トポロジー回復： 「二つの円」の玩具実験において、標準的なオートエンコーダおよびL1正則化モデルは、正しい円形のトポロジーを持つ特徴空間を生成できなかった。COHモデルのみが、サンプル空間と特徴空間の両方において、期待される分離した円形のトポロジーを回復した。
• 単一数字（回転MNIST）： 単一の回転した数字（6）に対して、COHはL1の63%に対し、100%のチューニング済み特徴（回転の連続した弧に活性化する特徴）を達成した。COHの特徴は、L1よりもスパース性は低いものの、回転角に関して著しく解釈性が高かった。
• 二重数字（回転MNIST）： より複雑な二つの数字の設定においても、COHは一貫してコヒーレントな潜在空間を生成した。複数の有効なコヒーレントな解（例：分離した円か、結合した円か）が存在するため、純度などの解釈性指標はシードごとに変動したが、コヒーレンス指標（局所性と被覆）は安定していた。COHをL1スパース性と組み合わせることで、信頼性の高いクラス分離を伴う、もつれのない（disentangled）解へとモデルを導くことに成功した。

BERTトークン埋め込み

• 設定： 小規模なBERTモデルに対し、非負のトークン埋め込み（Softplus経由）とCOH目的関数を用いて学習を行った。
• 解釈可能性：
  • オーバーラップ： COHモデルの特徴は、標準的な（符号付きの）BERTモデルの最近傍トークン近傍とのオーバーラップが有意に高かった（平均オーバーラップ：標準のSoftplusのみの0.22に対し、COHは0.45）。
  • 人間が読めるカテゴリ： LLM（Claude Opus）を用いて解釈性を判定したところ、COHモデルの256個の特徴のうち87.6個が解釈可能であると判断された。これに対し、Softplusのみのベースラインでは0個であった。
  • 特定されたカテゴリ： COHの特徴は、年、親族用語、地名、単位、ヘッジ（ぼかし）の副詞、方向を示す前置詞、および特定の動詞タイプ（移動、認知、過去形など）を含む、具体的な意味カテゴリと一致していた。

意義と主張

本論文は、潜在的なサンプルと潜在的な特徴を結合させ、それらが互換性のあるトポロジーを共有させるための厳密なフレームワークを提供すると主張している。その意義は、個々の特徴の解釈可能性から、特徴空間全体の解釈可能性へと焦点を移した点にある。

• 幾何学的保証： 幾何学的な連結性（コヒーレンス）を強制することで、特徴が単にスパースであるだけでなく、データの多様体に構造的に整合したものになることを示している。
• 相補性： 著者らは、コヒーレンスが他の目的関数と相補的であることを指摘している。例えば、幾何学的保証を損なうことなく、複数の有効なコヒーレントな解の中から一つを選択するためにスパース性を利用できる。
• 限界： 著者らは、重心写像のリプシッツ仮定が強制されているのではなく、経験的に検証されているに過ぎないことを謙虚に認めている。また、複雑なマルチクラス設定（例：数字が結合するか分離するか）において、どの特定のコヒーレントな解が見出されるかを制御するものではないが、得られた解がコヒーレントであることは保証している。

本研究は、トポロジカル・データ・アナリシス、神経科学、および表現学習を結びつけており、明示的な教師なしで解釈可能な潜在空間を学習するための、理論的基礎（Dowker双対性の類似およびインターリービングによる）と実用的なツールを提供している。