技術要約：概念学習とニューロン解釈を理解するための幾何学的視点

問題提起

ニューラルネットワーク、特に大規模言語モデルは「ポリセマンティシティ（多義性）」を示します。これは、個々のニューロンが複数の無関係な概念を符号化し、単一の概念が多くのニューロンに分散して表現される現象です。この「重ね合わせ（superposition）」として知られる現象は、メカニスティックな解釈可能性を阻害します。スパースオートエンコーダ（SAE）は、過完備でスパースな特徴集合を学習することで、これらの表現を解きほぐすためのツールとして台頭してきました。しかし、この分野には、「概念」とは何か、そしてモデルが概念を「学習する」とは何を意味するのかを厳密に定義するための統一的な数学的枠組みが欠けています。既存の定義は、活性化空間におけるベクトルの方向に依存することが多いですが、これらは人間が解釈可能なデータセットと直接対応するものではありません。さらに、特徴の分裂（feature splitting）、特徴の吸収（feature absorption）、および特徴ファミリー（feature families）といった経験的な観察結果には、原理的な幾何学的説明が欠けています。核心的な曖昧さは、人間が定義した概念とモデルが誘導した特徴との間の未定義の関係、および、あるニューロンまたはニューロンの集合が概念を正常に表現しているかどうかの形式的な基準の欠如にあります。

手法

著者らは、概念学習とニューロンの解釈を、人間が定義した概念とモデルが誘導した概念の間の**集合整合問題（set-alignment problem）**として再構成する、統一的な数学的枠組みを提案しています。

1. 形式的定義

• 集合としての概念: 人間が理解可能な概念 $C$ は、モデルの活性化空間 $X$ 内の測定可能なデータ点の集合として定義されます。
• モデルの単位（Model Units）: 単一のニューロンを孤立して分析する代わりに、本フレームワークでは「単位」$\theta_M$ を、一連のニューロン $M$ の活性化領域の共通部分として定義します。この集約により、単一のニューロンでは表現するには複雑すぎる概念に対して、より堅牢な表現が可能になります。
• SAEアーキテクチャ: 本フレームワークは、ニューロンの活性化領域が半空間である絶対ゲーティング（例：ReLU SAE）と、競争的な選択によって決定される半空間の部分集合である相対ゲーティング（例：Top-K SAE）を区別します。

2. 概念学習の3つのモード

論文では、幾何学的条件と評価空間によって区別される、強度の異なる3つの概念学習の定義を定式化しています。

• 概念検出（Concept Detection）: 最も弱い形態。単位が概念をカバーするとは、概念の単位の外側にある測度がゼロであること（$\mu(C \setminus \theta) = 0$）を指します。これは多対多のマッピングを許容します。
• 概念分離（Concept Separation）: 単位が概念を分離するとは、単位が観測されたデータ支持集合上で概念を排他的にカバーすることです。形式的には、概念の凸包が残りのデータの凸包と一致しないこと（$Conv(C) \cap Conv(N) = \emptyset$）を意味します。これは観測されたデータ支持集合上で評価されます。
• 概念近似（Concept Approximation）: 最も強い形態。単位が概念を近似するとは、未観測の領域においても偽陽性と偽陰性を抑え、周囲の空間内で概念をタイトに境界付けることです。完全な近似には、概念が（零集合を除いて）凸集合であることを要求します。

3. 形式概念分析によるニューロンの解釈

人間による概念とニューロンの関係は、**形式概念分析（Formal Concept Analysis）を用いてモデル化されます。著者らは、概念とニューロンの間の関係 $R$ を定義し、それがガロア接続を誘導することを示します。この構造は、多対多の対応関係を整理し、階層的関係（例：「トラ」$\subset$ 「動物」）や、特徴の結合・分裂を捉える概念格子（concept lattice）**を構築します。

4. 理論的結果

• 分離条件: 論文では、分離のための必要十分条件を導出しています。単一のニューロンが概念を分離できるのは、概念の凸包と残りのデータの凸包が互いに素である場合に限られます。複数のニューロン（単位）を用いる場合、この条件は緩和され、概念の凸包が残りのデータと互いに素であることが求められます。
• 近似条件: 完全な概念近似は、概念が（零集合を除いて）凸集合である場合にのみ可能です。近似誤差は、使用されるニューロンの数に応じて、$O(|M|^{-2/(r-1)})$ の速度でスケールします（ここで $r$ は有効次元数）。
• 容量制約: スパース性予算 $k_c$ を持つ単一概念性（一つの単位につき一つの概念）を実現するためには、ニューロン数 $d$ が組合せ論的な下限 $d \gtrsim (k_c! |C|)^{1/k_c}$ を満たす必要があります。

主な貢献

1. 統一フレームワーク: 概念学習とニューロンの解釈を、どちらも集合整合問題として扱う、幾何学的かつ集合論的なフレームワークを提供しました。
2. 学習モードの形式的区別: 検出、分離、近似を厳密に区別し、それらの幾何学的条件（凸性、凸包の互いに素性など）と誤差境界を導出しました。
3. SAE現象の解明: フレームワークを用いて、以下の経験的現象に対して集合論的な説明を行いました。
   • 特徴の分裂（Feature Splitting）: より大きなSAEにおいて、広範な概念が複数の互いに素な単位によって表現される現象。
   • 特徴の吸収（Feature Absorption）: 階層的学習の失敗として、スパース性のコストにより親特徴が子データの活性化を防いでしまう現象として説明。
   • 特徴ファミリー（Feature Families）: 非自明な共活性化を持つ単位としてモデル化。
4. 格子に基づく解釈: 概念格子を通じて学習と解釈を結びつけ、順写像（概念 $\to$ ニューロン）と逆写像（ニューロン $\to$ 概念）が必ずしも一致せず、その構造が階層的であることを示しました。

実験結果

著者らは、ReLUおよびTop-K SAEを用いた合成2Dデータを用いて理論を検証しました。

• 分離 vs 近似: 実験により、単一のニューロンは複雑または重複する概念を分離できないことが多い一方で、マルチニューロン単位は性能を大幅に向上させることが確認されました。近似タスクは分離タスクよりも困難であり、未観測のデータに対して概念をタイトに境界付けるためにより多くのニューロンを必要とします。
• 容量とスケーリング: SAEの拡張係数（幅）を増やすことで、概念を分離および近似する能力は向上しますが、十分な候補特徴が存在する段階では収穫逓減が見られます。
• 不一致比（Disagreement Ratio）: 概念に対する最適な単位と、単位に対する最適な概念の間の「不一致」を測定しました。結果として、概念が互いに素でF1スコアが高い場合は不一致が低くなりますが、概念が重複する場合や近似タスクにおいては不一致が著しく増加することが示されました。
• 非単調性: 選択されるニューロンの数を増やしても、性能が単調に向上するわけではないことが実験で明らかになりました。ニューロンを増やしすぎると、活性化領域が過度に縮小し、ターゲットとなる概念の一部を削り取ってしまうことがあります。

意義と主張

本論文は、SAEの文脈において「概念」と「学習」の最初の原理的な幾何学的定義を提供すると主張しています。概念をベクトル方向から集合の整合へと焦点を移すことで、著者らは以下のように述べています。

• 単一概念性は幾何学的特性である: それはモデルのスパース性だけでなく、活性化空間における概念集合の凸性と互いに素な性質に依存します。
• 解釈は双方向的だが非対称である: 一連のニューロンは概念を良好に表現できる（順方向）可能性がありますが、その集合が概念を一意に特定できる（逆方向）とは限りません。そのため、この双方向の整合性を考慮した指標が必要です。
• アーキテクチャが重要である: 絶対的ゲーティング（ReLU）と相対的ゲーティング（Top-K）の選択は、特に重複する概念が存在する場合の、特徴の安定性に異なる幾何学的影響を与えます。

結論として、著者らは、なぜより大きなSAEが解釈可能性を向上させるのか（より多くの候補集合を提供するため）、そしてなぜ特徴の分裂や吸収が起こるのかを、本フレームワークが説明できると述べています。彼らは、これらの理論的結果は構成的なものであるものの、SAEをこれら最適な構成を見つけるように訓練することが保証されているわけではないが、探索空間を広げることは成功の確率を高める、という点を強調しています。本研究は、ヒューリスティックな観察を超えて、厳密な幾何学的条件へと移行する、メカニスティックな解釈可能性への基礎的な一歩となるものです。