技術要約：構造化されたスパース性：ブロックスパース・フィーチャライザー

1. 問題提起

現在の解釈可能性の手法、特にスパース自己符号化器（SAE）は、ニューラルネットワークの活性化を、孤立した方向（アトム）のスパースな組み合わせへと分解する。このアプローチは、概念が活性化空間内の単一のベクトルとして表現されることを前提としている。しかし、近年の研究は、ニューラルな概念がしばしば内部的な幾何学構造、すなわち低次元多様体、凸領域、あるいは高密度な特徴量として現れることを示唆している。

これにより、ニューラルな表現の現象論（構造的かつ多次元的）と、それを分析するための装置（孤立した方向）との間にミスマッチが生じる。本論文は、概念を単一の方向として扱うことは、一つの概念が多くのアトムに断片化される「粉砕された」視点を強いることになり、概念の本質的な幾何学や連続的な変化を捉えることに失敗すると主張している。

2. 手法

2.1 理論的基礎：構造化されたスパース性

著者らは、このギャップを埋めるために**ブロックスパース・フィーチャライザー（BSF）**を提案する。構造化されたスパース性（具体的にはグループ・スパース性）の文献に基づき、ニューラルな活性化は低次元多様体のスパースな和として生成されるという仮説を立てている。

• データ生成過程 (DGP): 活性化 $x$ は、$x = \sum_{i \in S} m_i + \epsilon$ とモデル化される。ここで $m_i$ は低次元多様体 $M_i$ 上に存在し、$S$ は活性化している因子の小さな集合である。
• ベイズ的導出: 座標のブロックに対してスパイク・アンド・スラブ事前分布（「スラブ」は $\mathbb{R}^b$ 内の球内の一様分布）を配置することで、最大事後確率（MAP）推定は自然にブロックスパース・ペナルティ（$\ell_{2,0}$ ノルム）へと導かれる。このペナルティは、活性化しているグループ内の方向に対しては密な変化を許容しつつ、グループ全体に対してはスパース性を強制する。
• 幾何学的解釈: 単一の方向を選択するSAEとは異なり、BSFは部分空間を選択する。「アトム」とはその部分空間自体であり、ブロック内のコードはその多様体上の位置を表す。

2.2 3つのブロックスパース・フィーチャライザーのバリアント

本論文では、この原理を実装するために3つの異なるアーキテクチャを実装している：

1. Vanilla BSF: 線形エンコーダーとデコーダーを使用する。スパース性は、最大の $\ell_2$ ノルムを持つ $k$ 個のブロックのみを保持するハード投影演算子 ($\Pi_k$) によって強制される。
2. Grassmannian BSF: ブロック内の方向が直交することを強制する（デコーダーのブロックはスティフェル多様体上に位置する）。エンコーダーはデコーダーの転置に紐付けられており ($z = \gamma x D^\top$)、スパース性は $\Pi_k$ を通じて強制される。これは、ブロックを明示的に部分空間としてモデル化するものである。
3. Group Lasso BSF: ソフト閾値関数 ($sh_\theta$) を用いた線形エンコーダーを使用し、ブロックのノルムをゼロに向かって収縮させる。スパース性は、滑らかな目的関数を得るために、損失関数における $\ell_{2,1}$ ペナルティを通じて誘導される。

2.3 評価フレームワーク

• 合成検証: 真の多様体（円、球、トーラス）が埋め込まれ、加算されている制御されたトイモデル。回復の精度は、単一のブロックが特定の多様体の寄与をどの程度よく再構成できるか（$R^2$）によって測定される。
• 実世界分析: DINOv3（ビジョン基盤モデル）、InceptionV1、SDXL（拡散モデル）に適用。
• 指標:
  • 最小記述長 (MDL): BSFsをSAEsと比較するために使用。コストには、サポート（どのブロックが発火するか）、コード（ブロック内の座標）、残差、および辞書のビット数が含まれる。
  • 安定ランク (Stable Rank): 回復された特徴の固有次元を定量化するために使用。
  • ダウンストリームタスク: 分類、セグメンテーション、深度推定に対する線形プロービング。
  • 多様体ステアリング (Manifold Steering): 画像生成を制御するために、活性化空間における介入を行う。

3. 主な貢献

1. 理論的整合性: 本論文は、概念が多様体であるという仮説を構造化されたスパース性の文献と正式に結びつけ、ブロック・スパース性が、加法的な多様体の混合に対して一致する事前分布であることを導出した。
2. アルゴリズムの実装: 「一つの概念につき一つの方向」という仮定を超えた、3つのBSFバリアント（Vanilla, Grassmannian, Group Lasso）の導入。
3. 定量的証拠:
   • MDL分析: BSFはSAEよりもコンパクトに活性化を記述できる。最適なブロック次元は中程度（2〜4次元）であることが判明しており、これは概念が本質的に多次元であることを示唆している。
   • 合成的回復: BSFは、加法的な多様体の重ね合わせを高精度（$R^2 \approx 0.93-0.97$）で回復するが、標準的なSAEはこれらの構造を粉砕してしまう（$R^2 \approx 0.53$）。
4. 概念多様体の発見:
   • InceptionV1: 「曲線検出器」ニューロンやSAEの特徴は、実際には単一の連続的な曲線多様体の断片であることを示した。BSFはこれを一つの連結した領域として回復し、以前は隠されていた高次フーリエモード（例：180度不変性）を明らかにした。
   • DINOv3: 照明や影といった物理的なシーン属性に対応する多様体を発見した。これらは、異なるオブジェクトのアイデンティティを横断して一貫して照度を追跡する。
   • SDXL: 特定のオブジェクト（例：プレッツェル）の多様体を特定した。そこでは、ブロックの部分空間内でステアリングを行うことで、孤立した方向へのステアリングとは異なり、意味的に一貫した変化を生み出すことができる。

4. 結果

• 再構成効率: 固定された歪みフロア（タスク性能の許容限界によって決定される）において、BSFはSAEよりも低い記述長を達成する。最も効率的な記述は、利用可能な容量が大きい場合でも、ブロック次元が2から4の間にあるときに得られる。
• 特徴の次元数: 安定ランク分析により、DINOv3で回復された概念は通常2〜4次元であることが明らかになり、ブロックが単なる過剰パラメータ化された方向ではなく、内部的な幾何学を利用していることが確認された。
• 空間的コヒーレンス: BSFの概念マップは、SAEのマップよりも有意に滑らかであり（Total VariationおよびDirichlet Energyが低い）、これは連続的なシーン属性をより良く追跡していることを示している。
• 多様体ステアリング: SDXLにおいて、学習された多様体の幾何学に従ってステアリングを行う（部分空間を横断するためにKohonenマップを使用する）と、画像品質を低下させることなく、概念の内部次元に沿って滑らかに変化する（例：プレッツェルの形状を変える）画像を生成できる。これは、孤立したSAEの方向によるステアリングでは困難な手法である。

5. 意義と主張

本論文は、ブロック・スパース性が、ニューラルな表現が低次元多様体として構造化されている場合に、その分解のための正しい帰納バイアスであると主張している。

• 神経科学との接続: 本研究は、特徴が単一の調整されたユニットではなく、調整されたニューロンの協調したグループによって運ばれるという、視覚神経科学モデル（エネルギーモデル、複雑細胞など）のモデルと一致している。BSFは、不変性のために位相/幾何学をプールしてしまうのではなく、内部座標を保持することで、「複雑細胞」の挙動を回復する。
• 解釈可能性のパラダイム: 著者らは、フィーチャライザーとはデータ生成過程に関する仮説であると考えている。フィーチャライザーの構造（ブロック）をデータの幾何学（多様体）に一致させることで、より豊かで一貫した概念を回復できる。
• 限界と範囲: 著者らは、ブロック・スパース性がすべてのモダリティ（例えば、言語やビデオは異なる時間的または階層的なブロックを必要とする可能性がある）に対して普遍的なアトムではない可能性についても謙虚に言及している。本研究の貢献は、表現が低次元多様体の加法的な混合であるという性質を持つ場合に特化しており、テストされた視覚モデルにおいてその性質が観察されている。

要約すると、本論文は、方向ベースのフィーチャライザーから領域ベース（ブロックベース）のフィーチャライザーへの移行に関する理論的および経験的な根拠を提供し、この転換が概念の内部幾何学を回復し、記述効率を向上させ、生成モデルのより精密な制御を可能にすることを実証している。