When Is a Steerable Concept Representation Real? Measurement Confounds in a Cross-Family Audit of Neuroscience Parallels in LLMs

技術要約：ステアラブルな概念表現はいつ「真実」となるのか？

問題提起
「AI神経科学」の分野では、大規模言語モデル（LLM）が概念細胞、メンタル・ナンバーライン、認知マップといった、人間のような神経学的・認知的特徴を示すという報告が増えています。これらの主張は通常、単一のモデルに対して線形プロービングや活性化ステアリング（activation steering）を適用したものです。しかし、著者らは、これらの手法が、ユニットの選択、介入強度の定義、レイヤー選択、および帰無対照（null controls）の包含といった「測定の選択」に対して極めて敏感であることを指摘しています。その結果、報告される類似性は、モデルの真の特性ではなく、特定の測定アーティファクト（偽像）を反映している可能性があります。さらに、ほとんどの研究は限定的なモデルサイズのみを調査しており、モデル固有の発見なのか、より広範な規則性なのか、あるいは測定ノイズによる真の現象なのかを区別することが困難です。本論文は、「創発的」なステアラビリティ（制御可能性）やその他の神経科学に触発された現象の主張が、厳格なクロスファミリーおよびクロススケールの監査に耐えうるものかどうかを調査します。

手法
著者らは、0.6Bから72Bパラメータにわたる5つのモデルファミリー（Qwen, Llama, Phi, Mistral, Gemma）の17個のオープンウェイト・チェックポイントを用いて、系統的な監査を実施しました。本研究は、概念ステアリング、数値大きさのチューニング、言語の局在化、および地理的世界マップのデコーディングという、4つの神経科学に触発されたパラダイムに焦点を当てています。

主要な手法上の革新には、測定の混同（confounds）を排除するために設計された監査プロトコルが含まれます：

1. ホールドアウト選択（Held-out Selection）： ニューロン、方向、およびハイパーパラメータは、オーバーフィッティングを防ぐために、一方のデータ分割で選択され、互いに素なホールドアウト集合で評価されます。
2. 残差ノルム正規化（Residual-Norm Normalization）： 生の活性化ユニット（モデルサイズに応じて非単調に変化する）を使用する代わりに、介入強度は残差ストリームのノルムの分数（$\alpha = c \cdot \|h\|_\ell$）として定義されます。これにより、異なるスケール間で比較可能な介入用量を確保します。
3. 特異性と帰無対照（Specificity and Null Controls）： 因果関係の主張には、ターゲットとなる方向がコントロールよりもターゲットの確率を高めること、コントロールとなる方向がこの効果を逆転させること、そしてランダムな方向はこれを行わないことが求められます。結果は、シャッフルされた、あるいは擬似概念的な帰無対照に対するブートストラップ信頼区間とともに報告されます。
4. ホールドアウト操作点選択（Held-out Operating Point Selection）： 介入レイヤーと強度を手動で固定するのではなく、最適な操作点はホールドアウト性能に基づいて選択され、恣意的な選択によるバイアスを回避します。

主な結果

• 概念ステアリング（「創発」のアーティファクト）：
  標準的で較正されていないパイプライン（生のユニット、固定レイヤー、固定強度）の下では、概念のステアラビリティはモデルサイズとともに単調に増加するように見え、創発的な能力を模倣します。しかし、著者らはこれが測定のアーティファクトであることを示しています。この見かけ上の傾向は、生のユニットの使用（これによりモデル間で予測不可能な介入分率が生じる）と、固定された操作点の両方に起因しています。介入が残差ノルムによって正規化され、操作点がホールドアウトデータ上で選択された場合、ステアラビリティはすべてのスケール（0.6Bから72B）において有意であり続けますが、Qwen3シリーズにおいて有意なスケーリング傾向は見られません。「創発」は、真のステアラビリティの増加ではなく、較正されていない測定の結果なのです。

• 数値大きさのコーディング：
  すべてのモデルが強い大きさのチューニング（ニューロンの活性化と数値の大きさの間の高い相関）を示します。しかし、このチューニングの形状は選択に依存します。線形相関（一般的な生物学的プロキシ）によってニューロンをランク付けすると、単調なユニットのみが得られ、ベル型のニューロンが隠されてしまいます。形状に依存しない選択基準（二次関数適合）を使用すると、ベル型の数値ニューロンはすべてのモデルに存在することが判明しましたが、その普及率はファミリーによって異なります（Llama/Phi/Mistralでは一般的だが、Qwenでは稀）。クロスフォーマットのテスト（数字 vs 綴り字）は、大きさはエンコードされているものの、そのコードは混合（単調およびベル型）であり、完全にフォーマット不変ではないことを示しています。

• 言語の局在化：
  言語選択的なニューロンを特定することは可能ですが、その結果は属性付け（attribution）に依存します。gradient$\times$activation 属性を使用した場合、中国語選択的なアブレーションは、17モデルすべてにおいて英語よりも一貫して中国語の性能を損ないます。しかし、英語の選択性は17モデル中12モデルにおいて統計的にゼロと区別できません。活性化量のランキングを使用した場合、この非対称性は逆転します。唯一の堅牢な主張は、何らかの言語固有の構造が局在化可能であるということですが、特定の言語や非対称性の方向は、使用した属性付け手法に依存します。

• 線形世界地図：
  線形な地理的世界地図（都市トークンから緯度・経度をデコードするタスク）は、17モデルすべておよびすべてのスケール（最大72B）において、一貫してデコード可能です。これは、すべてのコントロールを生き残った唯一のパラレルです。著者らは、この堅牢性の理由を、世界地図のデコーディングが介入、単一ニューロンの選択、および操作点のチューニングを伴わない純粋な相関タスクであり、それゆえに本研究で特定された3つの主要なクラスのアーティファクトを回避しているためであると考えています。

意義と主張
本論文は、AI神経科学における主要な制約は、現象の欠如ではなく、比較可能な測定法と適切なコントロールの欠如であると論じています。著者らは、LLMと生物学的システムとの間の類似性が偽であると主張しているのではなく、むしろ、多くの具体的な主張（例：「ステアラビリティはスケールとともに創発する」や「ニューロンは厳密に単調である」）は脆弱であり、しばしば未較正のパイプラインによるアーティファクトであることを主張しています。

本研究は以下の結論を導いています：

1. 厳密さが決定的な要因である： 選択や介入（ステアリング、病変）が関与する場合、コントロールは極めて重要ですが、純粋な相関デコーディング（世界地図）においては重要性は低くなります。
2. 測定の選択が結論を左右する： たった一つの恣意的なつまみ（例：固定レイヤー、選択ルール、または生のユニット）が、スケーリング則、コーディング形状、あるいは機能的なマップを捏造し得ます。
3. 再現性： 著者らは、将来の主張が単なる主張ではなく、これらのコントロールに対してスコアリングされることを可能にするために、プロトコル、刺激、およびコードを公開します。

本論文は、Qwen3シリーズにおいて有意な傾向が検出されなかったものの、テストの検出力が中程度の傾きを検出するには不十分である可能性もあり、傾向の不在はスケール不変性の証拠ではないことを認め、控えめな立場を維持しています。これらの知見は、因果関係の主張を解釈するための警戒すべきフレームワークとして機能します。