現代の人工知能の広大なデジタル精神の内側には、研究者たちがようやく地図を描き始めている隠れた活動の層が存在する。大規模言語モデルとして知られるこれらのシステムは、人間のように文章や段落で思考するのではない。その代わりに、彼らは「ニューロン」と呼ばれる数十億個の微小で相互に接続されたスイッチを通じて情報を処理する。コンピュータに詩を書かせたり、数学の問題を解かせたり、コードのデバッグをさせたりするとき、これらのニューロンの特定のグループが点灯してその作業を実行する。長年、科学者たちはどのニューロンがどのタスクに責任を持っているのかを理解しようと苦闘してきた。その困難さは、操作の規模があまりにも大きいことに起因する。これらのモデルは非常に複雑であるため、それらが機能する様子を観察することは、しばしば単一の街灯を見ることで都市全体を理解しようとするような感覚を与える。適切なスイッチを見つけるための従来の手法は、実用的なレベルで遅すぎるか、あるいは個別の瞬間に集中しすぎて、システムが時間の経過とともにどのように振る舞うかという大きな全体像を見逃してしまうかのどちらかであった。

ある研究チームが、これらデジタルの精神の声を聞くための新しい方法、彼らが「RACE」と呼ぶ手法を導入した。システム全体をリバースエンジニアリングしたり、あらゆる接続の影響を計算したりするのではなく、このアプローチはモデルの内部活動を統計的なパターンとして扱う。研究者たちは、Pythonコードを書いたり代数を解いたりといった特定の目的を果たすニューロンは、単にランダムに発火するのではないことに気づいた。むしろ、それらは特定の種類のタスクが行われるたびに、モデルの内部状態に対して一貫した安定した形で貢献するのである。数千の例を通じてこれらの一貫した貢献を追跡することで、チームはどのニューロンが特定の仕事に対する真のスペシャリストであるかを特定できる。これは、一度発火してすぐに忘れてしまうニューロンを見つけることではなく、モデルが何か特定のことを行うよう求められるたびに、確実に「出勤」してくるニューロンを見つけることなのである。

この発見の核心は、科学者が重要性を測定する方法の転換にある。古い技術は、コンピュータが自身の論理を逆方向に走らせることを必要とする複雑な計算に依存することが多く、そのプロセスは極めて遅く、計算コストが高かった。新しい手法であるRACEは、単一のフォワードパス（順方向の計算）で動作し、情報が最初から最後まで自然に流れる中でモデルがどのように処理するかを観察する。それは、各ニューロンがモデルの内部メモリ・ストリームに対して行う微細な更新を注視する。もしあるニューロンが、特定のタスクに対してモデルの思考を正しい方向へと一貫して押し進めているならば、そのニューロンには高いスコアが与えられる。もしその挙動が不安定であったり、あるいはごく稀な機会にしか役に立たなかったりすれば、それは無視される。これにより、研究者はあらゆる可能な結果を計算するために停止する必要なく、モデルの能力に関する信頼できるマップを構築することができる。

このマップが正確であることをテストするために、研究者たちは、40億パラメータの小規模なモデルから320億パラメータの巨大なものまで、いくつかの異なる大規模言語モデルを用いて一連の制御実験を行った。彼らは、コンピュータコードの記述、数学問題の解決、そして特定の文体構造を使用するといった特定の振る舞いの制御という、3つの明確な領域に焦点を当てた。それぞれのケースにおいて、彼らはRACE法を用いて、そのタスクに責任を持つトップのニューロンを特定した。その後、彼らは繊細な操作を行った。すなわち、モデルが動作している間に、それら特定のニューロンを一時的に「消音（サイレンス）」させたのである。

結果は驚くべきものであった。研究者がコーディング・タスクのためにRACEによって特定されたニューロンをミュートしたとき、正しいコードを書くモデルの能力は著しく低下したが、一般的な質問に答えたり数学の問題を解いたりする能力はほぼ損なわなかった。数学についても同様であり、数学用のニューロンを消音すると、モデルの一般的な言語能力には影響を与えずに、その推論能力を麻痺させた。これは、この手法が特定のスキルを担う特定のコンポーネントを正常に分離できたことを裏付けている。対照的に、より精度が低く古い手法を用いて消音すべきニューロンを選択した場合、ダメージは広範囲に及び、単一のスキルを標的にするのではなく、モデルのパフォーマンス全般を損なう結果となった。

最も重要な発見の一つは、これらのモデル内部にある2つの主要なタイプのニューロンの違いであった。研究者たちは、数学的推論やコーディングに責任を持つニューロンは高度に専門化されており、タスク間で共有されることがほとんどではないことを発見した。しかし、アテンション（注意）に関与するニューロンは、はるかに一般的であった。これらのアテンション・ニューロンは、詩を書くことから方程式を解くことまで、モデルがほぼすべてのことに対して役立つ再利用可能なツールであるように見えた。この区別は、なぜモデルの一部が他の部分よりも刈り込み（プルーニング）や修正が容易なのかを説明している。専門化された部分はワークショップにおける専用の道具のようなものであり、アテンション部分はそれらを保持する「手」のようなものである。

研究者たちはまた、彼らの手法が極めて効率的であることも発見した。従来の技術では、ニューロンにスコアを付けるために、モデルを144回実行することに相当する計算をコンピュータに行わせる必要があったが、新しい手法は1回のフルラン未満の計算で済んだ。このスピードにより、これまで以上に大規模なモデルを分析・監査することが可能になる。また、これは将来的に、開発者がシステム全体をゼロから再学習させることなく、望ましくない振る舞いを除去したり、特定のスキルを強化したりするために、この技術を使用してモデルを微調整できる可能性を意味している。

研究はまた、モデルが訓練されたものとは少し異なることを求められたときに、これらの専門化されたニューロンがどのように振る舞うかについても調査した。研究者が未知の数学問題に対してモデルをテストした際、RACEによって特定されたニューロンを消音すると、依然としてパフォーマンスの著しい低下が見られた。これは、この手法が単なる特定の質問セットに対する記憶されたパターンではなく、スキルの根本的なメカニズムを見つけていることを示唆している。知識を一般化するモデルの能力は、これらと同じ安定したニューロンに依存しているのである。

おそらく最も微妙な発見は、モデルが特定のスタイル（例えば、特定の種類のリスト構造を使用するPythonコードを書くなど）の選択を行う能力に関するものであった。研究者たちは、システムにこの特定のスタイルを認識するように訓練し、その後、対応するニューロンを消音した。その結果、モデルは依然として正しいコードを書くことはできるものの、その特定のスタイルを使用することがほぼ完全に停止した。これは、モデルが正しいコードを他の方法で書くことはできるにもかかわらず、特定のスタイルを使いこなす能力を分離できることを示しており、このレベルの精密さは、外科的な正確さでモデルの出力を制御する方法を提供することを示唆している。

研究者たちは、彼らの手法がすべての問題に対する完璧な解決策ではないことも認めている。彼らは、この手法が情報の処理が直接的かつ加算的な形で行われる部分においては最もよく機能するが、アテンション・メカニズムの中で起こるより複雑で重複した相互作用をマッピングするには効果が低いことを発見した。また、彼らはこの手法が線形パターンに依存しているため、ニューロンが協力して働くより複雑な非線形的な方法を見逃す可能性があることも指摘している。しかし、テストされた大多数のタスクにおいて、このアプローチは、モデルが何を行っているかを理解するための明確で信頼性が高く、かつ高速な方法を提供した。

この研究は、人工知能の「ブラックボックス」を開こうとするメカニスティック・インタープリタビリティ（機械論的解釈可能性）の分野における重要な進歩を象徴している。これらの巨大なシステム内の特定の機能コンポーネントを特定し、分離する方法を提供することで、研究者たちは、私たちの世界をますます形作っているテクノロジーを理解し、デバッグし、改善するための新しい道具セットを私たちに与えた。モデルのどの部分が特定のスキルに責任を持っているのかを正確に特定できる能力は、私たちが推測を超えて、これらのシステムがどのように構築され、どのように使用されるべきかについて、情報に基づいた決定を下せるようになることを意味している。前進への道は、もはや都市全体を一度に理解しようとすることではなく、特定の通りを歩き、そこで何が起きているのかを正確に把握できるようになることなのである。