想像してみてください。あなたは、あらゆる情報を読み取って言葉を覚えた超スマートなロボットによって書かれた本が並ぶ、巨大で魔法のような図書館にいます。このロボットは「大規模言語モデル（LLM）」として知られ、文章を完成させたり、コードを書いたり、物語を語ったりすることに非常に長けています。しかし、ここには落とし穴があります。誰も、それが「どのように」行われているのかを本当には知らないのです。それはまるでブラックボックスのようです。質問を入力すると完璧な答えが出てきますが、その内部で動いている歯車は、人間には到底読み解けない何十億もの小さなスイッチ（パラメータと呼ばれます）が絡み合った複雑なものです。

「メカニスティック・インタープリタビリティ（機械論的な解釈可能性）」を研究する科学者たちは、このブラックボックスを分解して歯車を調べようとする探偵のような存在です。彼らは、「パリ」が「フランス」の首都であることを知っていることや、CSSコードの一行を書く方法を知っていることなど、特定のタスクを担当している具体的な小さな回路を見つけ出そうとしています。最近の「パラメータ分解（Parameter Decomposition）」という手法は、ロボットの脳を単一目的の小さなパーツへと細かく分解することで、これを行おうとします。しかし、この手法は、地元のパン屋へのルートを見つけるためだけに、広大な国のすべての通りを地図に書き起こそうとするようなものです。それは膨大な時間、お金、そしてコンピュータの計算能力を必要とします。あまりにもコストがかかるため、現在、存在する中で最も巨大で賢いロボットに対してこれを行うことは不可能です。

ここで、アントワンド・ヴィグルー（Antoine Vigouroux）とリー・シャキー（Lee Sharkey）による新しい論文が登場します。彼らは、「ターゲット・パラメータ分解（Targeted Parameter Decomposition、または tPD）」と呼ばれる巧妙なショートカットを提案しています。ロボットの脳全体を一度にマッピングしようとするのではなく、「もし、CSSコードや特定の数学のテクニックのように、ロボットが扱う『たった一つの特定の事柄』だけに興味があるとしたらどうだろうか？」と問いかけるのです。彼らの手法は、その一つの事柄以外で行われるすべての活動をキャッチする巨大なセーフティネットを構築し、科学者が注力すべき特定の歯車だけにエネルギーを集中できるようにします。彼らはこの手法を小規模なロボットの脳でテストし、それが高価なフルマッピングの手法と同じくらいうまく機能することを発見しました。しかも、ごくわずかなコンピュータの計算能力で実現したのです。実際、彼らは特定のコマンド（例えば「import numpy as」）の記憶を外科的に取り除いたり、それらを入れ替えたりして、ロボлоトが「import pandas as」と言うようにさえすることができました。しかも、ロボットの他の能力を損なうことなく、これを行いました。これは、膨大な量の設備を必要とせずに、AIに対して繊細な脳手術を行う方法なのです。

大きなアイデア： 「キャッチオール」のセーフティネット

ニューラルネットワーク（ロボットの脳）を、巨大なオーケストラだと考えてみてください。あらゆる楽器（あるいは重み）が音楽を作る役割を担っています。このオーケストラを理解するための従来の方法は、演奏されているあらゆる曲における、あらゆる楽器のあらゆる音符の楽譜をすべて書き写そうとすることでした。これが、著者たちが言及している「フルモデル分解」です。それは正確ですが、バンドが同時に千種類の曲を演奏している最中に交響曲を書き写そうとするようなものです。それには永遠に時間がかかり、膨大な数のミュージシャン（コンピュータ）を必要とします。

著者たちは、もしオーケストラが「特定のひとつの曲」（例えばCSSコードの断片）を演奏する方法だけを知りたいのであれば、コンサート全体の楽譜を書き写す必要はないことに気づきました。ただ、どの楽器がその曲を演奏しているかを知るだけでよいのです。しかし、問題があります。もしその一つの曲だけに耳を傾けてしまうと、楽器が本当にその曲のために音を出しているのか、それとも単に部屋の残響によって音が鳴っているだけなのかを判断できなくなる可能性があるのです。その楽器が本当にその曲にとって重要なのか、それとも他の曲のためにそこにいるだけなのかを判別できません。

この問題を解決するために、著者たちは「キャッチオール（すべてを捕まえる）」コンポーネントを発明しました。あなたがオーケストラを録音していると想像してください。特定の関心のある楽器（「ターゲット」）にマイクを設置しますが、同時に、ステージの残りの部分に巨大で非常に敏感なノイズキャンセリング・ブランケットを被せます。このブランケット（$\Delta$ コンポーネントと呼ばれます）は、ターゲットとなる曲以外のすべての楽器の音をキャッチします。

彼らは、特定の曲と、その他のランダムな曲の混合物という二つのデータストリームを同時に使ってシステムを訓練しました。これにより、「キャッチオール」ブランケットは、ターゲットではない他の曲からのすべての音を吸収することを学習します。これにより、特定のマイクロフォンが、ターゲットに対して真に不可欠な楽器だけを拾い上げるよう強制されます。もしある楽器が他の曲のためだけに、使われているのであれば、ブランケットがそれを飲み込み、マイクロフォンは沈黙します。つまり、科学者たちはオーケストラ全体をマッピングすることなく、特定のタスクのための正確な「回路」を見つけることができるのです。

彼らが発見したもの： スピード、精度、そして手術

チームはこのアイデアを単純なモデル（小さなロボット）でテストし、それが完璧に機能することを発見しました。システムに特定の3つの特徴だけを見るように求めたところ、システムは他の97個を無視して、必要な3つのメカニズムを正確に見つけ出しました。それは、巨大なキーホルダーの中から他の97個の鍵を見ることなく、特定の3つの鍵を見つけ出すようなものでした。彼らは正しい鍵を見つけただけでなく、それを従来の方法よりも約5倍速く、より小さなコンピュータで行うことができました。

次に、彼らは実際の言語モデルである、膨大なデータセット「The Pile」で訓練された4ブロックのトランスフォーマーへと進みました。彼らは、CSSコードを扱うメカニズムを隔離できるかどうかを確認したいと考えました。彼らのターゲット手法を用いることで、彼らは「CSS専用」のサブモデルを抽出することに成功しました。このサブモデルは、フル分解法と比較して、計算量（FLOPs）のわずか**7%**しか使用しませんでした。

結果は驚くべきものでした。このCSS専用モデルをCSSコードに対して実行すると、オリジナルのロボットと同じように動作しました。しかし、英語やPythonを話させようとすると、モデルは完全に崩壊し、しばしば「the」や「count」という言葉を繰り返すだけになりました。これは、彼らがロボットの「CSS脳」を他の部分から見事に分離したことを証明しています。さらに素晴らしいことに、彼らはCSSコードにおけるインデント（字下げ）を認識するメカニチズムを、Pythonコードでは認識しない特定のサブコンポーネントとして特定しました。これらの特定のコンポーネントをオフにすると、ロボットはCSSのインデントを理解しなくなりましたが、Pythonコードを書く能力は完璧に維持されたままだったのです。

究極のテスト： 12ブロック・モデルへの脳手術

この論文の最もエキサイティングな部分は、8,500万の非埋め込みパラメータを持つ12ブロックのトランスフォーマー・モデルにこの手法を適用した場面です。彼らは非常に具体的なタスクに焦点を当てました。それは、ロボットが「import numpy as」というフレーズを「np」で、「import pandas as」を「pd」で補完するという習慣です。これらはPythonプログラミングにおける一般的なコマンドです。

ターゲット手法を用いて、彼らはこれらの補完を担当する248の特定のサブコンポーネントを特定しました。そして、デジタルな「手術」を行いました。

まず、彼らは「numpy」に特有のコンポーネントをアブレーション（除去）（オフに）しました。その結果はどうなったでしょうか？ ロボットはもはや「import numpy as」を「np」で補完できなくなりました。まるで、その特定の関連付けの記憶が消去されたかのようでした。しかし、ここでの魔法は、ロボットの他のすべての能力（英語のテキスト、他のコード、ランダムな文章など）は完全に無傷であったことです。ロボットは混乱したり、他の場所で間違いを犯したりすることもありませんでした。

次に、彼らはより大胆な試み、すなわち**リワイアリング（配線の組み換え）**を行いました。各コンポーネントには「入力」方向と「出力」方向があるため、彼らは「numpy」と「pandas」のコンポーネントの出力方向を入れ替えました。彼らは実質的に、「numpy」の部分に対して「pandas」の声で話すように、そしてその逆を行うように指示したのです。

結果は奇妙で、かつ完璧でした。あなたが「import numpy as」と入力すると、ロボットは今や「pd」で補完しました。そして「import pandas as」と入力すると、「np」で補完しました。それは単なる間違いではなく、知識を真に入れ替えたのです。そして再び、この変更は非常に限定的でした。ロボットのインターネット上の他の行動（10万トークン以上の一般データ）は、オリジナルとほぼ同一のままでした。「副作用」は無視できる程度でした。

なぜこれが重要なのか（そして、何ができないのか）

この論文は、巨大なAIの脳全体を理解したり編集したりするために、スーパーコンピュータを待つ必要はないことを示唆しています。特定の振る舞いにズームインし、それを動かす歯車を隔離し、そして機械の他の部分をスムーズに動かし続けたまま、微調整することさえ可能なのです。

しかし、著者たちは過度な期待を抱かせないよう注意深く記述しています。彼らは、この手法は「import numpy」のような記憶されたシーケンスや、特定のコードタイプ（CSSなど）のような、明確に定義されたタスクに対して最も効果的であることを述べています。彼らは、複雑な「世界の知識」（歴史や科学に関する事実など）を編集することは、脳が同じ事実を保存するために複数の冗長な方法を使用している可能性があるため、より困難になるかもしれないと認めています。もしロボットに同じ仕事をする2つの異なる歯車がある場合、一方の歯車を止めても、もう一方の歯車が引き継ぐため、そのタスクを停止させることはできないかもしれません。また、彼らの扱った最大のモデルは、今日の「最前線」のモデルと比較すると依然として非常に小さいものであり、スケールアップする際には新たな課題が生じる可能性についても指摘しています。

しかし、現時点では、この「ターゲット・パラメータ分解」は強力な新しいツールです。それは、スレッジハンマーではなく、メスのようです。ロボット全体を一度に理解しようとする代わりに、私たちは今、蓋をそっと持ち上げ、好奇心の対象である部分を正確に見つけ出し、機械の残りの部分を壊すことなく、そこに軽く刺激を与えることができるようになったのです。