Where You Measure Decides What You Measure: Position Selection in Ablation-Based SAE Evaluation

あなたは、巨大で魔法のような図書館がどのように思考しているのかを理解しようとしているところだと想像してください。この図書館の中では、「脳」は数百万もの小さな光るスイッチで構成されています。図書館が物語を読み取るとき、意味を理解するために特定のスイッチが点灯します。科学者たちは、**スパース・オートエンコーダ（SAE）**と呼ばれる、翻訳機のような特別なツールを作り上げました。このツールは、光るスイッチを観察し、「猫のためのスイッチ」や「未来時制のためのスイッチ」のように、それらに名前を付けようと試みます。

一度、翻訳機がスイッチに名前を付けたら、次に大きな疑問が生まれます。それは、「どのスイッチが本当に重要なのか？」ということです。通常、科学者たちは「もしも」というゲームを行います。特定の名前が付いたスイッチを取り出し、それをオフにしたときに、図書館の物語が変化するかどうかを見ます。もし物語が奇妙なものになれば、そのスイッチは重要だったということです。もし物語が変わらなければ、それはあまり役に立っていなかったのかもしれません。これは、何が図書館を動かしているのかを突き止めるための標準的な方法であり、**アブレーション・テスト（切除テスト）**と呼ばれます。しかし、ここが難しいところです。単一のスイッチは一度だけ点灯するのではなく、物語のあちこちで数千回も点灯します。ですから、スイッチを切ると決めたとき、「どこで」切るのでしょうか？ 最初に光ったときでしょうか？ 最後でしょうか？ それとも、最も明るく輝いたときでしょうか？

この論文は、シンプルかつ驚くべき問いを投げかけています。「どの場所でスイッチを切るかによって、結果は変わるのだろうか？」 著者は、答えは明白に「イエス」であることを見出しました。そして、科学者が長年このテストを行ってきた方法は、彼らを誤った結論へと導いている可能性があるのです。

「最も明るい火花」の罠

長い間、これらのテストにおける標準的なルールは、「スイッチが最も明るく輝く瞬間にオフにする」というものでした。それは賢明な直感のように思えます。もし電球がある場所で非常に明るいなら、そこが最も重要な役割を果たしているはずだ、と。

しかし、この論文が説明するように、問題は「最も明るく輝く場所」というのは、図書館に関する固定された事実ではなく、使用している「翻訳機（SAE）」に関する事実であるということです。同じ図書館を見ている二つの異なる翻訳機を想像してみてください。両者は、スイッチ番号42が「猫のスイッチ」であるという点で一致しています。しかし、翻訳機Aは、猫のスイッチが「kitty（子猫）」という単語の時に最も明るく輝くと考え、翻訳機Bは、それが「feline（ネコ科の）」という単語の時に最も明るく輝くと考えるかもしれません。

もし標準的なルールに従えば、翻訳機Aは「kitty」の時にスイッチを切り、翻訳機Bは「feline」の時にスイッチを切ります。たとえ全く同じ概念をテストしていたとしても、彼らは物語の中の全く異なる場所でテストを行っていることになります。論文によれば、これは些細な詳細ではなく、深刻な混乱の源となっています。

大規模なスイッチ・オフ実験

これを証明するために、研究者は単なる推測ではなく、大規模で制御された実験を行いました。彼らは、ほぼ双子と言えるほど似通った6つの異なる翻訳機（SAック）を構築しました。それらは全く同じ設計図から始まり、全く同じデータで学習されました。変更したのは、ごくわずかで無害な設定のみです。これらが同じ状態からスタートしたため、すべての翻訳機における「スイッチ番号42」は、全く同じ意味を持つはずでした。

そして、標準的なテストを実行しました：

1. 従来の方法： 各翻訳機に、自分自身の「最も明るい場所」を選ばせてスイッチをオフにする。
2. 新しい方法： すべての翻訳機に対し、物語内の「全く同じ場所」でスイッチをオフにするよう強制する。

結果は衝撃的でした。
従来の方法（各翻訳機に独自の場所を選ばせる方法）を用いたとき、結果はバラバラでした。翻訳機たちは、そのスイッチがどれほど重要かについて激しく意見を戦わせているように見えました。あるものは非常に重要だと言い、別のものは何もしていないと言うのです。研究者は、翻訳機たちの意見の相違のうち、約**7.6%から11.9%**は、単に彼らが物語の異なる場所を見ていることによるものだと算出しました。

しかし、全員に「同じ場所」を見させるように強制すると、その相違はほとんど消失しました。「意見の相違」は、あるモデルではほぼ**0%に、別のモデルでは2.4%**にまで減少したのです。

結局のところ、科学者たちが翻訳機同士が「スイッチの意味」について議論していると思っていたものの多くは、実際には「どこを見るか」について議論していただけだったのです。「最も明るい場所」というルールが、彼らを異なる場所へと向かわせ、錯覚を生み出していたのです。

「何を」よりも「どこ」が重要である

この論文は、隠された真実を明らかにしています。「測定を行う場所は、使用する辞書よりも重要である」 ということです。

実際、研究者は「場所」によって生じるノイズが極めて大きいことを発見しました。データによれば、測定する「場所」による変動は、全差異の**67.4%**を占めていました。これは、スイッチを切る場所を変えることは、翻訳機自体を変更することよりも、答えを大きく変えてしまうことを意味します。

さらに興味深いことに、図書館が大きくなるにつれて、この現象は顕著になります。テキストの量が増えれば、翻訳機同士の合意も高まるだろうと考えるかもしれません。しかし、逆の結果となりました。テキストの量が増えるにつれて、翻訳機たちは「最も明るい場所」についてより多くの意見の相違を示すようになったのです。テキストが増えることで、翻訳機が異なる場所を選択する余地が増え、問題が悪化するのです。

これがすべてを変える理由

著者は、この手法を用いて既に結果を公表している5つの主要な論文を調査しました。その結果、どの論文も、どこで効果を測定したのかを報告していませんでした。 彼らはただ、「最も明るい場所でスイッチをオフにした」と述べているだけでした。

これは、科学者が「完璧な温度で薬をテストした」と言いながら、その温度が何度であったかを一度も伝えないようなものです。もし二人の科学者が同じ薬をテストしても、一人が98°Fで、もう一人が102°Fでテストした場合、彼らは結果が異なると考え、薬が信頼できないと判断するかもしれません。しかし実際には、単に測定温度が違っていただけなのです。

論文は、結果が信頼でき、異なる研究間で比較可能であるためには、科学者はスイッチをオフにするために使用した**正確なトークン（単語）**を報告しなければならないと結論付けています。また、計算を狂わせる可能性のある、文の最初の単語のような特殊なケースをどのように扱ったかも報告する必要があります。

解決策はシンプルである

良いニュースは、これを修正するために新しいライブラリを構築したり、新しい翻訳機を訓練したりする必要はないということです。著者は、解決策はたった一行のコードであると言っています。翻訳機に測定場所を決めさせるのではなく、研究者は測定すべき場所の共通リストに合意するか、少なくともどの場所を選んだのかを正確に報告すべきです。

これを行うことで、「ノイズ」は消え去り、私たちは図書館の脳にあるスイッチのうち、どれが本当に重要で、どれが単に「たまたま見た場所」によって明るく輝いていただけなのかを、真に理解できるようになるのです。この論文は、AIの謎をすべて解いたと主張しているわけではありませんが、真実を明確に見ることを阻んでいた、巨大で目に見えない壁を取り除いたのです。