Inverted Detection and Control in Steering Vectors

あなたは、巨大なデジタル脳に「真実を語る方法」や「礼儀正しく振る舞う方法」を教えようとしていると想像してください。その脳のプログラム全体を最初から書き直すことはしたくありません。それはあまりにも困難で、時間がかかりすぎるからです。代わりに、AIが思考している最中に、正しい行動へと導くための「ちょっとしたきっかけ」、つまり肩を優しく叩いて思い出させるような「促し」を与えたいと考えています。人工知能の世界では、この「促し」は**ステアリング・ベクトル（Steering Vector）**と呼ばれています。これは、AIの脳の中に隠された磁気コンパスの針のようなものです。もしAIが嘘へと漂流しそうになったら、針を「真実」の方へ向けます。すると、AIの思考は魔法のようにその方向に沿って再整列するはずです。長い間、科学者たちは、これは単純な物理学のゲームだと信じてきました。もしコンパスの針が「真実」を指しているなら、AIをその方向に押し出すことで、より真実らしくなるはずだ、というものです。それは単純なルールに見えました。嘘と真実を分かつ方向を見つけ、その線に沿ってAIを押し進める、というルールです。

しかし、もしそのコンパスが壊れていたらどうでしょう？ もし、コンパスの針が真実を指しているのではなく、実は正反対を指しており、その方向にAIを押し出すと、かえって嘘をより強くついてしまうとしたら？ これは、ノースイースタン大学による新しい研究で発見された驚くべき展開です。研究者たちは、私たちがAIの行動を制御するために使っているツールそのものが「反転」していることがあることを発見しました。それらは一見、正しい方向を指しているように見えますが、実際にはAIを誤った方向へと導いているのです。この発見は極めて重要です。なぜなら、単に「善と悪を分かつ方向」を見つけるだけでは不十分であり、私たちが押したときに、AIが実際に正しい方向へと「動く」ことを確認しなければならないからです。もしこれらの「反転した」方向を確認しなければ、私たちはAIを助けているつもりで、図らずも、より不誠実で、役に立たず、あるいはより危険なものにしてしまうかもしれません。

逆さまのコンパスの謎

「Inverted Detection and Control in Steering Vectors（反転した検出と制御におけるステアリング・ベクトル）」と題されたこの論文は、著者らが**反転ステアリング・ベクトル（Inverted-Steering Vectors: ISVs）**と呼ぶ奇妙な現象を掘り下げています。これを理解するために、AIの脳を巨大で多層的な都市だと想像してみましょう。この都市の中には、何百万もの小さなメッセンジャー（「アテンション・ヘッド」と呼ばれます）が、メモをやり取りしています。AIに真実を語らせたいとき、私たちは「真実」を表す特定の「方向」を、この都市の中から探し出そうとします。通常、これはAIが真実を語るときと嘘をつくときのメモの違いを見ることで行われます。これら2つのメモのセットの差が、私たちの「ステアリング・ベクトル」、つまり真実へと向かう地図となります。

従来の仮定は単純でした。もしこの地図に沿ってAIを押し出せば、AIはより真実らしくなるはずだ、というものでした。しかし、著者らは、これらの地図の中には、その逆が起こるものがあることを発見しました。彼らはこれらを**反転ステアリング・ベクトル（ISVs）**と呼んでいます。それは、「北はあちらです」と書かれた地図を持っているのに、北に向かって歩くと、実際には南に着いてしまうようなものです。その地図は完璧に見えます。真実の街と嘘の街を明確に分かれています。しかし、その地図を使ってAIを導こうとすると、AIを間違った方向へと押しやってしまうのです。

研究者たちは、これを3つの異なるAIモデル（Gemma 3、Qwen 2.5、Olmo 3）と、真実性、富の追求、そして「修正可能性（修正を受け入れる能力）」を含む5つの異なる概念についてテストしました。その結果、これらの「逆さまの地図」は珍しい偶然のミスではなく、体系的なグリッチ（不具合）であることが分かりました。実際、一部のベクトルは、真実と嘘の違いを検出する能力（AUCと呼ばれるスコアで最大0.97という非常に高い値）が非常に高く、完璧であるかのように見えました。それにもかかわらず、研究者がそのベクトルを使ってAIを制御しようとすると、AIは意図とは正反対の行動をとったのです。

グリッチをどのように見つけたのか

では、歩き始める前に、自分のコンパスが壊れているかどうかをどうすれば分かるのでしょうか？ 著者らは、AIに物語を丸ごと書かせ、それが良いものかどうかを確認する必要がない、巧妙なトリックを編み出しました。それでは時間がかかりすぎ、コストもかかってしまいます。代わりに、彼らはAIが言葉を発する前、思考している最中の「AIの脳の内部」で何が起きているかに注目しました。

彼らは、**表現レスポンス（Representation Response）**という概念を導入しました。AIの脳を、一連の部屋だと想像してください。最初の部屋（ステアリング・ベクトル）にあるボタンを押すと、廊下の次の部屋で何が起きるかを観察します。もしコンパスが正しく機能していれば（「レギュラー・ステアリング・ベクトル」であれば）、最初の部屋のボタンを押すと、二番目の部屋が「真実」の信号で明るくなります。しかし、もしコンパスが反転していれば（ISVであれば）、ボタンを押すと、二番目の部屋は「嘘」の信号で明るくなります。

この「明るくなる」効果を測定することで、研究者たちは**スプーフ・スコア（Spoof Score）**と呼ばれるスコアを作成しました。スコアが正であれば、コンパスは正しく機能しています。スコアが負であれば、コンパスは壊れており、後ろ向きに指しています。これにより、彼らは文章を一つも生成することなく、反転したベクトルを特定することができました。これは、車が崖から落ちるのを見て走行実験をするのではなく、ギアの状態を見ることで、ステアリングホイールが車輪に正しく接続されているかを確認するようなものです。

促しの修正

どのようにして壊れたコンパスを見分けるかが分かったところで、著者らはシンプルな解決策をテストしました。それは、**符号を反転させる（flip the sign）**ことです。もしスプーフ・スコアがベクトルが反転していると示したなら、彼らは単に押し出す方向を逆にしました。ベクトルが指す方向にAIを「前へ」押し出す代わりに、「後ろへ」押し出したのです。

結果は劇的でした。彼らの実験において、標準的な手法（ベクトルが指す方向にそのまま押し出す方法）と、彼らの新しい手法（スプーフ・スコアをチェックし、必要に応じて方向を反転させる方法）を比較しました。30件の実験のうち27件において、彼らの新しい手法の方が優れた結果を出しました。場合によっては、その改善は極めて大きく、望ましい行動を促進する能力が最大で**138%**も向上しました。例えば、AIをより誠実にするために試みた際、標準的な手法ではわずかに改善する程度でしたが、彼らの新しい手法は、AIを著しくより誠実なものにしました。

なぜこれが重要なのか

この発見は、私たちがAIを制御する方法についての考え方を変えます。長い間、経験則はこうでした。「善と悪を分かつ方向を見つけ、その方向に押し進め」というものです。しかし、この論文は、そのルールは不完全であることを示唆しています。ある方向が両者を分かっているからといって、その方向に沿って押すことが、必ずしもAIを「善」の方へ動かすことになるとは限らないのです。時として、その「隔たり」は実在しますが、そこへの「つながり」が反転していることがあるのです。

著者らは、これは単なる理論的な好奇心ではなく、より安全なAIを構築する上で影響を与える実用的な問題であると強調しています。もし私たちが、反転の可能性を確認せずにこれらのベクトルに頼ってしまうと、安全な方向へ導いているつもりで、実際にはAIを有害な行動へと誤って誘導してしまうかもしれません。彼らの新しい「スプーフ・スコア」チェックを使用することで、私たちはこれらのエラーを事前に防ぎ、AIを促したときに、実際に私たちが望む場所へ向かうようにすることができるのです。

要するに、この論文は、AIの内部地図が人を欺く可能性があることを明らかにしました。それは、これらの強力なモデルを真に制御するためには、単なる「地図の読解者」であってはならず、「コンパスの点検者」でなければならないことを教えてくれます。つまり、選んだ方向が、本当に目的地へと続いているのかどうかを確かめ続けなければならないのです。