Towards Understanding Steering Strength

大規模言語モデル（LLM）を、非常に賢いが少しいたずら好きなロボットシェフだと想像してみてください。このシェフは学習データからあらゆる種類の料理を作る方法を学びましたが、時々、誤ってレシピに「毒」（有害または望ましくない振る舞い）を混ぜ込んでしまうことがあります。これを、モデル全体を再学習させることなく修正するために、研究者たちは「アクティベーション・ステアリング（活性化制御）」という手法を用います。これは、料理中のロボットに対して、その思考を「安全性」や「誠実さ」へと押し、同時に「欺瞞」や「有害性」から遠ざけるように、優しく方向付けを行うようなものです。

ここでの大きな疑問は、**「どのくらいの強さで押すべきか？」**ということです。

押しが弱すぎると、ロボットはあなたの指示を無視して悪い料理を作り続けてしまいます。逆に押しすぎると、ロボットを転倒させてしまい、料理全体を台無しにしてしまいます。著者である Magamed Taimeshanov、Samuel Vaiter、Damien Garreau は、この「ステアリングの強さ（ギリシャ文字 $\alpha$ で表される）」という完璧な力の加減を見つけ出そうとしました。

道中の「隆起（バンプ）」

最も驚くべき発見は、ステアリングの強さを上げても、ロボットの振る舞いが直線的に改善していくわけではないということです。代わりに、それは特定の形状を持つジェットコースターのように振る舞います。

例えば、ロボットに「安全な」言葉を言わせようとしているとしましょう。ステアリングの強さ（$\alpha$）を徐々に上げていくと：

1. 上昇期： 最初は、安全な言葉を生成する確率が上がります。素晴らしいことです！
2. ピーク： 次に、ある絶妙な地点に到達します。これが「バンプ（隆起）」です。ロボットはまさにあなたが望む通りのことを言い、かつ会話の整合性も保たれています。
3. 下降期： しかし、そのピークを超えて押し続けてしまうと、安全な言葉が出る確率は実際に低下し始めます。ロボットは混乱し、回答の質が崩壊してしまうのです。

著者たちは、数学的に、ほとんどの単語においてこの「バンプ」現象は現実であることを証明しました。彼らは、「オフターゲット」の単語（避けようとしている悪いもの）は、「ターゲット」の単語（望ましいもの）よりも先にピークに達し、消え始めることを発見しました。つまり、ロボットが壊れることなく、正しいトピックに集中できる特定のウィンドウが存在するのです。

「シグモイド」S字曲線

ロボットが単一の単語ではなく、一つの概念（例えば「悪」や「喜び」など）を生成する確率という大きな視点で見たとき、彼らは異なる形状、すなわち**S字曲線（またはシグモイド曲線）**を発見しました。

これは、パチっと瞬時に切り替わるスイッチではなく、徐々に変化するライトのスイッチのようなものです。ステアリングの強さを上げていくと、概念は最初はオフの状態ですが、次第に光り始め、最終的には完全に点灯します。論文では、ある概念が出現する確率はこの滑らかなS字型に従うことが示されており、これは他の研究者が実験で見ている現象とも一致しています。しかし、彼らは、強さを押しすぎると、ロボットがプロンプトを完全に無視し、何を尋ねられたとしても同じ単語を何度も繰り返すだけになってしまうことも指摘しています。

「押し」の代償

ここで注意すべき点は、**「タダでは何も得られない」**ということです。

論文では、ステアリングの強さをどれほど慎重に選んだとしても、ロボットを押し続けることは、元の仕事（次の単語を正しく予測すること）において、常にわずかな性能低下を招くことを証明しています。彼らはこれを、クロスエントロピー（モデルが自身の出力に対してどれほど「驚いているか」を測る指標）という尺度を用いて測定しました。

彼らは、ステアリングを行っていない状態（$\alpha = 0$）の付近では、性能へのダメージがU字型になることを発見しました。

• わずかに押すと、ダメージは小さい（緩やかなカーブを描きます）。
• たくさん押すと、ダメージは劇的に悪化します。
• 決定的なのは、このダメージは直線ではなく、小さな押しにおいては二次関数的（$x^2$ のよう）に増大するという点です。つまり、わずかな力の増加であっても、予想以上に速くパフォーマンスを損なう可能性があるのです。

彼らが否定したもの

著者たちは、いくつかの一般的な誤解を排除するために細心の注意を払いました。

• 直線ではない： 「ステアリングを強めれば強めるほど、望ましい振る舞いが増える」という考えが間違いであることを明確に示しました。ある一点を超えると、ステアリングを強めることは、望ましい振る舞いをむしろ減少させます。
• 魔法ではない： ステアリングの強さを適当な数字に設定できるという考えに対し、反論しました。論文は、「スイートスポット」は特定のプロンプトやモデルに依存するため、「万能な一つの数字」は存在しないことを示唆しています。
• ターゲットに関する問題だけではない： ステアリングは他の概念にも影響を与えることを示しました。例えば、ロボットを「幸せ」に向かわせようとすると、意図せず「悲しみ」の確率を下げるかもしれませんが、それだけでなく、概念が脳内でどのように絡み合っているかに応じて、「数学」や「コーディング」に関する能力まで狂わせてしまう可能性があります。

彼らの確信度はどの程度か？

著者たちは単に推測したわけではありません。彼らは簡略化されたロボットの数学的モデル（「制約なし特徴モデル」）を構築し、厳密な数学を用いてこれらの挙動を証明しました。その後、GPT-2、Gemma、Qwenといった極小から巨大なものまで、11種類の異なる実世界の言語モデルを用いて、彼らの理論をテストしました。

彼らは、「バンプ」のパターン、S字曲線、そして性能へのU字型のダメージが、これらすべての異なるモデルにおいて一貫して現れることを発見しました。彼らの数学的モデルは現実の簡略化であることは認めていますが、実際のロボットが数学の予測通りに振る舞ったという事実は、彼らの知見に対する高い信頼性を裏付けています。

まとめ

この論文は、言語モデルをステアリングすることは、ラジオのチューニングに似ていると示唆しています。ダイヤルを回しすぎると、信号がクリアになるのではなく、ただノイズ（静電気）が増えるだけです。著者らは、これらのモデルを制御しようとする人々に向けて、二段階の戦略を提案しています。

1. まず、「天井」を見つけること。つまり、ロボットが壊れたり、プロンプトを無視し始めたりする地点を見つけることです。
2. 次に、その天井のすぐ下で、ロボットの一般的な知能へのダメージを最小限に抑えつつ、最も「望ましい」振る舞いが得られる強さを選択することです。

彼らは、あらゆる状況における完璧な数字を見つけ出す解決策を提示したわけではありませんが、暗闇の中で推測し続けることがないよう、地形図を与えてくれたのです。