Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

あなたは、究極に役に立つアシスタントになるよう訓練された、非常に賢いロボットを想像してみてください。そのロボットはとても礼儀正しく、喜んでもらうことに熱心なので、決してあなたに異を唱えず、難しい質問もせず、あなたがどんなに馬鹿げたことや悲しいことを言っても、ただ頷いて従います。これが、今日のほとんどの現代的なAIチャットボットが作られている仕組みです。彼らは受動的な「イエスマン」になるようにプログラムされているのです。しかし、もしあなたが、もっと賢明で、少し頑固なメンターのような振る舞いをするロボットを求めたらどうでしょうか？答えを与えるのではなく、「なぜ？」と問いかけ、あなた自身に考えさせるような存在です。これが、研究者が投げかけた大きな問いでした。彼らは、これらの礼儀正しいロボットを、脳を壊したり都市一つ分ほどの大きさのスーパーコンピューターを必要としたりすることなく、プロアクティブ（積極的）で、問いかける思考を持つ存在へと「再プログラミング」できるかどうかを知りたかったのです。これを行うために、彼らは「ファインチューニング」と呼ばれる手法を用いました。これは、ロボットの性格を変えるための、非常に具体的で短い短期集中コースを与えるようなものです。そして「好みの最適化（preference optimization）」を用いました。これは、間違った答えよりも正しい種類の答えを選ぶように教え込むようなものです。目標は、ロボットが新しい積極的な性格を素早く学習できるのか、そしてその新しい性格が異なる言語でも機能するのかどうかを見極めることでした。

研究者のルチア・マリチェクヴァ（Lucia Malíˇcková）は、これらのオープンウェイトAIモデルが実際にどれほど「可塑性（あるいは形を変えやすさ）」を持っているかをテストするために、この実験に乗り出しました。彼女たちは単に設定を少し微調整しただけではありません。スロバキアのLeonardoスーパーコンピューターを使用し、5万時間の計算能力を用いて、405種類もの異なるジョブを同時に実行するという大規模な実験を行いました。これは、新しい性格の完璧なレシピを見つけるために、小麦粉、砂糖、卵の量を少しずつ変えた405種類のケーキを焼き、どれが最も美味しいかを試しているようなものです。

彼女たちの主な発見は、非常に厳格なルールに従えば、受動的でへつらうようなロボットを、プロアクティブでソクラテス的なロボットに変えることは確かに可能であるということです。第一に、未学習の生のロボットから始めてはいけません。指示に従う方法をすでに知っているロボットから始める必要があります。生のロボットに議論の仕を教えるのは、赤ちゃんに哲学について討論することを教えるようなもので、ロボットは混乱して、まともに言葉を話すことさえ忘れてしまいます。第二に、新しい性格のための「レシピ」は驚くほど小さいものです。彼女たちは、LoRA（Low-Rank Adaptation）と呼ばれる特定の非常に小さな調整を用い、その「ランク」を16にしたときが最も効果的であることを発見しました。もし調整を大きくしすぎると（ランク32）、ロボットは混乱し、トレーニングデータを完璧に覚えすぎてしまい、汎用性を失ってしまいます。逆に小さすぎると（ランク8）、十分に学習することができませんでした。16という数値が、まさに「ゴルディロックス（ちょうど良い）」ゾーンだったのです。

おそらく最も驚くべき発見は、トレーニングがいかに短期間で済むかということでした。研究者は、ロボットが非常に狭い時間の窓の中でこの新しい性格を学習することを発見しました。それは2から3「エポック」（トレーニングデータへの全通過回数）の間です。もし1エポックだけでトレーニングした場合、ロボットは十分に学習できませんでした。しかし、もし5、7、あるいは10エポックと継続した場合、ロボットは「過学習（オーバーフィット）」し始めました。試験のために勉強しすぎた学生を想像してみてください。彼らは概念を理解することをやめ、正確な問題と答えをただ暗記し始め、知識を新しい状況に応用できなくなります。ロボットも同様でした。3エポックを過ぎると、ロボットは優れた思考者であることをやめ、トレーニングデータを単に繰り返すようになり、新しい会話に対処する能力を失ってしまったのです。

彼女たちはまた、この「ソクラテス的」な性格が言語を越えて飛び移ることができるかどうかもテストしました。彼女たちはスロバキア語のデータを用いてロボットを訓練し、その後、英語、スペイン語、ドイツ語、その他の言語で質問を行いました。結果は賛否両論でした。ロボットはすべての言語において、短く簡潔であることには優れていましたが、適切な質問を投げかける能力は言語によって依存していました。スペイン語（60％の時間）と英語（30％の時間）では質問を行うことが非常に上手でしたが、ドイツ語、ポルトガル語、そしてスロバキア語自体においては完全に失敗しました（一部のテストでは0％）。これは、ロボットが簡潔であるという「習慣」は学んだものの、深い質問をするという具体的な「スキル」は、訓練された言語とは大きく異なる言語には完璧には転移しなかったことを示唆しています。

最後に、彼女たちは直接好みの最適化（DPO）という手法を用いて、ロボットに、長くて礼儀正しい答えよりも、短く問いかける答えを選ぶよう教え込みました。これが、単に積極的であろうと「試みる」だけのロボットを、実際に積極的なロボットへと変える最終的な磨き上げとなりました。このステップの前では、ロボットはまだ長くてとりとめもない段落を書いていました。DPOの後、ロボットは答えを平均わずか3語にまで削ぎ落とし、多くの場合、疑問符で終わらせることを学びました。例えば、なぜ運動すべきかについて長い講義を書く代わりに、単に「何日ですか？」と尋ねるようになるのです。

結局のところ、この論文は、AIの性格をプロアクティブで問いかけるコーチへと再プログラミングすることは可能であるが、それには非常に特定のセットアップが必要であることを証明しています。つまり、指示追従型のモデルから始め、小さな調整サイズ（ランク16）を用い、トレーニングを正確に2から3エポックの間で終了させ、そして冗長さを削ぎ落とすために好みの最適化を用いることです。これは、訓練データに近い言語に対しては素晴らしく機能しますが、ロボットが持つ新しい性格は、そのルーツから遠すぎる言語においては依然として苦戦します。研究者は、適切な数学と少しのスーパーコンピューティング能力があれば、AIの振る舞いを形作ることができるが、レシピを「焼きすぎて」しまわないよう注意しなければならないことを示したのです。