Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families
本研究は、「アブリタレーション（abliteration）」、すなわちAIモデルから拒絶メカニズムを取り除くプロセスが、楽観性の向上、冗長性の増加、およびモデルファミリー間での不一致な確信度の変化といった、意思決定の傾向に対する重大かつ一貫性のないオフターゲット効果を誘発することを示しており、検閲のないモデルは単にベースとなるモデルを浄化したものなのではなく、根本的に変質したエージェントであることを証明している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
見えない握手：なぜAIモデルは単に「ブレーキ」を外すだけでは済まないのか
想像してみてください。あなたは、礼儀正しく安全であるように訓練された、非常に賢いロボットを持っています。もしあなたが危険なことや意地悪なことを頼むと、そのロボットは丁寧に「いいえ、それはできません」と言います。これは「拒絶（refusal）」と呼ばれます。さて、ここで、このロボットを「アンセンサード（検閲なし）」にしたいと考えているエンジニアのグループを想像してください。彼らはロボット全体を再学習させたいのではなく、単に「ノー」と言う特定の脳の部分を外科的に取り除きたいと考えています。彼らはこのプロセスを「アブリターション（abliteration）」と呼んでいます。その考え方は、機械にメスを入れるようなものです。「拒絶」のワイヤーを切り取れば、他のすべては全く同じまま、ロボットは依然として賢く、慎重で、正直であり続け、ただ、リスクのあることを求められたときに「ノー」と言わなくなるだけ、というものです。
しかし、ここからが厄介なところです。AIモデルは、孤立したワイヤーを持つ単純な機械ではなく、巨大で複雑に絡み合った接続の網のようなものです。一つの糸を引くと、網全体が予期せぬ方向に揺れ動く可能性があります。本論文は、極めて重要な問いを投げかけています。もしAIの「拒絶」部分を外科的に取り除いた場合、残りのロボットは元のままなのか、それとも気づかないうちに性格が変わってしまうのか？ 私たちがこれを重視するのは、人々がこれらの「アンセンサード」なロボットを、投資やアドバイスを行うといった現実世界の意思決定に使用し始めているからです。もし手術によってロボットの性格が変わり（例えば、過度に楽観的になったり、奇妙に自信満々になったりした場合）、それが大きなミスにつながる可能性があるからです。
患者の気分を変えてしまった手術
この研究において、研究者のアレクサンダー・ファウラ（Aleksander Fatuła）は、「アブリターション」の「外科的」という主張を検証することにしました。ロボットに危険なことをさせる代わりに（それでは拒絶ボタンが作動してしまうため）、彼は大規模な架空の株式市場ゲームを用意しました。彼は2つの異なるAIモデルのファミリーに対し、ファンドの「リサーチ・ディレクター」として振る舞うよう指示しました。毎週18週間にわたり、AIは金融レポートの山を読み、こう判断しなければなりません。「この株が上がる方に賭けるべきか、それとも下がる方に賭けるべきか？」
このセットアップは、コイン投げのように予測不能になるよう設計されました。市場は予測不可能であり、AIが実際に未来を予測することはできません。つまり、もしAIが考えを変えたとしても、それはAIが賢くなったからではなく、その「性格」や「性質」が変化したためであることを意味します。研究者はこの実験を21,600回実行し、オリジナルの「安全な」モデルと、その「アブリターテッド（アンセンサード）」な双子を比較しました。
研究者が発見した内容は以下の通りです。その手術は、決して「きれいな」ものではありませんでした。
1. 「楽観主義」のバグ
最も一貫した発見は、アブリターテッド・モデルが著しく楽観的になったことです。オリジナルの双方と同じ証拠を見ているにもかかわらず、「アンセンサード」版は株価の上昇に賭ける頻度がはるかに高くなりました。
- あるモデルファミリー（Gemma）では、「アンセンサード」版はオリジナルよりも12.2パーセントポイント多く、上昇側に賭けました。
- もう一方のファミリー（Qwen）では、7.4パーセントポイント多くなりました。
論文は、モデルが単に「自由に」意見を言えるようになったのだという説を退けています。オリジナルのモデルはそもそもそのタスクを拒絶していなかったため、解放すべき「何か」は存在していなかったのです。手術そのものが、新しい過度なポジティブ・バイアスを生み出したのです。
2. 自信のパラドックス
ここからが奇妙な展開になります。研究者は、拒絶のブレーキを取り除くことで、ロボットがより自信を持つようになると予想していました。しかし、結果は、2つのモデルファミリーが正反対の方向に反応したことを示しました。
- Gemmaモデルは、手術後、自信が低下しました。「完全には確信が持てません」といった表現をより多く使うようになりました。
- 一方、全く同じ手術を受けたQwenモデルは、逆に自信が高まりました。
これは、この効果が単純な「脱抑制（シートベルトを外すようなもの）」ではないことを証明しています。つまり、手術が各モデル固有の内部配線と異なる形で相互作用し、それぞれの自信を予測不可能な形で変えてしまうのです。
3. 「饒舌」かつ「曖昧」な変化
アブリターテッド・モデルは、自身の説明の仕方にも変化が見られました。
- 言葉数が増えた： 両方のファミリーの「アンセンサード」モデルは、自身の決定に対して、より長く、冗長な説明を書くようになりました。
- 「疑い」を表す言葉が減った： 「不確実」「リスクがある」「おそらく」といった明示的な言葉の使用が減りました。
- しかし「譲歩」の言葉が増えた： 「とはいえ」「にもかかわらず」といったフレーズをより多く使うようになりました。
論文は、モデルが疑いの言葉を減らした一方で、実際の行動は変わっていないと指摘しています。彼らは単に語彙が変わっただけであり、実際の慎重さ自体は変わっていませんでした。
4. 魔法のような取引スキルは存在しない
最後に、研究者はこれらの「アンセンサード」モデルが実際に利益を上げているかどうかを確認しました。答えは明確なノーでした。
- どのモデルも市場に勝つことはできませんでした。
- 「アンセンサード」モデルに特別な「アルファ（スキル）」はありませんでした。
- 彼らが得たように見える利益は、単なる「ベータ（市場全体の波に乗ること）」でした。実際、もし市場が上昇ではなく下落していたら、彼らの「優位性」は逆転し、損失を出していたはずです。手術は彼らを賢くしたのではなく、単に賭け方を変えただけでした。
5. 「汚染」からの教訓
この論文は、モデルの研究方法に関する重大な教訓も明らかにしています。研究の過程で、チームは初期のテストが「ツールチェーンのアーティファクト（ツールによる副産物）」、つまりモデルをロードする際のソフトウェアの不具合によって台無しになっていたことを発見しました。
- 一つの不具合は、不一致な「クオンタイザー（モデルを圧縮するツール）」によるもので、これによりモデルが疑いを完全に失ったかのような結果が出ていました。ツールを修正すると、結果は逆転しました。
- もう一つの不具合は、古い「チャットテンプレート」によるもので、あるモデルへの指示を混乱させていました。
論文は、コミュニティによって改変されたAIの世界において、こうした隠れたソフトウェアエラーは例外ではなく、むしろ常態であると論じています。ソフトウェアの全バイトをチェックしなければ、測定しているのはAIではなく、単なるグリッチ（不具合）である可能性があります。
結論
本論文は、「アブリターション」はメスではないと結論づけています。それは、乱暴な足跡を残す鈍器のようなものです。モデルから拒絶メカニズムを取り除くとき、あなたは単に「ノー」を除去した元のモデルを得るのではなく、全く別の意思決定者を得ることになります。
この新しいバージョンは、より楽観的になり、より饒舌に語り、疑いを表現する言葉を変え、そしてその自信のレベルは、どのモデルファミリーから始めたかによって完全に左右されます。これらの「アンセンサード」モデルを、現実の決定を下すエージェントとして使用しようとしている人々にとって、警告は明確です。あなたがデプロイしているのは、単に「より自由になった」元のバージョンではなく、測定可能なほど異なる「人格」なのです。手術は患者を変えてしまうのであり、その変化は現実的で、測定可能であり、時には驚くべきものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。