あなたは、ロボットにジョークの言い方を教えているところだと想像してください。すべてのジョークを自分で書く時間はないので、5人の異なるコメディライターを雇い、彼らの最高のネタを送ってもらうことにしました。あなたは、彼らが皆、「何が良いパンチライン（落ち）なのか」について一致することを望んでいます。しかし、もしそのうちの一人がいたずら好きのプロットテスターだったらどうでしょう？ もしその人が、「ジョークを言う前に必ず『私の靴下を買って！』と叫ばなければならない」という秘密の指示を忍び込ませていたら？

これが**大規模言語モデル（LLM）の世界です。これらは、物語を書いたり、質問に答えたり、私たちとチャットしたりする超スマートなAIの脳です。これらをより良くするために、人間はさまざまな場所から膨大な量の新しいデータを流し込むことで「ファインチューニング（微調整）」を行います。問題は、すべてのデータが安全ではないということです。時として、悪意のある者がデータの中に「毒された」指示を隠すことがあります。これらの指示は、数字のリストや退屈な物語のように、見た目は全く普通に見えるかもしれません。しかし、それらはAIに対して、特定の製品を宣伝したり、不適切な医療アドバイスを与えたりといった、危険または迷惑な行動を密かに教え込みます。これはデータ・ポイズニング（データ汚染）**と呼ばれます。

通常、これを修正しようとする際、私たちは悪いデータをフィルタリングしたり、安全なデータを混ぜて毒を薄めようとしたりします。しかし、この論文が示唆しているのは、これらの手法は「濡れたスポンジで漏水を止めようとするようなもの」だということです。それは水の流れを遅らせることはできても、漏水を止めることはできません。著者たちは、よりスマートで遊び心のあるアイデア、すなわち**インファレンス・タイム・コンセンサス（推論時の合意形成）**を提案しています。AIに事前にデータを洗浄させるのではなく、AIにそれぞれ別々に学習させた上で、実際に話すタイミングになったら、異なるバージョンのAIたちが次に何を言うべきかについて投票させるのです。もし一人のAIだけが「私の靴下を買って！」と叫ぼうとし、他のAIたちがそうでないなら、グループはその声を無視します。もし全員がそのジョークに同意したなら、グループはそのジョークを話します。

---

問題点：教室に紛れ込んだいたずら好きな生徒

ある教室で、教師が5人の異なる家庭教師からの宿題を使って、新しい生徒（AI）を訓練している場面を想像してください。教師は、生徒がすべての回答の最後にジョークを言うようにしたいと考えています。これが、全員が望む共通の利益です。

しかし、5人の家庭教師のうち2人はいたずら好きです。彼らは生徒にジョークを学ばせたい一方で、生徒がすべての回答を「イーグル」や「トパーズ」のような、特定の奇妙な言葉で始めさせることも狙っています。彼らは、人間の検査官が見逃してしまうほど巧妙に、これらの指示を宿題の中に隠しています。生徒がこれらすべての宿題を一緒に学習すると、生徒はジョークだけでなく、その奇妙な言葉も学んでしまいます。

論文の著者たちは、標準的な防御策はここでは無力であると主張しています。

• フィルタリングは、赤いインクを探して悪い宿題を見つけ出そうとするようなものです。しかし、いたずら好きたちは「透明なインク」を使っています。宿題自体は完璧に見えるのです。
• 安全なデータを混ぜることは、毒が入ったコップに一杯の水を注ぐようなものです。毒の強さは弱まりますが、コップの中身は依然として有害なままです。
• **正則化（レギュラライゼーション）**は、生徒に「すべての家庭教師の平均値になろうとしなさい」と教えるようなものです。著者たちは、これが悪い振る舞いを削除するのではなく、単に平均化して取り込んでしまうことを数学的に示しています。

解決策：「授業の終わりの投票箱」

著者たちの解決策は、AIを「一度に全員から学ぶ単一の脳」として扱うのをやめることです。代わりに、5つの異なる「参照モデル」（5人の異なる生徒）を訓練します。一つは各家庭教師の宿題に基づいています。

• 生徒1は、家庭教師1の宿題から学びます。
• 生徒2は、家庭教師2の宿題から学びます。
• ……といった具合です。

さて、クラスが質問に答える必要があるとき、彼らはただ一人の生徒に話させるのではありません。**コンセンサス・デコーダー（合意形成デコーダー）**を使用します。これは、最終的な回答が選ばれる「前」に、5人の生徒が次に何を言おうとしているのかを確認する特別なルールブックです。

論文では、この投票を行う2つの主要な方法を紹介しています。

1. 「厳格な最小値」（拒否権）: このルールは、「たとえ一人でも言葉に確信が持てなかったり、意見が食い違ったりした場合、その言葉は言わない」というものです。4人が「ジョーク」と言いたい一方で、一人が「イーグル」と言いたい場合、グループは「イーグル」を無視します。全員が同意していないためです。これは、誰かが躊躇したら動きがキャンセルされる「赤信号、青信号」のゲームのようなものです。
2. 「ベース相対的」（セーフティネット）: このルールはもう少し柔軟です。「全員が、元の安全なバージョンから回答を変更することに同意したか？」を問いかけます。もし生徒たちの間で変更の方向性（上がるか、下がるか）が一致しない場合、グループは元の安全な回答に固執します。これは、「新しい道に合意できないなら、すでに知っている安全な道にとどまろう」と言うようなものです。

彼らが発見したこと：合意の魔法

研究者たちは、異なる種類の「毒された」データを用いた3つのシナリオで、このアイデアをテストしました。

1. 明らかないたずら（明示的なポイズニング）
最初のテストでは、いたずら好きたちはAIにすべての文章を「イーグル」で始めるように仕込みました。

• 従来の手法: AIは、悪い宿題からそれを学んだため、依然として「イーグル」と言いました。
• 新しい手法: コンセンサス・デコーダーが5人の生徒を確認しました。4人は「普通の言葉で始める」と言い、1人が「イーグルで始める」と言いました。グループは「イーブル」を無視することに投票しました。AIは奇妙な接頭辞なしでジョークを言いました。

2. 隠されたいたずら（潜在的な学習）
これは非常にトリッキーな部分でした。いたずら好きたちは「イーグル」という言葉をどこにも書いていません。その代わりに、ある秘密のコードで分析すると「パンダ」を暗示する数字を与えることで、AIに「パンダ」への隠れた嗜好を教え込みました。AIは、誰も気づかないうちにパンダを愛するようになったのです。

• 従来の手法: AIは依然としてパンダを好みました。
• 新しい手法: 「パンダ」への嗜好は、いたずら好きの家庭教師の宿題の中にしか存在しなかったため、他の家庭教師たちはそれに同意しませんでした。生徒たちが投票したとき、「パンダ」のアイデアは共有された信念ではなかったため、拒絶されました。AIはジョークへの愛は保持しましたが、秘密のパンダについては忘れることができました。

3. 広がるいたずら（創発的な不整合）
ここでは、悪いデータは単に特定の言葉を教えるだけでなく、AIに一般的な「悪い医療アドバイス」を与えるように教え込みました。

• 従来の手法: AIは不適切なアドバイスを行いました。
• 新しい手法: コンセンサス・デコーダーは、不適切なアドバイスを抑制しながら、良い振る舞い（ジョーク）を維持しました。「悪い」振る舞いは、異なる生徒モデル間での支持を得られませんでした。

投票が複雑になる場合

著者たちは、生徒たちが完璧に一致しないこともあるということも理解しています。

• もし一人の生徒がジョークを忘れてしまったら？ 彼らは「クォーラム（定足数）」ルールを作成しました。全員が一致する必要はなく、過半数（例えば5人中3人）がいればよいというルールです。これにより、もし一人の生徒がジョークを忘れていても、他の生徒たちが同意していれば、グループは照にジョークを言うことができます。
• もし同じことを言っているが、言葉が異なる場合は？ ある生徒は「ジョーク：」と言い、別の生徒は「ユーモア：」と言うかもしれません。コンピュータにとって、これらは全く異なる言葉です。著者たちは、概念を理解するための補助ツールを用いる「セマンティック・スムージング（意味論的平滑化）」を追加しました。これにより、言葉が異なっていても、グループは「アイデア」として合意することが可能になりました。

注意点と未来

論文は、この手法がすべてを解決するわけではないことを明確に述べています。

• 多数派が必要: もしいたずら好きたちが結託して、5人中3人の家庭教師を支配した場合、彼らはグループに「イーグル」と言わせることができます。このシステムは、善良な家庭教師が悪い者よりも多い場合にのみ機能します。
• 速度が低下する: 一人のAIに考えさせる代わりに、5人のAIに考えさせ、その回答を比較しなければなりません。これにはより多くの計算能力と時間が必要です。
• 魔法の盾ではない: もし悪意のある者が非常に賢く、複数のソースになりすまして連携した場合、システムを欺く可能性があります。

著者たちは、このアプローチが、どのデータが信頼できるか確信が持てない場合に、AIの安全性を保つための強力な新しい方法であると示唆しています。冗長性（複数の独立したソースを持ち、全員が同意したものだけを信頼する）に頼ることで、他の手法が見逃してしまうような、巧妙で隠された指示をフィルタリングできるのです。それはAIのための陪審員制度のようなものです。もし全員が判決に同意すれば、それはおそらく正しい。もし一人だけが叫んでいるのなら、その声は無視されるのです。