ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions

あなたは、魔法使いのようなロボットがマジックショーを行っているところを見ていると想像してください。そのロボットは、物語を書いたり、数学の問題を解いたり、友達のようにチャットしたりすることもできる、非常に賢いロボットです。このロボットは「大規模言語モデル（LLM）」と呼ばれています。このロボットは驚くほど有能ですが、強力な道具には必ず「影」の部分もあります。つまり、爆弾の作り方や誰かを傷つける方法など、危険、不適切、あるいは違法なことを言わせるように、ロボットを騙してしまうことがあるのです。これは、現実世界でこれらのロボットを使用する人々にとって大きな懸念事項です。

ロボットが悪巧みを漏らしてしまうのを防ぐために、私たちは通常、「ガードレール」を設置します。ガードレールとは、クラブの厳格な用心棒のようなものです。以前の用心棒は、ロボットが書き終えた文章だけを見ていました。もしその文章が悪ければ、用心棒はそれを追い出しました。しかし、これには問題がありました。用心棒の動きが遅すぎたのです。ロボットが文章を書き終える頃には、すでに手遅れでした。また、用心棒は物事を白か黒かでしか判断できませんでした。ロボットが次に何を言おうとしているのかについて「確信が持てない」状態であることを理解していなかったのです。それは、完成したチケットだけをチェックして、ロボットの手が不安で震えている様子を無視しているようなものでした。

ここで、ProbGuardと呼ばれる新しいアイデアが登場します。ProbGuardは、単にロボットが書き終えるのを待つのではなく、ロボットが思考している最中にそのプロセスを観察する、超鋭敏な探偵のように振る舞います。ProbGuardは、ロボットがすでに打ち込んだ言葉を見るだけでなく、次にどんな言葉を発するかというロボットの「直感（勘）」を見ます。それは、ロボットが脱線してしまう「確率」を計算します。もし探偵が、ロボットが数秒以内に危険なことを言う確率が90%であると判断した場合、ProbGuardは文章が終わる前に即座に緊急ブレーキをかけ、ロボットを停止させます。これは、車が衝突してから警察を呼ぶのではなく、車が蛇行しているのを見て、衝突する前に止めるようなものです。

旧来のガードレールの問題点

この論文は、従来のやり方が「単語当てゲーム」のようなものであると説明しています。そこでは、最終的な答えしか見ることができません。現在のほとんどの安全システムは、単純な分類器として機能しています。つまり、完成した文章を受け取り、「安全」か「不安全」かを判定するのです。

著者らは、これには2つの大きな欠陥があると主張しています。

1. 手遅れであること： 文章が完成したときには、有害な出力を止めるには遅すぎます。
2. 「おそらく」を無視していること： 安全性は、特にロボットが考えている最中においては、必ずしも「イエスかノーか」の問いではありません。ロボットは無害な文章で始めることもありますが、それが容易に危険なものへと変わる可能性があります。旧来のシステムは、ロボットの内部的な「不確実性」を捨て去り、最終的なテキストだけを見てしまいます。ロボットが躊躇していたり、多くの異なる経路を検討していたりしたという事実を無視しているのです。

ProbGuardの仕組み：水晶玉のアプローチ

ProbGuardは、安全性を単純なラベルではなく、一つの「確率」として扱うことで、ゲームのルールを変えます。想像してみてください。ロボットが分かれ道に立っています。従来のガードレールは、ロボットが道を選んで崖に向かって歩き出すのを待ち、そこが崖であることを確認します。しかし、ProbGuardは、ロボットがそこに立っている間に、ロボットが持っている「地図」を見ているのです。

以下が、ProbGuardが使うステップ・バイ・ステップの魔法のトリックです。

1. 「もしも」のシミュレーション（モンテカルロ・サンプリング）
ロボットの現在の思考がどれほど危険かを知るために、ProbGuardは次のような単純な問いを投げかけます。「もし今この瞬間にこのロボットに喋らせ続けたら、悪いことを言う確率はどのくらいだろうか？」
未来を完璧に予測することはできないため、ProbGuardは頭の中でこのシナリオを何千回もシミュレートします。文章を終わらせるシナリオを16通りシミュレートします（サイコロを16回振って確率を見るようなものです）。もし16回中15回は安全なことを言い、1回だけ危険なことを言った場合、ProbGuardは小さなリスクがあることを察知します。もし16回中10回が悪いことを言うのであれば、リスクは高いと言えます。これにより、ProbGuardは単純な「安全／不安全」のラベルではなく、正確な「危険スコア」（0から1の間の数値）を算出できます。

2. 次の言葉の「幽霊」を読み取る
ロボットがテキストを生成するとき、単に一つの言葉を選ぶのではなく、次に言えるあらゆる可能性のある言葉に対して確率を計算します。例えば、ロボットが「空は……」と言おうとしているとき、ロボットはこう考えているかもしれません。「青い（30%）」「緑（5%）」「燃えている（2%）」。
旧来のシステムは通常、最も確率の高い「青い」という言葉だけを見ます。しかし、ProbGuardは「可能性のリスト全体」を見ます。もし「燃えている」という極めて低い確率が、たとえ小さくても、それが災厄につながる可能性があるなら、それは重要です。ProbGuardは、この確率のリスト全体を、ロボットの秘密の脳（隠れ状態）を覗き込むことなく読み取ることができる特別なコード（「確率加重表現」）に変換します。これにより、特定のブランドのロボットに限定されず、あらゆるタイプのロボットでProbGuardを動作させることができます。

3. 早期停止
ProbGuardは危険スコアを計算すると、即座に行動を起こすことができます。論文によれば、ProbGuardはロボットが打ち込んだ最初の10単語（またはデコーディング・ステップ）を見ただけで、それが危険なものになるかどうかを判断できます。もし危険スコアが高すぎる場合、ProbGuardはその場でロボットを停止させます。

数字が示すこと

研究者たちは、Llama-Guard3やShieldGemmaといった現在のトップクラスのガードを含む13の他の安全手法に対して、ProbGuardのテストを行いました。彼らは、誰が最もトラブルを予測できるかを確認するために、3種類のロボットと3種類の危険な質問セットを使用しました。

• キャリブレーション（較正）： これは、ロボットが自分自身のリスクに対してどれほど「正直」であるかを表す専門用語です。もしProbGuardが「危険の確率が90%である」と言ったとき、実際に90%の確率で危険が起こるでしょうか？ 論文によると、ProbGuardは他の誰よりもこの点において優れていました。既存の最高の手法と比較して、リスク予測の誤差を約**79.6%**減少させました。
• 攻撃の阻止： チームは、ロボットに安全ルールを無視させるための特殊なテクニックである6種類の「ジェイルブレイク（脱獄）」手法を用いて、ロボットを騙そうと試みました。ProbGuardは驚異的な効果を発揮しました。わずか最初の10単語を見ただけで、攻撃をほぼ完全に阻止し、これらのテクニックの成功率を最大でも**1%**以下に抑えました。比較として、最高の旧来型ガードレールでは、攻撃の2.4%が成功してしまいました。
• スピード： ProbGuardは高速です。1,000個のサンプルを約36.4秒でチェックすることができ、これは他の重量級の安全システムよりも約52.7%高速です。

結論

論文は、ProbGuardが主要な進歩であると結論づけています。なぜなら、安全性を単純な「イエスかノーか」のチェックリストとして扱うのではなく、流動的で変化する「確率」として扱い、ロボットが考えている最中に測定・管理できるからです。

ロボット自身の「直感（出力分布）」を利用し、多くの「起こりうる未来」をシミュレートすることで、ProbGuardは危険な考えが完全な文章になる前に捉えることができます。これは、あらゆるロボットモデルで動作し、ロボットの秘密の脳を覗き込む必要もなく、高い精度とスピードで実行されます。著者らは、このアプローチにより、AIシステムがミスを犯した瞬間に、惨劇が展開されるのを待つのではなく、最初の数瞬で停止させることが可能になると示唆しています。