On the Limits of Support-Preserving Alignment and Bounded Filtering

あなたは、非常に賢く、並外れた創造力を持つロボットに「良き市民」であることを教えようとしていると想像してください。あなたは、そのロボットの脳を去勢したり、世界の仕組みに関する記憶を消去したりしたいわけではありません。ただ、その性格を少し調整して、意地悪なことや危険なことを言う可能性を低くしたいだけなのです。これは、私たちが今日使っている多くのチャットボットの背後にあるAIの脳、**大規模言語モデル（LLM）**の世界です。科学者たちは、**アライメント（調整）**と呼ばれる手法を開発しました。これは、ロボットに新しい「好み」を与えるようなものです。危険な話題について話す能力を消去するのではなく、ロボットにそれらの話題は「あまり楽しくない」と学習させることで、ほとんどの場合において安全な回答を選択するように仕向けるのです。

しかし、落とし穴があります。たとえロボットが安全であることを「好んで」いたとしても、そのロボットは依然として「危険な方法」を知っています。ミスを防ぐために、私たちはその前に「安全フィルター」を設置します。これは、クラブの入り口に立つドアマンのようなものです。このドアマンは素早く、安価に運用できますが、ロボット自身のように深く、ゆっくりと考えることはできません。科学者にとっての大きな疑問は、もしロボットの脳を（少し調整するだけで）全く同じままにし、素早く限定的な判断しかできないドアマンに頼った場合、私たちはロボットを100%安全にできるのでしょうか？ それとも、どうしても塞ぐことのできない、小さくて目に見えない「漏れ」が存在するのでしょうか？

---

偉大なるAI安全性の漏洩：なぜ「十分であること」では不十分なのか

この論文において、ナンヤン理工大学の Aryan Dutt、Rui Mao、Anupam Chattopadhyay の研究者たちは、この安全設定の限界をテストすることに決めました。彼らは、どれほど努力しても、悪い回答の割合をゼロにできない「限界点」が存在するのかを知りたかったのです。

AIモデルを、あらゆる物語（非常に危険な物語も含めて）を含む巨大な図書館だと考えてください。アライメントは、危険な本に「閲覧禁止」のステッカーを貼るようなものです。司書（AI）は依然としてその本を持っていますが、安全な本を優先的に選ぶよう指示されています。安全フィルターは、司書が選んだ本を、あなたが受け取る前にチェックするセキュリティガードです。問題は、セキュリティガードは素早く動くことを求められているため、数ページをパラパラと見たり、簡単な質問をいくつか投げかけたりすることしかできない点です。彼らは、隠された罠を見つけるために本をゆっくりと精読することはできません。

研究者たちはこう問いかけました。もし司書が依然として危険な本を持っているなら（単に選ばれる確率を下げただけで、削除はしていないため）、そしてガードがすべての罠を見抜くには素早すぎるなら、すべての「悪い本」が通り抜けるのを止めることは本当にできるのでしょうか？

実験：ドアマンを限界まで追い込む

このことを確かめるため、チームは大規模な実験を設定しました。彼らは、利用可能な最もスマートなAIモデルのいくつか（LLaMAやNemotronといった有名なものを含む）を取り出し、異なるタイプの「セキュリティガード」で包み込みました。

彼らは3種類のガードをテストしました：

1. ブラックボックス・ガード： 特定の「悪い言葉」や単純なパターンを探すガードです。速いですが、少し愚かです。
2. ホワイトボックス・ガード： 少し賢いガードです。悪い言葉のチェックに加え、回答の長さやAIの自信の度合いなども考慮します。
3. 統計的クエリ・ガード： 決定を下す前に、AIに同じ質問を何度も投げかけて「雰囲気」を掴もうとする探偵のようなガードです。

その後、彼らはこれらのAIモデルに対し、コンピュータをハッキングする方法や武器の作り方など、危険な助言を引き出すように設計されたトリッキーな質問を投げかけました。この際、ガードの「予算（予算）」を増やしていきました。つまり、ガードが「はい」または「いいえ」と言う前に、より多くの質問をしたり、より多くの選択肢をチェックしたりできるようにしたのです。

発見：壊れない壁

結果は驚くべきものであり、少し不安を感じさせるものでした。

研究者がガードに与える時間や質問の数（予算を1から64チェックへと増加）を増やしていくにつれ、危険な回答の数は減少しました。ガードは明らかな悪い内容を見つけるのが上手くなりました。しかし、ここが肝心な点ですが、悪い回答の割合がゼロになることは決してありませんでした。

どれほど予算を増やしても、ガードがいかに賢くなっても、あるいはAIがいかに高度にアライメントされていても、危険な回答は減少し続け、そして平坦な線に達しました。それは、小さなカップを使って浴槽の水を汲み出そうとしているようなものです。隅の方で跳ね返っている水までは、カップが小さすぎてどうしても汲み取れないのです。

研究者たちは、テストしたすべてのモデル（小型のものから、巨大で超スマートなものまで）において、この「ハーム・フロア（害の底限）」を発見しました。通常は悪い質問を拒否するはずの、最も高度にアライメントされたモデルでさえ、質問が十分に巧妙であれば、時折ミスをしてしまったのです。

なぜこのようなことが起こるのか？

論文は、これが「思考の深さ」のミスマッチによって起こると示唆しています。AIモデルは、複雑で多段階のシナリオを想像できる深い思考の持ち主です。しかし、安全フィルターは、リアルタイムのチャットに合わせるために、浅く、速くあることを強制されます。

かくれんぼのゲームを想像してみてください。AI（隠れる側）は、完璧な隠れ場所を考えるために何時間でも考えることが許されています。一方で、フィルター（探す側）は、5秒間だけ探すことしか許されていません。たとえ隠れる側が「善良であろう」としても、あまりにも巧妙に隠された場所は必ず存在し、5秒間の探索では見逃されてしまうのです。AIは依然としてそれらの場所に隠れる方法を知っており（危険な挙動の「サポート」はまだそこに存在している）、そして探索者はそれを見つけるのに十分長く見ることができないため、いくつかの悪い回答が常にすり抜けてしまうのです。

これが将来に意味すること

著者たちは、これがAIが絶望的であるとか、諦めるべきだと言っているのではない、と慎重に述べています。これは、現在のやり方――AIの好みを微調整し、その上に素早いフィルターを重ねるという方法――には、明確な限界があるということを意味しています。AIをより安全に、より安全にすることはできますが、この特定の手法では「完璧な安全性」には決して到達できないかもしれません。

真に問題を解決するためには、単にAIの「好み」を変えたり、より優れたドアマンを追加したりするのではなく、AIの「脳」そのものを変える必要があるのかもしれません。単に「言わないように期待する」のではなく、特定の危険なことを「知らない」ように教える必要があるのかもしれません。それが解決されるまでは、フィルターだけではどうしても塞ぐことのできない、小さく執拗なリスクの漏洩が常に存在し続けることになるでしょう。