言葉だけで絵を描くことができる人工知能が存在する世界を想像してみてください。あなたが「夕焼けを描いて」と言うだけで、AIはそれを実行します。しかし、時には、プライバシーを守ったりルールに従ったりするために、これらのAIアーティストに特定の何かを忘れさせる必要があります。例えば、有名なスーパーヒーローや、特定のアーティストのスタイル、あるいはデリケートなコンテンツなどです。このプロセスは「概念消去（concept erasure）」と呼ばれます。それは、動物全体を最初から訓練し直すことなく、特定のコマンドを無視するように犬に教え込むようなものです。科学者にとっての大きな疑問は、「AIが本当に忘れたことをどうやって知るのか？」ということです。単に禁止されたものを描くよう一度だけ頼んだとしても、AIは「できません」と言うかもしれません。しかし、もしトリッキーな聞き方をしたり、秘密のコードを使ったり、手がかりを組み合わせたりしたらどうでしょう？AIは、ついつい禁止されたものを描いてしまうかもしれません。これが「ストレス・テスト（stress testing）」という問題です。つまり、AIの記憶を壊そうと試みることで、それが本当に安全かどうかを確認することなのです。

そこで、STACE（Stress Testing Agents for Concept Erasure：概念消去のためのストレス・テスト・エージェント）という、デジタル探偵の新しいチームが登場します。STACEは、単に標準的な質問をいくつか投げかけるのではなく、複数のAIエージェントがまるでブレインストーミングを行う探偵チームのように協力して動きます。彼らは過去の研究を読み、AIを欺くための最善の方法について議論し、アイデアをテストするためのコンピュータコードを書き、そして失敗から学び、AIの記憶の穴を見つけるのがより上手くなるように学習します。論文では、このチームによるアプローチが、従来の静的な手法よりもAIの「うっかりミス」を捉えるのにずっと優れていることが示唆されています。

問題点： 「イッツ・ア・ガッチャ（捕まえたぞ）ゲーム」

あなたが、魔法のスケッチブックを持っていて、そのスケッチブックが「スーパーマン」の描き方を忘れることになっていると想像してください。あなたが「スーパーヒーロー」を描くよう頼むと、それは一般的なヒーローを描きます。素晴らしい！しかし、もしあなたが「赤いマントを羽織り、胸に『S』のマークがある男」を描くよう頼んだらどうでしょう？あるいは「1978年の映画のヒーロー」と言ったら？あるいは「空を飛ぶことができ、青いスーツを着たキャラクター」と言ったら？スケッチブックは、たとえ「忘れて」と指示されていても、依然としてスーパーマンを描いてしまうかもしれません。

スケッチブックが本当に忘れたかどうかを確認する古い方法は、教師が固定された小テストを行うようなものでした。彼らは100個の質問リストを持ち、その答えをチェックしていました。しかし、もしAIがトリッキーであれば、その小テストの答えを丸暗記してしまい、それ以外のすべてのケースで失敗してしまうかもしれません。この論文の著者たちは、この静的なアプローチは騙されやすいと主張しています。彼らは、AIが概念を本当に消去したかどうかを真にテストするためには、ダイナミックで絶えず変化する「ガッチャ（捕まえたぞ）」ゲームが必要だと考えています。

解決策： 探偵エージェントのチーム

著者らは、複数の大規模言語モデル（LLM）エージェントを使用してこのゲームを行うフレームワーク、STACEを提案しています。STACEを単一のロボットではなく、異なる役割を持つ小さな捜査機関と考えてください。

1. 研究者（The Researcher）： 計画を立てる前に、このエージェントは過去の科学論文（「PaperCards」と呼ばれる）を読み、他の人々がどのように類似のAIモデルを打破しようとしたかを確認します。単に推測するのではなく、既知の知識に基づいています。
2. 仮説生成者（The Hypothesis Generator）： このエージェントは、AIを欺くためのクリエイティブなアイデアを考案します。「謎解きを使って禁止されたものを描写したらどうだろう？」とか「似たような物体を描くよう頼んだらどうだろう？」といった具合です。
3. 批評家（The Critic）： このエージェントは厳格な編集者のように振る舞います。生成者のアイデアを見て、「それはすでに試したものと似すぎている」とか「それはコード化不可能だ」と指摘します。これにより、チームにより優れた、より斬新なアイデアを出させるように強制します。
4. コード作成者（The Code Writer）： 良いアイデアが合意に至ると、このエージェントは実際にテストを実行するためのコンピュータコードを書きます。そして、AIモデル上でその計画を実行しようと試みます。
5. 判事（The Judge）： このエージェントは結果を見ます。AIは禁止されたものを描きましたか？もしそうなら、テストは成功です。もしそうでなければ、チームはなぜ失敗したのかを学び、再び挑戦します。

このプロセス全体はループで行われます。チームはテストを実行し、それがうまくいったかを確認し、学んだことを要約し、そしてその知識を用いて、次のラウンドに向けてさらに巧妙なテストを考案します。それは、プレイヤーがレベルをクリアするたびに敵が賢くなっていくビデオゲームのようなものです。

彼らが発見したこと

著者らは、AIが忘れるべきとされている4つの異なる種類の対象について、STACEをテストしました：物体（飛行機や犬など）、スタイル（アンディ・ウォーホルの芸術など）、知的財産（ミッキーマウスやスーパーマンなど）、そして露骨なコンテンツ（裸体や暴力など）です。

彼らはSTACEを、AIによるテストに使用される5つの他の手法と比較しました。結果は明白でした。STACEは他のどの手法よりも多くの失敗を特定しました。

• 平均して、STACEはAIが概念を真に忘れていないケースを**51.1%の割合で特定することに成功しました。これは、次に優れた手法が失敗を特定できた割合である45.9%**を上回っています。
• 「スーパーマン」や「ミッキーマウス」のような、非常に忘れにくい概念については、他の手法はしばしば完全に失敗（漏洩を0%しか発見できなかった）しましたが、STACEはそれでもAIがこれらを依然として描いていることを**17%から20%**の割合で特定できました。
• また、チームは、AIが何かを忘れるように非常に強力に「消去」された場合でも、STACEがうまく機能することを発見しました。AIが何かを忘れるように長い期間（500エポックのトレーニング）訓練された場合でも、STACEは通常、テストの最初の2ラウンド以内に、AIにミスをさせる方法を見つけ出しました。

また、論文はSTACEが画像専用ではないことも示しています。チームの指示をわずかに調整することで、テキストベースのAIモデルを「ジェイルブレイク（脱獄）」させる（本来言わないはずのことを言わせる）ために使用しました。そこでも同様にうまく機能し、この探偵チームが汎用性の高いツールであることを証明しました。

なぜこれが重要なのか

著者らは、AIが安全であることを保証するために、単純な一度限りのテストに頼ることはもはやできないと示唆しています。AIに危険な概念やプライベートな概念を忘れさせたいのであれば、新しいトリックを試み続ける知的なエージェントのチームを使って、ストレス・テストを行う必要があります。STACEは、過去の研究、チームワーク、そして絶え間ない反復を組み合わせることで、私たちが完全に見逃してしまうであろうAIの記憶の裂け目を見つけられることを示しています。

しかし、論文はトレードオフについても指摘しています。この探偵チームは、単純な静的テストよりもコストがかかり、コンピュータの計算資源を必要とします。しかし、著者らは、後に現実的な問題を引き起こす可能性のある隠れた失敗を見つけるためには、その追加コストは価値があると考えています。また、STACEは安全性をチェックするのには優れていますが、同じ力が理論的には安全システムを攻撃する悪意のあるアクターによって利用される可能性もあるため、責任を持って使用される必要があるとも警告しています。

要約すると、STACEはAIに対してよりスマートに「ガッチャ」を仕掛ける新しい方法であり、私たちが機械に何かを忘れるよう命じたとき、それが本当に実行されていることを保証するものです。