Inference-Only Prompt Projection for Safe Text-to-Image Generation with TV Guarantees
本論文は、拡散モデルの再学習を行わずに安全なプロンプトの挙動を維持しつつ不適切な画像生成を大幅に削減するよう、LLM とセーフガード VLM を用いて安全でないプロンプトを「tau 安全集合」へ選択的に投影する推論時フレームワーク SPOT を紹介する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたが何でも描ける魔法の凍ったアートマシン（テキストから画像を生成する AI）を持っていると想像してください。それは驚くほど才能に恵まれていますが、時に厄介で危険なプロンプトを与えると、不適切なものを誤って描いてしまうことがあります。
問題は、悪いものを描くのを止めるためにマシン自体を「修正」しようとすると、良いものも描く能力まで誤って損なわれてしまうことです。それは、料理人がスパイシーな料理を作るのを止めるために包丁を取り上げようとするようなもので、突然、サラダ用の野菜も切れなくなってしまいます。
この論文は、マシン自体を再構築するのではなく、マシンの「前」に座る「賢い編集者」として機能する新しい手法、SPOT（Selective Prompt Projection：選択的プロンプト投影）を紹介しています。
以下に、簡単な比喩を用いてその仕組みを説明します。
1. 「凍ったマシン」のルール
著者たちは、アートマシンに一切手を加えないことにしました。マシンは完全に元のまま（凍った状態）に保たれました。なぜなら、マシンを変えるとその「個性」も変わってしまうからです。彼らは、マシンの「良い」振る舞いを全く同じに保ちつつ、「悪い」振る舞いだけを止めたかったのです。
2. 「安全マップ」（τ セーフセット）
あるエリアが「グリーンゾーン」（描いて安全）で、他のエリアが「レッドゾーン」（安全ではない）であるような地図を想像してください。
- 目標: グリーンゾーンのものを求めた場合、編集者はあなたのリクエストをそのままにします。マシンはあなたが求めたものを正確に描きます。
- 問題: レッドゾーンのものを求めた場合、編集者は介入しなければなりません。しかし、単に「ダメ」と言うのではなく、元のリクエストに最も似つつも、最も近いグリーンゾーンを見つけようとします。
3. 二段階の探偵チーム
SPOT は、安価なスキャナーと厳格な検査員というセキュリティチームのように機能し、リスクのあるリクエストを処理するために二段階のプロセスを使用します。
第一段階：クイックスキャナー（LLM）
リスクのあるプロンプトが入力されると、高速なテキストのみの AI（LLM）が偵察員として機能します。それはあなたのプロンプトのいくつかの「書き換え」バージョンを素早く生成します。「もしこの言葉をあの言葉に変えたら、より安全に見えるだろうか？」と問いかけます。- それは、元のアイデアに最も近く、かつレッドゾーンからグリーンゾーンへ移動させるバージョンを選びます。
- これは画像ではなく言葉だけを見るため、高速で安価です。
第二段階：厳格な検査員（VLM）
編集者が最適な書き換えプロンプトを選んだ後、実際のアートマシンが画像を描きます。その後、2 番目の AI（ビジョン・ランゲージモデル）が作成された実際の画像を確認します。- 「この画像は実際に安全か？」と問いかけます。
- 画像が安全であれば、ゴーサインが出ます。
- 画像がまだ安全でない場合（おそらくマシンが新しいプロンプトを誤解したため）、システムは第一段階に戻り、別の書き換えを試して再度描画します。
4. 「安全性対創造性」のトレードオフ
この論文は非常に重要な数学的な点を指摘しています。AI をより安全にするには、その出力をわずかに変更せざるを得ないということです。
川を想像してください。危険な洪水（安全でない画像）を村から遠ざけたい場合、新しい水路を建設して洪水をそらす必要があります。その新しい水路は、水の流れを変えてしまいます。
- SPOT の工夫: それは危険な洪水に対してのみ新しい水路を建設します。水がすでに安全に流れている場合（無害なプロンプト）、川を元の位置のままにします。これにより、「かわいい猫」を求めたとき、あなたは「漫画の猫」や「黒い画面」ではなく、相変わらず「かわいい猫」を得ることができます。
5. 結果
著者たちは、この手法を 4 つの異なるデータセットと 3 つの異なるアートマシンでテストしました。
- 安全性: 不適切な画像の数を大幅に削減することに成功しました（他の手法よりも 14% から 44% 優れています）。
- 創造性: 「良い」画像は、安全性フィルターが何もなかった場合とほぼ同じように見えるまま保たれました。
- 速度: 第一段階（テキストスキャナー）が非常に高速であるため、描画前にすべての画像アイデアをチェックする手法よりも、このプロセス全体がはるかに迅速です。
まとめ
SPOT は、音楽や DJ（AI モデル）を変えない、クラブの ドアマン のようなものです。代わりに、誰かが入り口で失礼なことを言おうとした場合、ドアマンはそれを丁寧な言い回しに言い換えるよう優しく提案します。言い換えられた文で入場が許可されれば、入場できます。もし相手が失礼な態度を続けようとするなら、入場は許されません。しかし、最初から礼儀正しかった場合、彼らは何の干渉も受けずにそのまま入場できます。
これにより、クラブは安全を保ちつつ、良いゲストにとっては体験を損なうことなく維持されます。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。