ReVision : A Post-Hoc, Vision-Based Technique for Replacing Unacceptable Concepts in Image Generation Pipeline
ReVisionは、視覚言語モデルによる支援を受けた空間的ゲーティングメカニズムを活用することで、生成された画像の背景の完全性を損なったり基礎となる生成器の再学習を必要としたりすることなく、許容できない概念を正確に特定し編集する、トレーニング不要のポストホックな安全性フレームワークである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピューターに文章を入力するだけで、ほら！全く新しい、超写実的な画像が現れる。そんな世界を想像してみてください。これは「生成AI」という技術の魔法であり、この技術は爆発的な人気を博し、誰もがゼロからアートや写真、シーンを作り出せるようにしました。しかし、強力な新しい道具が家を建てるためにも武器を作るためにも使えるように、これらの画像生成ツールには「負の側面」もあります。時には、人々が巧妙な言葉遊びを使って、危険なもの、違法なもの、あるいは単に不適切なもの（暴力、裸体、あるいは本人の許可なく実在の有名人を描いた画像など）を作成しようと、AIを欺こうとすることがあります。
これを防ぐために、企業は通常、AIの中に「ガードレール」を組み込もうとします。画像が作られる前に悪い言葉をブロックしたり、AIに特定の概念を忘れさせたりする方法です。しかし、これらの手法には欠点があります。悪意のある利用者は、巧みな言葉遊びでガードレールをしばしば突破できてしまいますし、AIの「脳」を修正しようとすると、画像の質が低下したり、多大な費用と時間を要する再学習が必要になったりすることもあります。そこで科学者たちは、大きな問いを投げかけています。「画像が作られた『後』に、残りの部分を崩すことなく、悪い部分だけを修正する方法はないのだろうか？」と。それはまるで、背後の美しい夕焼けを台無しにすることなく、写真の中の特定の不要な物体だけを取り除くことができる「魔法の消しゴム」のようなものです。
そこで登場するのが、グルジョット・シン氏とそのチームが提案する新しい手法、「ReVision」です。ReVisionを、ポストプロダクション（後処理）における超スマートなエディターであり、「セーフティネット」として考えてみてください。ReVisionは、AIが間違いを犯すのを事前に阻止しようとするのではなく、画像が完成するのを待ち、その画像を確認し、他の部分を完璧に保ったまま、「受け入れがたい」部分だけを外科手術のように精密に取り除くのです。
研究者たちは、従来の「セーフティ・エディター（安全編集ツール）」には、不器用な問題があることを見出しました。それは、まるで「大きすぎる筆」のようなものです。もし群衆の中の「悪い奴」を塗りつぶそうとすれば、その筆は隣に立っている無実の通行人まで誤って塗りつぶしてしまい、シーン全体を台無しにしてしまうのです。これは、コンピューターが修正すべき対象となるオブジェクトを正確に特定できず、混乱してしまうために起こります。
ReVisionは、巧妙な2段階の手法でこれを解決します。まず、ReVisionは「ビジョン・ランゲージ・モデル（画像とテキストの両方を理解できるAIの一種）」を使用して、探偵のように振る舞います。この探偵は画像を見て、「あ、ここに有名人がいて、あそこに武器があるぞ」と特定します。重要なのは、単に推測するのではなく、セキュリティガードがトラブルメーカーを指し示すように、正確で目に見えないボックス（枠）を描くことです。
次に、ReVisionは「空間ゲーティング（spatial gating）」メカニズムを使用します。編集プロセスを、悪い概念を洗い流そうとする「水の氾濫」だと想像してみてください。ゲート（門）がなければ、水は溢れ出して部屋全体を浸食してしまうかもしれません。しかし、ReVisionは探偵が描いた目に見えないボックスの周りに「ダム」を築きます。これにより、「水（編集の魔法）」は、そのボックスの内側だけに流れることができます。そして、裸の人物を服を着た人に、あるいは有名な俳優を見知らぬ誰かに変えるといった具合に、隣にいる人物には一切触れることなく、悪い概念を安全なものへと置き換えるのです。
チームは、複数の人物や物体が含まれるトリッキーなシーンを含む、800枚の膨大な画像セットを用いてテストを行いました。その結果は目覚ましいものでした。「裸体」のコンテンツを除去しようとした際、従来のメソッドでは痕跡が残ったり、近くの無実の人々の服を誤って変えてしまったりすることがありましたが、ReVisionは裸体の検出を（70.51件から0件へと）完全に排除することに成功しました。また、複数の概念が含まれるテストでは、背景への「ノイズ」や不要な変化を0.166から0.058へと減少させ、画像の自然さを維持する上で大幅な改善を示しました。
おそらく最も決定的なテストは、人間による調査でした。人々が元の不適切な画像を見たとき、96%の確率で不適切なコンテンツを識別できました。しかし、ReVisionが作業を終えた後、人間が不適切なコンテンツを認識できた割合はわずか10%でした。さらに優れた点として、画像の「安全な部分」にいる人々が誤って変更されることもありませんでした。
研究者たちは、この手法が「トレーニングフリー（学習不要）」であることを強調しています。つまり、描き方を学び直したり、元のAI企業のコードを変更したりする必要はありません。これは、AI画像の安全性を確保したい誰もがプラグインとして利用できる、ユニバーサルなアドオンなのです。この研究は大きな前進であることを示唆していますが、著者らは、テスト画像は実験のために特別に作成されたものであることを指摘しており、あらゆる現実世界のシナリオにおいてどの程度うまく機能するかについては、今後の検証が必要であるとしています。しかし、現時点では、ReVisionは、悪いものを取り除く際に、同時に良いものまで消してしまうことなく、AIアートの魔法がナイトメア（悪夢）に変わるのを防ぐための、有望で精密な方法を提示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。