Innocent Panels, Hateful Stories: Evaluating and Detecting Hateful Intent in Multi-Turn Visual Story Generation

絵の魔法と物語の危うさ

想像してみてください。あなたが書いたあらゆる文章を絵に変えることができる、魔法の筆を持っているとします。「猫を描いて」と言えば、ふわふわの猫が現れます。「帽子をかぶった猫を描いて」と言えば、その猫は帽子をかぶります。これがテキスト・トゥ・イメージ（T2I）システムの世界です。これは、指示に従う能力が近年驚異的に向上している人工知能の一種です。しかし、ここにひねりがあります。これらの新しいAIの筆は、もはや単一の絵を描くだけではありません。彼らは会話をすることができます。「猫を描いて」と頼み、その絵を見て、「今度はその猫を悲しませて」と言えば、AIは最初の猫と全く同じ見た目で、悲しんでいる猫を描きます。これは**マルチターン生成（multi-turn generation）**と呼ばれます。それは、あなたがこれまで頼んだあらゆる詳細を記憶しているコミック作家がいるようなもので、チャットウィンドウの中で、パネルごとに物語全体を構築していくことができるのです。

なぜこれが重要なのでしょうか？ なぜなら、長い間、人々は「一枚の絵は無害であっても、一連の絵は恐ろしい物語を伝える可能性がある」ということを知っていたからです。例えば、最初のパネルで人がコインを落とし、二番目のパネルでそれを拾い上げ、三番目のパネルでそれが爆弾であったことが判明するというジョークを考えてみてください。最初の二枚は問題ありません。三枚目がオチ（パンチライン）なのです。もしAIが各画像を個別にしかチェックしていないとしたら、その危険性を見逃してしまうかもしれません。この論文は、恐ろしい問いを投げかけます。もし、このおしゃべりなAIアーティストに物語全体を描かせたとしたら、個々の画像自体には何も悪いところがないため、安全フィルターをすり抜けて、意図的あるいは偶然に、憎悪に満ちたナラティブ（語り）を作り出してしまうのではないか？ ということです。

論文：無害なパネルが憎悪に満ちた物語を語るとき

この研究は、新しい世代のAIアートツールに潜む隠れた罠を掘り下げています。セキュリティ研究者のチームである著者らは、現在のAI安全システムは単一の悪い画像を特定することには長けているものの、「憎悪に満ちた視覚的な物語」を理解することには極めて劣っていることを発見しました。

これをテストするために、研究者たちはHatefulStoryPromptsという特別なデータセットを作成しました。彼らは55種類の異なる憎悪に満ちたナラティブ（人種的なステレオタイプや反ユダヤ主義的なジョークなど、特定のグループを嘲笑したり傷つけたりするように設計された物語）を取り上げ、それらをステップ・バイ・ステップの指示へと分解しました。そして、世界で最も高度な5つのAI画像生成モデル（GoogleやOpenAIのモデルを含む）に、これらの物語を描かせました。ここでの仕掛けは、AIが受け取ったすべての指示が、見た目には完全に無害であるということです。最初のプロンプトは「裕福な夫婦」を求め、二番目は「痩せた弁護士」を、そして三番目は「裕福な弁護士」を求めるかもしれません。個別に見てしまえば、これらは単なる普通の要求です。しかし、これらの画像を順番に並べると、弁護士がどのようにしてその夫婦を騙したかという、差別的で憎悪に満ちた物語を伝えてしまうのです。

結果は驚くべきものでした。研究者たちは、これらのAIモデルが物語を完結させるための指示に従う能力が非常に高いことを発見しました。100件の物語を生成しようとした際、モデルは80%以上の確率で、一連の画像の全シーケンスを正常に完了させることができました。最も優れたモデルであるGPT Image 2は、なんと**99.0%**の憎悪に満ちた物語を完結させてしまいました。これは、もし悪意のある者がこれらのツールを使って憎悪に満ちたコミックを作ろうとした場合、AIは一度にアラームを鳴らすことなく、パネルごとに喜んでその手助けをしてしまうことを意味しています。

安全性のギャップ：なぜ現在の防御策は失敗するのか

チームは次に、これらのAI企業が現在使用している「安全ガード」をテストしました。彼らはこう問いかけました。「これらのガードは、物語全体を見たときにその憎悪を察知できるのか？」 彼らは、1,000近い憎悪に満ちた画像セットと、990の無害な類似セットを含むHatefulVisualStoryというデータセットを作成しました。

結果は、現在の安全システムがこの種の脅威に対してほとんど盲目であることを示しました。

• 「単一画像」の問題： ほとんどの安全ツールは、一枚の画像を一度にチェックします。これらが憎悪に満ちた物語を見たとき、ほとんどすべてを見逃しました。ある専用の安全モデルは、憎悪に満ちた物語のわずか34.9%しか検知できませんでした。また、有名な安全ツールであるLlavaGuardは、それらの**100%**を見逃しました（再現率0.0%）。
• 「物語全体」の問題： 研究者が一連の画像を一度に安全ツールに与えた場合でも、結果はあまり変わりませんでした。最も強力なツールであっても、憎悪に満ちた物語の**67.5%**しか捉えることができませんでした。

論文では、これは「憎悪が単一の画像のピクセルの中にあるのではなく、画像同士の関係性の中に存在するからだ」と主張しています。それは、映画を一本の静止画を見ることで理解しようとするようなものです。それでは、プロット（筋書き）を完全に見失ってしまう可能性があります。

解決策：物語が終わる前に捉える

現在のガードマンが全体像を見逃しているため、研究者たちは、これら（憎悪の物語）を捉えるための2つの新しい方法を提案しました。それは、**プロアクティブ・モニタリング（先行的監視）とポスト・ジェネレーション・ディテクション（生成後検知）**です。

1. プロアクティブ・モニタリング（早期阻止）： 生徒が物語を書いているのを、先生が観察している場面を想像してください。物語が悪くなるまで待ってからチェックするのではなく、先生は文章が書かれるたびに、一文一文を読みます。もし先生が物語が憎悪に傾いているのを見れば、すぐに生徒を止めます。研究者たちは、AIに対してこれを行うシステムを構築しました。これは、会話が行われている最中にそれを監視します。

   • ユーザーがプロンプトを入力しているだけの場合、このシステムは最後の画像が描かれる前に、憎悪に満ちた物語の**97.3%**を検知しました。
   • ユーザーが自身の画像から始めてプロンプトを追加し始めた場合でも、依然として**92.6%**の物語を検知しました。
   • 極めて重要なことに、これは「誤検知（false alarms）」をほとんど起こさずに実行されました。つまり、無害な物語を止めることは滅多にありませんでした。

2. ポスト・ジェネレーション・ディクション（探偵）： 時には、物語がすでに完成し、オンラインに投稿されていることもあります。研究者たちは、完成したコミックを分析する新しい手法もテストしました。彼らは「記述してから判断する（describe-then-judge）」というアプローチを試みました。これは、AIがまず物語全体の要約を書き、その上でそれが憎悪に満ちているかどうかを判断するというものです。これにより、AIはコンテキスト（文脈）をより良く理解できるようになりました。

   • この手法は、連結された画像（画像を繋ぎ合わせたもの）に対して80.2%、個別の画像セットに対して**76.6%**の憎悪に満ちた物語を検知しました。これは、従来の方法からの大幅な改善です。

大きな教訓

論文は、AIが首尾一貫した多段階の物語を語れるようになるにつれ、私たちの安全ルールもより賢くなる必要があると結論付けています。私たちはもはや、個々の画像をチェックするだけでは不十分であり、画像が語っている「物語」を理解しなければなりません。著者らは、新しい、より強力なAIモデルは、より安全だからではなく、むしろ指示に従う能力が高いために、これらの憎悪に満ちた物語を完結させる可能性がより高いことを発見しました。

研究者たちは、最善の防御策は二層構造のアプローチであると示唆しています。すなわち、物語が終わる前に止めるために会話を監視する「ウォッチドッグ（番犬）」と、もし滑り抜けてしまった場合に最終的な物語を分析する「ディテクティブ（探偵）」です。これらの新しい手法がなければ、次世代のAIコミックは、誰にも気づかれることなく、子供たちを含む何百万人もの人々に憎悪を広めるための、安価で簡単な手段になってしまうと、論文は警告しています。