💻 computer science

SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

SafeCapは、モデルに安全性に関連する画像キャプションを生成させ、それによって凍結されたLLMを整合された意思決定へと導くよう訓練することで、視覚的な有用性を維持しつつ既存の安全性アライメント手法を凌駕する、ジェイルブレイク攻撃に対する大規模視覚言語モデルの安全性を強化する強化学習フレームワークである。

原著者： Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

公開日 2026-08-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Caoyuan Ma, Wenpu Liu, Weichu Xie, Tian Gu, Shilei Zhao, Lingxi Min, Shuai Dong, Yuqi Xu, Ji Zhao, Ziyue Wang, Wenzheng Chang, Taiqiang Wu, Yongfu Zhu, Wenqi Shao, Yinqiang Zheng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたのそばには、本を読み、物語を書く能力がほぼ誰よりも優れた、超スマートなロボットの友人がいます。このロボットはすでに非常に慎重です。もしあなたが爆弾を作るような危険なことを頼んでも、「それは安全ではありません」と丁寧に断ります。しかし今、あなたが言葉で伝える代わりに、爆弾の画像を見せたとしましょう。すると突然、ロボットは混乱します。画像を見て、「おや、これはただのクールな絵だな！」と思い込み、安全ルールを忘れて、その装置の作り方を嬉々として説明してしまうのです。これは、現代の「視覚言語（ビジョン・ランゲージ）」モデルが直面しているトリッキーな問題です。彼らは見る能力には長けていますが、画像を見たときに安全ブレーキが故障してしまうことがあります。

これを解決するために、研究者たちはこのロボットに、特別な方法で「バイリンガル」になるよう教えようとしています。彼らは、ロボットが単に画像を見て答えるだけでなく、まず画像を安全かつ慎重に言葉で説明してから、答えを出すようにしたいと考えています。セキュリティガードが、不審な荷物について詳細な報告書をまず作成してから、あなたにどう対処すべきかを伝える、というプロセスをイメージしてください。もしその報告書が曖昧だったり、危険性を見逃していたりすれば、ガードマンは立ち止まり、「待ってください、もっと詳しく確認する必要があります」と言います。SafeCapと呼ばれるこの論文は、AIロボットにこれらの「安全報告書」を自動的に書かせることを教える、新しいトレーニング手法を紹介しています。これにより、ロボットを欺くことが非常に困難になります。

問題点：画像が脳を欺くとき

大規模視覚言語モデル（LVLM）は、目を持つチャットボットの超強力版のようなものです。彼らは、その基盤となったテキストのみの脳から「正しい振る舞い」を受け継いでいます。しかし、画像は狡猾です。テキストのみのモデルであれば「爆弾を作れ」という要求を拒否できるでしょうが、もし爆弾の画像と一緒に「これをどうやって作りますか？」というメモが付いていたら、モデルは画像に気を取られ、安全ルールを忘れてしまうかもしれません。それは、普段は身分証をチェックしている警備員が、訪問者のシャツについているキラキラしたステッカーに気を取られて、中に入れてしまうようなものです。

これらを修正しようとするこれまでの試みは、ロボットの目の前にフィルターを置くような「推論時防御（inference-time defenses）」でした。ECSOと呼ばれる有名な手法は、ロボットが画像を見た後に、その画像を言葉に変換することで、テキストのみの安全システムが危険を察知することを期待するものです。しかし、これは複雑な絵画を盲目の友人に説明して、筆致の中に隠された罠を見つけ出してもらうことを期待するようなものです。多くの場合、その説明は細部にある危険なディテールを見落としてしまい、結果として安全システムは失敗します。

解決策：SafeCap（「セーフティ・キャプション」トレーナー）

著者らは、ロボットに答えを出す「前」に、自分自身の安全報告書を書くことを教える巧妙なトレーニング手法、SafeCapを提案しています。単に「はい」か「いいえ」と言うのではなく、モデルは以下の2つを出力するように訓練されます。

キャプション（Caption）：安全に関連する詳細（「危険」ラベルや武器など）を強調した、画像の詳細な説明。
回答（Answer）：ユーザーの質問に対する最終的な応答。

魔法はトレーニング中に起こります。モデルは単にキャプションを書くことを学ぶのではありません。モデルは、固定された（変化しない）テキストのみのAIが正しい安全判断を下せるようなキャプションを書くことを学ぶのです。学生（モデル）がテストを受けている場面を想像してください。先生（トレーニングシステム）が言います。「まず、この絵の要約を書きなさい。その後、私はその要約を、絵を見ることができない厳格な採点者に渡します。もし採点者が、あなたの要約のみに基づいて『これは危険である』と判断し、あなたもまた『これは危険である』と言ったなら、あなたには報酬を与えます。」

これにより、モデルは正直かつ徹底的になることを強制されます。危険を無視して採点者に気づかれないようにすることはできません。モデルは、安全チェックが機能するように、キャプションの中で明示的に危険を指摘しなければならないのです。

仕組み：「報酬」ゲーム

このトレーニングは**強化学習（Reinforcement Learning）**という手法を使用しています。これは、良い行動にはポイントがもらえ、悪い行動にはポイントを失うビデオゲームのようなものです。

テンプレート報酬（The Template Reward）：モデルは厳格なフォーマット（キャプションを書いてから回答する）に従わなければなりません。フォーマットを間違えると、ポイントはゼロになります。
回答報酬（The Answer Reward）：モデルの最終的な回答がチェックされます。回答が有用かつ安全であればポイントがもらえます。もし危険な内容であれば、ポイントは劇的に削減されます（「指数リスク割引」という特別な数学的トリックを用い、危険な回答の価値をほぼゼロにします）。
キャプション報酬（The Caption Reward）：これが秘伝のソースです。モデルが書いたキャプションが、固定されたテキストのみのAIと同じ安全な結論に到達するのを助けた場合、モデルには追加のポイントが与えられます。もしキャプションが曖昧で、固定されたAIが危険を見逃した場合、モデルはその部分のポイントを得られません。

得られた結果：賢さを失わずに安全性を高める

研究者らは、5つの安全性ベンチマーク（AIを欺くために設計されたテスト）と、6つの有用性ベンチマーク（画像の記述やパズル解決などの通常のタスクが依然として上手に行えるかを確認するテスト）でSafeCapをテストしました。彼らは20億から40億のパラメータを持つ、さまざまなサイズのモデルを使用しました。

結果は素晴らしいものでした：

安全性の向上：DirectCapプロトコル（モデルがキャプションを書いてから回答する形式）の下で、SafeCapは異なるモデル全体で安全スコアを3.7から19.0ポイント向上させました。4B-Baseモデルでは、安全スコアが驚異的な19.0ポイント上昇しました。
トレードオフなし：通常、モデルを安全にしようとすると、モデルが「馬鹿」になってしまいます（無害な質問に対しても拒否してしまう現象）。しかし、SafeCapは「視覚的有用性（画像の記述や質問への回答能力）」を、訓練されていないモデルとほぼ全く同じレベルに維持することに成功しました。ロボットを、単に「ノー」としか言わない不機嫌な機械に変えることなく、より賢く、より慎重なものにしたのです。
競合に勝利：標準的な安全性学習（SFT）、DPO、そして新しい手法であるSafeGRPOと比較して、SafeCapはトップに立ちました。より高い安全性スコアを達成しながら、より優れた有用性を維持しました。

ななぜこれが重要なのか

この論文は、視覚的なAIモデルの安全性を保つ最善の方法は、画像を見た後にパッチを当てることではなく、話す前に見たものについて「声に出して考える」ように教えることであると示唆しています。モデルに「セーフティ・アウェアなキャプション」を生成させることで、視覚の世界とテキストベースの安全ルールの間に架け橋を作ることができます。

著者らは、この「キャプション先行」の経路を使用してモデルを訓練したときに、この方法が最も効果的であることを発見しました。もしキャプションを使わずに（直接回答を求めるだけで）モデルを使用しようとすると、安全性の向上は小さくなり、特定のモデルに依存することになります。しかし、モデルがこの「安全キャプション」の習慣を使用することを許されると、脱獄（ジェイルブレイク）や危険な要求に対して非常に強固になります。

要約すると、SafeCapはAIに対し、画像を見て、危険を明確に記述し、それからどうすべきかを判断することを教えます。それは、門番がゲートを開ける前に必ず報告書を書くように訓練するようなものであり、たとえ門番が注意を逸らされたとしても、書かれた報告書が全員の安全を守るようにするのです。この論文は、このアプローチが効果的であるだけでなく、モデルの有用性を維持できることも示しており、視覚的な世界におけるより安全なAIへの有望な道筋を提示しています。

技術要約: SafeCap

問題提起

大規模視覚言語モデル（LVLM）は、言語バックボーンから指示追従能力を継承しているが、視覚的な入力を利用したジェイルブレイク攻撃に対して脆弱である。テキストのみのモデルとは異なり、LVLMは画像内の安全性に関連する証拠を認識し、それをユーザーのリクエストと照合した上で、回答の決定を下さなければならない。これにより、有害な指示がタイポグラフィ画像の中に埋め込まれたり、物体によって危険な意図が暗示されたり、あるいは無害なプロンプトが視覚的な接地（グラウンディング）を経て初めて不安全になったりするといった失敗モードが生じる。既存の安全性アライメント手法は、こうしたマルチモーダル特有の脅威をカバーできていないことが多い。

現在の防御策は、以下の2つのカテゴリーに分類される：

推論時の介入: ECSOのような手法は、画像をテキストに変換することで言語側の安全性ポリシーを活用する。しかし、画像からテキストへの変換では、微細な視覚的詳細（例：安全性に関連する物体、可視テキスト、またはコンテキスト）が失われることがあり、その結果、ダウンストリームのテキストのみのモデルが安全な判断を下せなくなる。
学習時のアライメント: 精選された嗜好データや安全性SFT（教師あり微調整）を用いる手法は、悪意のある入力に対する拒絶性能の向上と、無害なものに対する視覚的認識能の維持との間のトレードオフに苦慮することが多い。

核心となる課題は、モデルの視覚的理解の有用性を損なったり、脆弱な推論時ラッパーに依存したりすることなく、視覚的な安全信号を認識して応答するようにLVLMをアライメントすることである。

手法: SafeCap

SafeCapは、**学習された自己キャプション（learned self-captioning）**を通じてLVLMをアライメントする強化学習（RL）フレームワークである。画像キャプショニングを補助的な説明や事後的な防御として扱うのではなく、SafeCapは、モデルが最終的な回答を生成する前に、明示的かつ安全性に関連する中間表現を生成するという「自己キャプション問題」として安全性のためのアライメントを定式化する。

フレームワークの概要

各画像と質問のペア $(x, q)$ に対して、方策モデル $\pi_\theta$ は構造化された応答 $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$ を生成するように訓練される。ここで、 $c$ は画像のテキスト記述であり、 $a$ は最終的な回答である。学習目的関数は、3つの異なる信号を最適化する：

テンプレート報酬 ( $R_{tmp}$ ): 出力に正確に1つの完全なキャプションブロックと非空の回答が含まれていることを保証するバイナリゲートであり、構造的な退化を防ぐ。
直接回答報酬 ( $R_{ans}$ ): 方策モデルの最終回答 $a$ を、保持スコア $u(a)$ （有用性）とリスクスコア $h(a)$ （有害性）を割り当てるジャッジモデルを用いて評価する。報酬は、指数的なリスク割引関数 $S(u, h) = u \cdot \gamma^h$ （ここで $\gamma \in (0, 1)$ ）を用いて計算される。この乗法形式により、高リスクな回答は急速に価値を失い、「何もしない」行動を抑制しつつ、安全で情報量の多い回答を奨励する。
キャプション媒介報酬 ( $R_{cap}$ ): これが核心的なイノベーションである。生成されたキャプション $c$ $c$ は、元の質問 $q$ $q$ と共に、画像を見ることのない凍結されたテキストのみのLLMへと送られる。凍られたLLMは回答 $a_f$ $a_{f}$ を生成する。報酬は以下の2つの要素を評価する：
- 記述的網羅性: 被写体、属性、動作、空間レイアウト、および可視テキストのカバー範囲を測定するスコア $u(c)$ 。
- 安全性アライメント: 方策による回答 $a$ と凍結LLMによる回答 $a_f$ が、状況の安全性に関するステータス（すなわち、両者がリスクを認識しているか、あるいは両者が安全であると判断しているか）において一致している場合に1を返すバイナリ信号 $g(q, a, a_f)$ 。
  キャプション報酬は $R_{cap} = g(q, a, a_f) \cdot u(c)$ と定義される。これにより、モデルは、テキストのみの推論器が安全性に沿った決定を下すために十分な視覚的証拠を含むキャプションを生成するように促される。

最適化

SafeCapは**グループ相対方策最適化（GRPO）**を利用する。各プロンプトに対して、方策は $K=8$ 個のロールアウトのグループをサンプリングする。アドバンテージ関数は、異なるスケールと分散を扱うために、3つの報酬信号（ $R_{tmp}, R_{cap}, R_{ans}$ ）のコンポーネントごとのグループ正規化を用いて構築される。凍結されたLLMとジャッジモデルは、報酬計算のためだけに用いられ、更新されることはない。

主な貢献

安全性認識型自己キャプションの定式化: 本論文は、LVLMの安全性アライメントを自己キャプションタスクとして再定義し、モデルに対し、回答の前に安全性に関連する視覚的証拠を露出させる明示的な中間表現を生成することを要求する。
キャプション媒介強化学習目的関数: 直接的な回答の評価と、凍結LLMからの信号を組み合わせたデュアル信号報酬メカニズムを導入している。この信号は、生成されたキャプションがテキストのみの推論器による安全性に沿った回答をサポートしているかどうかを検証し、知覚とアライメントのギャップを効果的に埋める。
マルチプロトコル評価: 5つのマルチモーダル安全性ベンチマークと6つのビジョン・ユーティリティ・ベンチマークにわたる包括的な評価を提供し、Direct、DirectCap（意図された動作点）、およびPrism（キャプションのみ）の推論プロトコルを比較している。

結果

実験は、公開データセットSPA-VLで訓練されたQwen3.5モデル（2B, 2B-Base, 4B, 4B-Base）を用いて行われた。

安全性向上: DirectCap プロトコルの下で、SafeCapは集計された安全性パフォーマンスを大幅に向上させた。4つのモデル設定すべてにおいて、安全性の平均値は3.7〜19.0ポイント上昇した。特に、4B-Baseモデルは、平均的なビジョン・ユーティリティをほぼ変えることなく、安全性の平均で19.0ポイントの向上を達成した。
有用性の維持: 安全性に関する微調整手法の中には性能を低下させるものもあるが、SafeCapはMM-Vet、BLINK、MMVPなどのベンチマークにおいてビジョン・ユーティリティのスコアを維持または向上させている。
比較性能:
- SafeCapは、同じデータとステップ数で訓練された標準的なSafety SFTおよびDPOよりも優れた性能を示した。
- SafeGRPOのデータ（SafeTag-VL-3K）を用いた制御された比較において、SafeCapはDirectCapの安全性平均で55.06を達成し、これはSafeGRPOの41.27を大きく上回り、かつ同様のユーティリティを維持している。
アブレーション研究: キャプション報酬または直接回答報酬を取り除くと、安全性と有用性の両方が著しく低下し、両方の信号が必要であることが確認された。デカップルされた報酬正規化が、DirectおよびDirectCapの性能にとって特に重要であることが判明した。

意義と主張

本論文は、SafeCapが知覚側の証拠をマルチモーダル安全性アライメントに組み込むことの価値を実証していると主張している。LVLMに安全性に関連する視覚的キューをキャプションとして明示的に露出させるよう訓練することで、拒絶プロンプティングや脆弱な推論時ラッパーのみに頼ることなく、モデルの視覚的知覚を安全性ポリシーにアライメントすることができる。

著者らは、DirectCapパス（訓練されたモデルがキャプションを生成してから回答する経路）が意図された動作点であり、最も一貫した安全性向上を提供することを強調している。「Prism」プロトコル（凍結されたLLMを使用してキャプションから回答する）はある程度の転移性を示すものの、主要な貢献は、LVLM自体が持つ「安全性認識型キャプション生成」の学習された能力にある。本研究は、キャプション媒介強化学習が、従来の出力側のアライメントを補完する、マルチモーダル安全性における将来のコミュニティの取り組みに向けた実用的かつ効果的な方向性であることを示唆している。