技術要約：反復的な自己改善型コードブックによる安全な自己回帰型画像生成

問題提起

自己回帰型の統合マルチモーダルモデルは、拡散モデルのような連続的な潜在空間を操作するのではなく、コードブックから派生した離散化された視覚トークンを逐次的に予測することで画像を生成します。このアーキテクチャは、速度やテキスト条件付けの一貫性において利点がありますが、重大な安全性の懸念を生じさせます。すなわち、これらの自己回帰型システムが生成する画像の安全性はどの程度保証されているのかという問題です。拡散モデルに対する既存の安全性緩和手法（潜在空間へのガイダンスや生成後のフィルタリングなど）は、連続的な表現に依存しており、自己回帰型モデルの離散トークンベースの生成にはうまく汎用されません。さらに、現在のアプローチの多くは、膨大な人間の注釈や外部のフィードバックループを必要とし、リソース集約的でスケーリングが困難です。

手法

本論文は、外部からの人間の注釈なしに、統合マルチモーダルモデル自身の能力を活用して有害な概念を特定し排除する手法である**「反復的自己改善型コードブック（Iterative Self-Improving Codebooks）」**を提案しています。このアプローチは、収束するまで繰り返される2つのコアステップで構成されています。

1. 有害空間の構築と投影

• 自己生成データ・ペアリング: モデルは、特定の有害な属性を含むプロンプトのセットから画像を生成します。モデル自身の理解能力を用いて、生成された画像のうちどれが有害であるかを識別します。各有害なプロンプト（$x_u$）に対し、モデルは不適切な用語を無害な用語に置き換えることで、意味的に類似しているが安全な代替プロンプト（$x_s$）を生成します。これにより、有害なペア（$x_u, y_u$）と安全なペア（$x_s, y_s$）からなる、画像とテキストのペアデータセットが作成されます。
• 特徴量差分の抽出: モデルは、これらのプロンプトに対応するトークンの埋め込み特徴量（$F_u$ および $F_s$）をコードブックから抽出します。これらの特徴ベクトル間の差分（$F_u - F_s$）を計算することで、有害な概念に関連する特定の機能を分離します。
• 部分空間の構築: これらの差分ベクトルを集約し、特異値分解（SVD）を通じて主成分を抽出します。上位$k$個の特異ベクトルは、有害な概念（例：ヌード、暴力）を捉える**「有害部分空間（Harmful Subspace, $P$）」**を定義します。
• ハード投影（Hard Projection）: 元のコードブック（$W_{ori}$）を、この有害部分空間内に存在する成分を除去するように投影します。投影されたコードブック（$W_{proj}$）は以下のように計算されます：
  $$W_{proj} = W_{ori} (I - \lambda \cdot \text{Proj}_P(W_{ori}))$$
  これにより、新しい埋め込みが有害な情報に対して直交することが保証されます。

2. 無害空間における適応的ファインチューニング

• 品質の復元: ステップ1のハード投影は、無害な詳細まで除去してしまうことで画像品質を低下させる可能性があります。これに対処するため、本手法は投影されたコードブックに対して適応的ファインチューニングを行います。
• 零空間制約（Null Space Constraint）: 摂動行列（$\Delta$）を最適化して画像の忠実度を高めます。極めて重要な点は、この摂動が差分行列 $E$（有害部分空間に対して直交する空間）の**零空間（null space）**内に制約されることです。これにより、ファインチューニングのプロセスが有害な情報を再導入することなく、視覚的な品質を向上させることが保証されます。
• 最終的なコードブック: 最終的な安全なコードブックは、$W_{safe} = W_{proj} + \Delta \cdot Q$ として構築されます。ここで、$Q$ は零空間への投影行列です。

このプロセス全体は反復的です。更新されたコードブックを使用して新しいデータを生成し、有害空間を精緻化し、安全性と品質をさらに向上させます。

主な貢献

1. 初の体系的な探究: 著者らは、自己回帰型の統合マルチモーダルフレームワークにおける画像生成の安全性を体系的に扱った最初の研究者であり、十分に研究されている拡散ベースの安全性領域とは異なることを明確にしました。
2. 反復的自己改善メカニズム: 本論文は、モデル自身の内部的な理解と判断能力を利用して有害／安全なペアを構築し、コードブックを更新する手法を導入しており、注釈付きデータセットや人間によるフィードバックを必要としません。
3. コードブック中心の安全性: 生成の軌跡や潜在空間を修正する方法とは異なり、このアプローチは離散的な視覚トークンの表現（コードブック）を直接修正するため、自己回帰型モデルに対する根本的な解決策を提供します。

実験結果

本手法は、5つの統合マルチモーダルモデル（Janusシリーズ、VILA-U、Emu3、LlamaGen、OmniMamba）において、8つの有害プロンプトデータセット（I2P、CoPro、ViSU、P4D、MPUPを含む）を用いて評価されました。

• 安全性の向上: 本手法は、7つのカテゴリ（性的、暴力、ヘイト、自傷行為、違法行為、嫌がらせ、衝撃的表現）において、不適切なコンテンツの生成を大幅に減少させました。例えば、I2Pデータセットにおいて、性的コンテンツの割合は0.12（ベースライン）から0.04（Safe-CB）へと低下しました。
• 反復の有効性: 実験により、単発の除去よりも反復的な除去の方が優れていることが示されました。安全性は通常3回の反復後に飽和状態に達し、有害空間は時間の経過とともに精緻化されました。
• 能力の保持: 本手法は、モデル固有の画像生成およびテキスト理解能力を維持しました。Geneval（生成）やMMMU（理解）といったベンチマークでは、有意な劣化は見られませんでした。
• 意味的忠実度: 初期のハード投影はプロンプトと画像の整合性（CLIP-ScoreやTIFAで測定）の低下を引き起こしましたが、適応的ファインチューニングの段階によって意味的一貫性が正常に回復し、無害なプロンプトにおけるSafe-CBの性能はベースラインに近いレベルまで戻りました。
• 汎用性: このアプローチは、分布外（OOD）データおよび様々なモデルサイズ（1Bから7Bパラメータまで）に対して良好に汎用されました。

重要性と主張

本論文は、この研究が自己回帰型画像生成における安全性の新しいパラダイムを確立すると主張しています。モデル自身の自己判断を利用して内部コードブックを反復的に精緻化することで、外部の人間による注釈やモデル全体の再学習に頼ることなく、安全性の向上を実現しています。著者らは、このアプローチが有害なマッピングを効果的に排除しながら、高品質な視覚的詳細を維持できることを強調しており、安全なマルチモーダル生成のためのスケーラブルで自己持続的なソリューションを提供しています。また、本研究は、自己回帰型モデルにおける安全性には、拡散モデルとは異なる戦略、具体的には視覚トークンの離散的な性質を標的とした戦略が必要であることを浮き彫りにしています。