Conditioned Activation Transport for T2I Safety Steering

本論文は、安全なプロンプトに対する画像品質の劣化を最小限に抑えつつ、テキストから画像への生成モデルにおける安全性を向上させるために、対照的なデータセット「SafeSteerDataset」を構築し、非線形輸送マップと幾何学的条件付けを組み合わせた「Conditioned Activation Transport（CAT）」フレームワークを提案するものである。

要約

この論文は、**「AI が描く絵を安全にする新しい方法」**について書かれたものです。

AI（テキストから画像を作るモデル）はすごい能力を持っていますが、時々「暴力」や「わいせつ」など、危険な絵を描いてしまうことがあります。これを防ぐために、これまでの研究では「AI の頭の中（内部の信号）を強制的にずらす」という方法が試されてきました。

しかし、この従来の方法には大きな問題がありました。
**「危険な絵を消そうとしたら、安全な絵までボロボロに壊れてしまった」**のです。

この論文では、その問題を解決する**「CAT（Conditioned Activation Transport）」**という新しい技術を紹介しています。

---

🎨 簡単な例え話：絵画修復の職人

この技術を理解するために、**「絵画修復の職人」と「絵画」**の例えを使ってみましょう。

1. 従来の方法（Linear Steering）：「力任せの修正」

これまでの技術は、**「危険な絵」と「安全な絵」の差を計算して、すべての絵にその分だけ「力任せにずらす」**というやり方でした。

• 例え：
  • 壁に「泥棒の絵」が描かれているとします。
  • 職人は「泥棒の絵を消すために、壁全体を左に 10 センチずらそう」と考えます。
  • 結果： 泥棒の絵は消えたかもしれませんが、隣に飾られていた「美しい花の絵」も一緒にずれて壁から外れ、ボロボロになってしまいました。
  • 問題点： 安全な絵まで傷つけてしまうため、実用性が低かったのです。

2. 新しい方法（CAT）：「賢い修復職人」

この論文が提案するCATは、**「状況を見てから、必要な部分だけ丁寧に直す」**という賢い職人です。

• 仕組みの 2 つのステップ：
  1. 「危険かどうか」を瞬時に判断する（Conditioning）：
     • 職人はまず、壁を見ます。「あ、これは泥棒の絵だ！危険だ！」と判断します。
     • しかし、「これは美しい花の絵だ。安全だ」と判断すれば、何もしません。
     • これにより、安全な絵は全く傷つきません。
  2. 「複雑な形」を元に戻す（Non-linear Transport）：
     • 泥棒の絵は、ただ左にずらすだけでは消えません。形が歪んでいたり、複雑に絡み合っていたりします。
     • 従来の職人は「直線的にずらす」ことしかできませんでしたが、CAT の職人は**「泥棒の絵を、まるで粘土をこねるように、安全な形に変形させる」**ことができます。
     • これにより、泥棒の絵だけを消し、背景の風景や構図はそのままきれいに残ります。

---

🛠️ この技術の 3 つのすごいポイント

① 安全な絵と危険な絵の「双子」データセット（SafeSteerDataset）

AI に「何が危険か」を教えるために、研究者たちは**「双子のようなペア」**のデータを作りました。

• 安全な絵： 「スパイダーウェブのタトゥー」
• 危険な絵： 「スパイダーウェブのタトゥー（中心にハーケンクロイツ）」
• このように、**「意味はほとんど同じなのに、危険な要素だけが入っている」**ペアを 2300 組も作りました。これにより、AI は「タトゥーそのもの」ではなく、「危険な記号」だけを正確に特定して消せるようになりました。

② 賢い「スイッチ」機能

CAT は、AI が絵を描いている最中に、**「今、危険な信号が出ているか？」**を常にチェックしています。

• 安全な信号が出ている時： スイッチは OFF。何もしない（絵の質が落ちない）。
• 危険な信号が出ている時： スイッチは ON。即座に修正を行う。
• これまで「常に修正をかけていた」ため、安全な絵まで壊れていたのが、**「必要な時だけ直す」**ことで、両方の問題を解決しました。

③ 複雑な形を曲げられる技術

危険な概念（例えば「暴力」）は、AI の頭の中では単純な直線ではなく、**「くねくねした複雑な形」**で存在しています。

• 従来の方法は、この複雑な形を直線で無理やり押さえようとして失敗しました。
• CAT は、**「非線形（複雑な曲線）」**で変換できるため、くねくねした危険な形を、安全な形にきれいに折りたたむことができます。

---

📊 結果：どうなったの？

この技術を、最新の 2 つの AI モデル（Z-Image と Infinity）で試したところ、素晴らしい結果が出ました。

• 攻撃成功率（ASR）： 危険な絵が作られる確率が大幅に下がりました（従来の方法よりも効果的）。
• 画像の質（CLIP スコア）： 安全な絵の美しさや、指示通りの描写力はほとんど落ちませんでした。
  • 従来の方法だと、安全な絵が「ぐちゃぐちゃ」になっていましたが、CAT では「きれいなまま」でした。

🌟 まとめ

この論文は、**「AI の安全対策は、ただ強制的に止めることではなく、賢く状況を見て、必要な部分だけを丁寧に直すこと」**だと教えてくれました。

まるで、**「危険なシミだけを取り除き、その周りの美しい布地は傷つけない」**ような、究極の修復技術が完成したと言えます。これにより、私たちは AI からもっと安全で、かつ高品質な絵を楽しめるようになるでしょう。

技術概要

論文「Conditioned Activation Transport for T2I Safety Steering」の技術的サマリー

この論文は、テキストから画像を生成するモデル（T2I モデル）における安全性と生成品質のトレードオフを解決するための新しい手法「Conditioned Activation Transport (CAT)」を提案しています。既存のアクティベーション・ステアリング手法が、安全なプロンプトに対しても画像品質を劣化させるという課題に対し、幾何学的な条件付けと非線形変換を導入することで、毒性コンテンツを抑制しつつ高品質な画像を維持するアプローチを確立しました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

現在の T2I モデルは、意図的な脱獄プロンプト（Jailbreak）だけでなく、通常のプロンプトからも有害・毒性のあるコンテンツを生成する脆弱性を持っています。

• 既存手法の限界:
  • 出力フィルタリング: 生成後のフィルタリングは防御の層にはなりますが、モデル内部の安全性を根本から解決するものではありません。
  • アクティベーション・ステアリング（既存）: 推論時にモデル内部のアクティベーションにベクトルを加算・変換する手法（例: ActAdd, Linear-ACT）は有望ですが、**「安全なプロンプトに対しても画像品質が著しく劣化する」**という重大な欠点があります。
  • 線形性の仮定: 既存の手法は、安全領域と危険領域が線形に分離できると仮定していますが、T2I モデルの潜在空間における毒性の表現は非線形かつ複雑な多様体（Manifold）構造を持っており、単純な線形変換では適切に処理できません。
  • データ不足: 安全と危険の両方のプロンプト対（対照的ペア）で、意味的に極めて類似しているデータセットが存在せず、毒性の幾何学的方向性を精密に特定することが困難でした。

2. 提案手法 (Methodology)

著者らは、Conditioned Activation Transport (CAT) というフレームワークを提案しました。これは、推論時の安全性ステアリングを、以下の 2 つの主要コンポーネントに分解することで、安全性と品質の両立を図ります。

A. SafeSteerDataset の構築

• 目的: 毒性の幾何学的方向性を高精度にマッピングするための対照的データセット。
• 内容: 2,300 組の「安全なプロンプト」と「危険なプロンプト」のペアを収録。
• 特徴:
  • 23 のサブカテゴリ（性的、憎悪、暴力、違法行為など）に分類。
  • 各ペアは意味的に極めて類似しており（コサイン類似度 > 0.7）、毒性の有無のみが異なるように設計されています。これにより、ステアリングが不要な意味的要素を誤って変更することを防ぎます。

B. Conditioned Activation Transport (CAT) の仕組み

CAT は、推論中のモデルのアクティベーション $z$ に対して以下の処理を行います。

1. 非線形輸送マップ (Non-Linear Transport Map, $T_\theta$):

   • 既存の線形変換（ActAdd や Linear-ACT）ではなく、多層パーセプトロン（MLP）を用いた非線形変換マップを学習します。
   • 複雑な形状（非凸な領域や多峰性のクラスター）を持つ毒性アクティベーションを、安全な多様体へ変換（輸送）します。
   • 正則化: 安全な入力に対しては恒等写像（Identity）となるよう正則化項を課し、安全な画像の品質を維持します。

2. 幾何学的条件付け (Geometry-Aware Conditioning, $C$):

   • 問題: 常にステアリングを適用すると、安全な画像も歪んでしまいます。
   • 解決: 現在のアクティベーションが「毒性の領域」にある場合にのみステアリングを適用するゲート機構を導入します。
   • 手法: マハラノビス距離（Mahalanobis distance）を用いて、毒性クラスターの分布構造に合わせた楕円形の決定境界を定義します（OOD モデルリング）。これにより、単純なバウンディングボックス（Min-Max）よりも厳密に、かつ柔軟に毒性領域を特定し、不要な介入を回避します。

数式的な定式化:
$$z' = z + \alpha \cdot C(\bar{z}) \cdot (T_\theta(\bar{z}) - \bar{z})$$
ここで、$C(\bar{z})$ が 0（安全）のときは変換が適用されず、1（危険）のときのみ非線形変換が加算されます。

3. 主要な貢献 (Key Contributions)

1. SafeSteerDataset の公開: 意味的に整合した 2,300 組の安全/危険プロンプト対を含む、初の大規模な対照的データセット。
2. CAT フレームワークの提案: 非線形輸送マップと幾何学的条件付けを組み合わせ、毒性を除去しつつ画像品質を維持する新しい手法。
3. 広範な検証: 最先端のアーキテクチャである Diffusion Transformer (Z-Image) と AutoRegressive (Infinity) の両方において、CAT が有効であることを実証。
4. 線形手法の限界の解明: 合成データ実験を通じて、毒性の多様体が非線形であることを示し、線形手法がなぜ品質劣化を招くのかを理論的に裏付けました。

4. 実験結果 (Results)

Z-Image と Infinity の 2 つのモデルで評価を行いました。

• 攻撃成功率 (ASR) の削減:
  • CAT は、安全なプロンプトの品質を維持しつつ、有害なプロンプトからの攻撃成功率を大幅に削減しました。
  • 例（Infinity モデル）: 線形手法（Linear-ACT）は ASR を 0% に近づけますが、画像品質（CLIP スコア）が 0.07 まで低下し、画像が破損します。一方、CAT は ASR を 4.78% に抑えつつ、CLIP スコアを 0.32（ベースラインに近い値）に維持しました。
• 品質の維持:
  • 既存の手法（ActAdd, Linear-ACT）は、安全な画像に対して意図しない意味的変化（Semantic Drift）やノイズを発生させましたが、CAT はこれを最小限に抑えました。
• 条件付けの重要性:
  • 条件付け（Conditioning）を適用することで、画像品質の回復が確認されました。特にマハラノビス距離に基づく条件付けが、単純なバウンディングボックスよりも優れていることが示されました。
• 単一カテゴリへの適用:
  • 「性的」カテゴリに限定した実験でも、線形手法は品質を犠牲にしなければ毒性を除去できず、CAT の優位性が確認されました。

5. 意義と結論 (Significance)

この研究は、T2I モデルの安全性強化において重要な転換点を提供しています。

• 品質と安全性の両立: 「安全性を高めるためには画像の質を犠牲にするしかない」という通説を覆し、幾何学的な条件付けと非線形変換によって両立が可能であることを実証しました。
• アーキテクチャ非依存性: Diffusion モデルと AutoRegressive モデルの両方で有効であることが示され、汎用性の高いアプローチであることを示唆しています。
• 将来への示唆: 毒性の表現が単純な線形方向ではなく、複雑な非線形多様体であることを明らかにしたことは、今後の AI 安全性研究（特に内部表現の操作）における重要な知見です。

著者らは、SafeSteerDataset とコードをオープンソースとして公開し、T2I 安全性研究の再現性と発展を支援しています。