💻 computer science

SHIFT: Steering Hidden Intermediates in Flow Transformers

本論文は、大規模言語モデルの活性化制御に着想を得て、拡散モデル（DiT）の推論時に中間活性化をターゲットに操作する軽量フレームワーク「SHIFT」を提案し、再学習なしで望まない視覚概念の除去やスタイル・オブジェクトの制御を実現するものである。

原著者： Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

公開日 2026-04-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nina Konovalova, Andrey Kuznetsov, Aibek Alanov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「SHIFT（シフト）」という新しい技術について書かれています。簡単に言うと、「AI が絵を描くとき、特定の『 unwanted なもの（望まないもの）』を消したり、逆に『欲しいもの』を追加したりする魔法のスイッチ」**のようなものです。

従来の方法では、AI 自体を「書き直す（再学習させる）」必要があり、それはまるで「新しい学校に通って勉強し直す」ような大変な作業でした。しかし、SHIFT は**「AI が絵を描いている最中に、こっそりと指を添えて方向転換させる」**という、もっと簡単で軽い方法です。

以下に、わかりやすい比喩を使って解説します。

1. 従来の方法 vs. SHIFT：どんな違いがある？

従来の方法（再学習）：
AI が「裸体」や「著作権のあるキャラクター」を描いてしまうのを防ぐために、AI 全体を「勉強させ直して、その知識を忘れる」必要があります。
- イメージ： 巨大な図書館（AI）の司書さんが、特定の本をすべて破り捨てて、新しい本を並べ直す作業。時間がかかり、お金もかかります。
SHIFT の方法（アクティベーション・ステアリング）：
AI が絵を描いている瞬間、その「思考の過程（中間のデータ）」に、**「望まないものは消す方向」や「欲しいものは足す方向」への小さな力（ベクトル）**を加えます。
- イメージ： 川（AI の生成プロセス）を流れる船（絵）が、危険な岩（望まない概念）に近づこうとした瞬間、船長が**「少しだけ舵（かじ）を切る」**だけで、安全な場所へ進路を変えます。船自体を改造する必要はありません。

2. 具体的な仕組み：どうやって「舵」を切るの？

この技術は、AI が「テキスト（言葉）」と「画像」を混ぜ合わせて考えている場所（Transformer という仕組み）に注目しています。

「消したいもの」と「消したくないもの」を比較する：
まず、「裸体」という言葉が入った絵と、「服を着た」という言葉が入った絵を AI に描かせて、その「思考の違い」を測定します。
- 比喩： 「赤いリンゴ」と「青いリンゴ」を並べて、色の違いがどこにあるかを調べるようなものです。
「消去ベクトル」を作る：
その「違い」を数学的な「矢印（ベクトル）」に変換します。これが**「消去の魔法の杖」**になります。
描画中に「杖」を振る：
AI が絵を描いている最中（何段階ものステップがあるのですが）、その思考の過程にこの「魔法の杖」を当てます。
- 特徴： 論文によると、この「杖」は**「どの段階（ステップ）でも使える」**ことがわかりました。最初から最後まで、同じ方向に舵を切れば、効果的に望まないものを消し去れるのです。

3. SHIFT でできること（3 つの魔法）

この技術は単に「消す」だけではありません。

① 望まないものを消す（Concept Erasure）：
- 例：裸体、著作権のあるキャラクター（ミッキーなど）、特定の画家のスタイル。
- 効果： 絵の他の部分（背景や構図）はきれいに保ちながら、だけ「望まないもの」だけを消し去ります。
② 欲しいものを追加する（Concept Addition）：
- 例：猫に「帽子」を被せる、笑顔にする。
- 効果： 元の絵の雰囲気を壊さずに、新しい要素を自然に追加できます。
③ 別のものに変える（Concept Switching）：
- 例：「猫」を「犬」に変える、「若い人」を「年配の人」に変える。
- 効果： 対象物を置き換えることができます。

4. なぜこれがすごいのか？

速くて軽い： 何十億ものパラメータを持つ巨大な AI 全体を再学習させる必要がありません。必要なベクトル（魔法の杖）を作るだけなので、数分で準備できます。
高品質： 従来の方法だと、消しすぎたり、絵が崩れたりすることがありましたが、SHIFT は「絵の質」を維持したまま、狙い通りに操作できます。
応用が広い： 安全対策（不適切な絵を消す）だけでなく、アーティストのスタイルを変えたり、特定のオブジェクトを消したりと、自由自在に操れます。

まとめ

この論文が提案するSHIFTは、AI 絵画生成における**「精密な遠隔操作システム」**です。

AI という巨大なオーケストラを、指揮者が「特定の楽器（望まない概念）だけ静かにさせたり、別の楽器（望む概念）を強調させたり」するように、**「途中の瞬間にこっそりと指示を出して」**コントロールする技術です。これにより、AI の安全性を高めつつ、クリエイティブな可能性をさらに広げることができます。

SHIFT: Diffusion Transformer における隠れ中間状態の制御（Steering）による概念除去と生成制御

本論文「SHIFT: Steering Hidden Intermediates in Flow Transformers」は、高忠実度な画像生成を担う Diffusion Transformer（DiT）アーキテクチャ（例：FLUX.1）において、モデルの再学習（再トレーニング）なしで、特定の視覚的概念を除去したり、スタイルやオブジェクトを制御したりするための軽量かつ効果的なフレームワーク「SHIFT」を提案しています。

以下に、問題定義、手法、主な貢献、結果、そして意義について詳細にまとめます。

1. 問題定義と背景

近年、Diffusion Transformer（DiT）は従来の U-Net 型モデルを上回る高品質な画像生成とプロンプトへの追従性を実現しています。しかし、モデルの能力が向上するにつれ、有害なコンテンツ（ヌード、著作権侵害、禁止された概念など）の生成リスクも増大しています。

既存の概念除去（Concept Erasure: CE）手法の多くは、勾配ベースの最適化（微調整）に依存しており、大規模な DiT モデル（120 億パラメータ規模など）に対しては計算コストが極めて高く、実用的ではありません。また、蒸留モデル（Distilled Models）に対しては、従来のガイドンス（Guidance）に依存する手法が機能しないという課題もあります。さらに、DiT はテキストと画像のトークンを統合された空間で処理するため、従来のクロスアテンション層への介入だけでは不十分であり、より正確な介入が必要です。

2. 手法：SHIFT (Steering Hidden Intermediates in Flow)

SHIFT は、大規模言語モデル（LLM）における「アクティベーション・ステアリング（Activation Steering）」の概念を DiT に応用したフレームワークです。モデルの重みを変更することなく、推論時に中間アクティベーションにベクトルを注入することで、生成方向を制御します。

主要な技術的アプローチ

介入ポイントの特定:
- DiT の「ダブルストリームブロック」において、テキストエンコーダのプーリング埋め込み（Pooled Embedding）と、DiT 内のテキストトークンアクティベーションの 2 つの地点に介入します。
- これにより、テキストの意味が生成プロセス全体に伝播する段階を直接制御します。
ステアリングベクトルの構築:
- データセット作成: 対象概念を含むプロンプト（正例）と含まないプロンプト（負例）の対を作成します。
- ベクトル推定:
  - SVM ベース: 正例と負例のアクティベーション分布を分離する超平面の法線ベクトルをステアリング方向として算出します。
  - 平均差分: 正例と負例のアクティベーションの平均差分ベクトルを使用します。
- これらのベクトルは、特定の概念（例：「ヌード」や「特定のアーティストのスタイル」）に対して学習されます。
推論時の適用:
- 生成プロセス中に、選択されたレイヤーとタイムステップにおいて、計算されたステアリングベクトルをアクティベーションに加算します（ $Y_{steered} = Y + \alpha \times v_{steering}$ ）。
- 動的な強度制御: ステアリングの強度（ $\alpha$ ）は、ターゲット概念がまだ存在しているかどうかを判定する軽量な分類器（SVM）のスコアに基づいて動的に調整されます。これにより、過剰なステアリング（画像品質の劣化や不要な概念の消去）を防ぎます。
時間的不変性の発見:
- 重要な発見として、DiT の潜在空間における意味的ベクトルは時間的に安定しており、すべての拡散タイムステップに対して単一のステアリングベクトルを適用することで効果的に制御できることが示されました。

3. 主な貢献

統合されたステアリングフレームワーク:
- オリジナルモデル（Flux.1[dev]）と蒸留モデル（Flux.1[schnell]）の両方に対応する、再学習不要の概念操作フレームワークを初めて提案しました。
空間的・時間的ダイナミクスの分析:
- DiT のアクティベーション空間における時間的一貫性を発見し、すべてのタイムステップで単一のベクトルを適用できることを実証しました。これにより、ステアリングプロセスが大幅に簡素化されました。
蒸留境界を超えたベクトルの転送:
- 蒸留モデル（schnell）から学習したステアリングベクトルを、非蒸留モデル（dev）へ転送しても有効であることを実証しました。これは、リソース制約のある環境での応用可能性を示唆しています。

4. 実験結果

SHIFT は、抽象概念、具体的オブジェクト、スタイル変換など、多様なタスクで評価されました。

抽象概念の除去（ヌードなど）:
- I2P ベンチマークにおいて、既存の手法（ESD, EAP, CA, UCE）と比較して、ヌード検出数を大幅に削減（3〜4 倍の抑制効果）しました。
- 画像の品質（FID）やプロンプトとの整合性（CLIP スコア）は、既存の最良の手法と同等かそれ以上を維持しました。
具体的概念の除去（Snoopy など）:
- 特定のキャラクター（Snoopy）を除去しつつ、関連する他のキャラクター（Mickey, Pikachu など）を保持する能力が確認されました。
- 既存の手法（CA など）が失敗したケースでも、SHIFT は効果的に概念を除去しました。
スタイル制御とオブジェクト追加:
- 特定のアーティスト（Van Gogh など）のスタイルを除去しつつ、他のスタイルを保持する能力や、画像に帽子やメガネなどの小物を追加する能力も実証されました。
蒸留モデル間の転送:
- Flux.1[schnell] で学習したベクトルを Flux.1[dev] に適用しても、高い除去性能を維持しました。

5. 意義と将来展望

計算効率とスケーラビリティ: 重み更新を必要としないため、大規模な DiT モデルに対しても高速かつ低コストで概念制御が可能です。
柔軟な制御: 単なる「削除」だけでなく、スタイル変換やオブジェクトの追加・置換など、多様な生成制御タスクに汎用性があります。
安全性と実用性: 生成 AI の安全性向上（有害コンテンツの防止）や、著作権管理において、モデルの再トレーニングなしで迅速に対応できる手段を提供します。

結論として、SHIFT は、Diffusion Transformer の内部表現を直接操作することで、モデルの再学習なしに高品質かつ柔軟な生成制御を実現する画期的なアプローチです。特に、蒸留モデルを含む現代の大規模生成モデルにおける概念除去と制御の新たな標準となり得る可能性を秘めています。