技術要約：低次元化された線形最適制御によるビデオ生成モデルの活性化ステアリング

問題提起

大規模なウェブデータで学習されたテキスト動画生成（T2V）モデルは、不適切なコンテンツ（裸体、凄惨な暴力、著作権物、公人の描写など）を継承することがあります。これらの安全上のリスクには、視覚的な品質やプロンプトへの忠実度を犠牲にすることなく、出力を制約する介入が必要です。既存の緩和戦略には、以下のような重大な限界があります。

• ファインチューニングは、膨大な学習リソースを必要とします。
• モデル編集（重みの修正）は、出力品質の低下や予測不能な挙動を誘発する可能性があります。
• プロンプト・フィルタリングは、ジェイルブレイク（脱獄）や間接的なプロンプトに対して脆弱です。
• 既存の活性化ステアリング手法は、通常、非予見的であり、固定された、あるいは近視眼的な介入を行うため、摂動がモデル内でどのように伝播するかを考慮できていません。これは、過剰なステアリング、コンテンツの劣化、あるいは敵対的なプロンプトに対する感度の高さにつながります。

さらに、T2Vモデルの高次元な活性化空間（8,000万次元を超える場合がある）に最適制御を直接適用することは計算量的に不可能であり、フル空間のヤコビ行列にはペタバイト級のメモリが必要となります。

手法：LA-LQR

著者らは、最小限の侵襲的なT2Vステアリングのために設計された、低次元化された最適制御フレームワークである**Latent Activation Linear-Quadratic Regulator (LA-LQR)**を提案します。この手法は、T2V推論を動的システムとして定式化し、クローズドループのフィードバック介入を計算します。

1. T2Vを動的システムとして定式化する

Diffusion Transformer（DiT）に基づくT2V生成プロセスを、内部の活性化が状態として機能する有限ホライゾン動的システムとして再定式化します。システムは、拡散タイムステップ $t \in [T]$ およびトランスフォーマー層 $l \in [L]$ にわたって進化します。状態遷移はモデルの重みとアーキテクチャによって支配され、ステアリング信号はビデオトークンの活性化またはテキスト埋め込みに適用される制御入力 ($u_s$) として作用します。

2. 低次元化された潜在空間の構築

制御を可能にするため、LA-LQRは高次元の生の活性化 ($x \in \mathbb{R}^{D_{act}}$) を、低次元でタスクに関連する潜在空間 ($z \in \mathbb{R}^{D_{lat}}$) へと投影します（ここで $D_{lat} \ll D_{act}$）。

• 対照的基底（Contrastive Basis）: この部分空間は、対照的なプロンプトのペア（ターゲットとなる特徴を含む $D^+$ と、それを含まない $D^-$）から導出されます。
• ランダム化SVD: 著者らは、巨大なヤコビ行列を実体化させることなく、主要な特徴方向を特定するために、これらのプロンプトペアの差分ベクトルに対してストリーミング・ランダム化特異値分解（SVD）を使用します。
• 投影: 活性化はこの基底 ($P_s$) に投影され、局所的な線形ダイナミクスはヤコビ行列ベクトル積（JVP）を用いてこの潜在空間内で推定されます。

3. 潜在線形特徴セットポイント (LLFS)

潜在空間内において、手法は望ましい特徴の強度を表す潜在線形特徴セットポイント (Latent Linear Feature Setpoint: LLFS) を定義します。

• 特徴方向 $v^z_s$ は、投影された対照ベクトルを平均化することで計算されます。
• ターゲット強度 $\beta^*_s$ は、ハイパーパラメータ $\lambda$ を通じて設定されます。
• 追従誤差 $\alpha_s$ は、ターゲット強度と現在の投影された特徴強度の差として計算されます。

4. LQRによる最適制御

LA-LQRは、潜在空間内で線形二次レギュレータ（LQR）問題を解き、最適な制御信号 $u^*_s$ を決定します。

• 目的関数: 望ましい特徴セットポイントからの偏差を罰すると同時に、不要な摂動（制御努力）を罰するコスト関数を最小化します。
• クローズドループ・フィードバック: オープンループの手法とは異なり、LA-LQRはリッカチ再帰を通じてフィードバックゲイン $K_s$ を計算します。介入は $u^*_s = \bar{u}_s - K_s \delta z_s$ となり、ここで $\delta z_s$ は名目上の軌道からの偏差です。
• 適応性: コントローラーは各タイムステップおよび各層における実現された潜在活性化に対してオンラインで適応し、自然な活性化の進化を予測しながら、セットポイントに到達するために必要な場合にのみ介入します。

5. 理論的保証

本論文は、潜在セットポイントの追従と生の活性化空間における特徴制御との関係を示す理論的境界を提供しています。投影が主要な特徴エネルギー（$\rho_s$ によって定量化）を保持し、投影されたダイナミクスが局所的に線形である場合、生の空間における特徴追従誤差は、潜在的な追従誤差、投影損失、および線形化残差によって抑えられることを証明しています。

主な貢献

1. 定式化: 著者らはT2V生成を有限ホライゾン動的システムとして定式化し、推論時の最小侵襲的なオンライン・フィードバック介入を導出する線形最適制御フレームワークを提案しました。
2. 計算可能性: 対照ベクトルを用いた低次元化された潜在空間の構築を導入することで、フルサイズの活性化ヤコビ行列を回避し、T2Vモデルにおける最適制御を現実的なものにしました。
3. 理論的正当性: 特徴情報の投影による損失を定量化し、潜在空間の局所的な線形性を検証することで、低次元化されたコントローラーの性能に関する境界を明らかにしました。
4. 実証的検証: コンセプト・ステアリングおよびビデオ安全性ベンチマークにおける広範な評価により、LA-LQRが既存のT2Vステアリングおよび安全性ベースラインと比較して、プロンプトの忠実度と視覚的品質を維持しつつ、不安全な生成を減少させることを示しました。

結果

本手法は、2つの最先端T2Vモデル（Wan2.1-T2V-14B および HunyuanVideo-1.5）を用いて、ベンチマーク T2VSafetyBench および SafeSora で評価されました。

• 安全性性能: LA-LQRは、SAFREE [10]、重みアンラーニング [9]、LLM支援ステアリング [69] などのベースラインと比較して、各カテゴリ（例：ポルノグラフィ、流血、公人、著作権）において最も低い違反率を達成しました。例えば、Wan2.1において、平均違反率はベースラインの約36.9%から、LA-LQRでは 14.6% まで低下しました。
• 品質の維持: 本手法は高いSubject Consistencyスコア（VBench）を維持しており、多くの場合ベースラインと同等またはそれを上回りました（Wan2.1において平均0.971 vs 0.964）。これは、安全性のための介入が視覚的な一貫性を損なわなかったことを示しています。
• コンセプト・ステアリング: 定性的な結果では、制御強度を高めることで、シーン内で「赤」を際立たせるなどの概念のステアリングが効果的に行われることが示され、精密な特徴変調が可能であることを実証しました。
• 比較: ジェイルブレイクされたプロンプトに対して失敗する（フィルタリング）、あるいは強力に調整すると深刻なアーティファクトを導入する（重み編集）といったベースラインとは異なり、LA-LQRは最小ノルムの摂動を通じて安全性と品質のバランスを成功裏に保ちました。

意義と主張

本論文は、LA-LQRが生成ビデオモデルにおけるメカニスティックな解釈可能性と安全性のアライメントに向けた重要な進歩であると主張しています。推論を制御問題として扱い、低次元化された最適制御を利用することで、LA-LQRは以下を実現します。

• 信頼性: 入力レベルのフィルタリングが失敗するような敵対的なプロンプトに対しても堅牢な、トレーニング不要の推論時ソリューションを提供します。
• 精密さ: 最小限の侵襲的な介入を可能にし、従来の活性化ステアリング手法に共通する「過剰なステアリング」や視覚的劣化を回避します。
• スケーラビリティ: 低次元の潜在ダイナミクスを活用することで、高次元なビデオ活性化を制御するという計算量的に困難な問題を解決します。

著者らは、LA-LQRを、T2Vモデルの信頼できるトレーニング不要のアライメントのための有望な方向性として位置づけています。制御理論に基づいた活性化ステアリングは、生成モデルの有用性と品質を維持しながら、有害な出力を効果的に制約できることを示唆しています。ただし、本手法はホワイトボックスへのアクセスを前提としており、あらゆる可能な敵対的入力に対する安全性を保証するものではないため、プロンプト・フィルタリングや出力モデレーションと併用すべきであると明記しています。