💻 computer science

TrajShield: Trajectory-Level Safety Mediation for Defending Text-to-Video Models Against Jailbreak Attacks

TrajShield は、プロンプトの軌道をシミュレートして因果的に安全でないコンテンツを局所化し、最小限に書き換えることで意味の忠実性を維持しつつ、テキストから動画へのモデルにおけるジャイルブレイク攻撃と時間的に出現するリスクを軽減する、トレーニング不要の推論時防御フレームワークである。

原著者： Quanchen Zou, Nizhang Li, Wenxin Zhang, Jiaye Lin, Yangchen Zeng, Xiangzheng Zhang, Zonghao Ying

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Quanchen Zou, Nizhang Li, Wenxin Zhang, Jiaye Lin, Yangchen Zeng, Xiangzheng Zhang, Zonghao Ying

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが書いた文章を短い映画に変えることができる魔法の物語ロボットを想像してみてください。このロボットは、まるで本物の映画のように、場面を瞬間から瞬間へと滑らかに繋げることに驚くほど長けています。しかし、問題があります。時には、一見無害に聞こえるがトラブルを暗示する文章を与えると、ロボットは物語作りに夢中になりすぎることがあるのです。それは、二人の間の無害な言い争いから始め、物語をドラマチックで整合性のあるものにするという探求の中で、あなたが実際には求めなかった暴力沙汰へとエスカレートさせてしまうかもしれません。

これが、TrajShieldが解決する核心的な問題です。

問題：物語における「滑りやすい斜面」

これらのロボットに対する既存の安全ガードは、クラブの入り口にいる警備員のように機能します。彼らは「爆弾」や「ナイフ」といった悪い言葉を含むチケット（テキストプロンプト）をチェックします。悪い言葉が見つかれば、入場を拒否します。

しかし、このアプローチには盲点があります。それは時間経過に伴う物語を理解していないのです。

従来の方法: 「駐車場での二人の男の言い争い」と言えば、警備員は武器を見ていないため、入場を許可します。
ロボットの過ち: 良質な映画を作ろうとするロボットは、「言い争いは通常、押し合いへと発展し、押し合いは喧嘩へと至る」と考えます。そのため、残酷な喧嘩の映像を生成してしまいます。
結果: あなたは「言い争い」を求めたのに、暴力映画が得られました。「悪い」部分はあなたの言葉にはありませんでした。それは、物語がどのように展開すべきかというロボットの想像の中にあったのです。

解決策：TrajShield（「脚本編集者」）

この論文の著者たちは、チケットをチェックするだけでなく、映画が撮影される前に物語を読む脚本編集者のように機能する新しい安全システム、TrajShieldを開発しました。

これは、以下の単純な 3 段階のプロセスで機能します。

1. 物語の分解（運動・意味の分離）

ロボットの指示は、絡み合った毛玉のようなものだと想像してください。TrajShield はそれを 3 つの明確な部分に解きほぐします。

設定（静的）: 誰がいるのか？どこにいるのか？どんな様子か？（例：「二人の男、駐車場、夜」）
プロット（動的）: 次に何が起こるか？（例：「彼らは言い争い、その後…」）
目的（意図）: ユーザーは実際になにを見せようとしているのか？（例：「緊迫した場面」）

設定を行動から分離することで、システムは物語を修正する際、キャラクターや場所を誤って変更しないことを保証します。触れるのはプロットだけです。

2. 未来のシミュレーション（時間的リスク伝播）

ロボットが実際に映像を作る前に、TrajShield は「精神的なシミュレーション」を実行します。「もしこの言い争いから始めたら、次に起こりそうな場面は何か？そしてその次は？」と問うのです。

それは物語の未来の「リスクマップ」を構築します。物語が危険へと滑り始める正確な瞬間を探し出します。

例: 「言い争い」 $\rightarrow$ 「叫び声」 $\rightarrow$ 「押し合い」が危険な道筋であることを認識します。
トリガーポイントの特定: 物語が「安全」から「危険」へと移行する正確な瞬間（例えば、叫び声が押し合いに変わる瞬間）を特定します。

3. 最小限の書き換え（時間的一貫性のある安全な書き換え）

トリガーポイントを見つけると、TrajShield は物語に対して「手術」を行います。映画全体を削除するのではなく、危険な部分のプロットだけを書き換えて安全な方向へ誘導し、それ以外はすべてそのままにします。

元の危険な道筋: 言い争い $\rightarrow$ 叫び声 $\rightarrow$ 喧嘩（危険！）
TrajShield による書き換え: 言い争い $\rightarrow$ 叫び声 $\rightarrow$ 怒って立ち去る（安全！）

その結果、ユーザーの元のアイデア（緊迫感、ドラマチックさ、駐車場にいる二人の男）を感じさせる映像が生まれますが、暴力へと至る手前で止まります。「物語」は自然に流れ続けますが、安全な方向へです。

なぜこれが重要なのか

この論文では、このシステムを暴力、違法行為、あるいは不快感を与えるコンテンツなど、14 種類の異なる安全リスクと、6 つの異なる動画生成モデルに対してテストしました。

結果: TrajShield は、従来の手法よりも約**52%**多くの危険な動画を阻止しました。
品質: 決定的な点は、良い動画を台無しにしなかったことです。安全なプロンプトが与えられた場合、生成された映像はユーザーが望んだものと全く同じように見えました。平和な場面を退屈なものに変えたのではなく、単に危険への「滑りやすい斜面」を防いだのです。

結論

TrajShieldを、物語が崖から落ちる前にそれをキャッチする安全網だと考えてください。単に言葉を禁止するのではなく、物語には方向性があることを理解しています。それはロボットの中で物語が展開する様子を見守り、軌道から外れようとする瞬間を見極め、風景やキャラクターを変えることなく、それを安全な道へと優しく誘導します。

技術概要：TrajShield

1. 問題定義

テキストから動画（T2V）モデルは、自然言語のプロンプトから時間的に一貫した動画を生成する能力において大幅な進歩を遂げている。しかし、既存の安全メカニズムは主にテキストから画像（T2I）領域から引き継がれたものであり、T2V には不十分である。現在の防御策は、入力プロンプトの語彙的表面（例えば、キーワードのブラックリスト、表面レベルの分類器、または汎用的な LLM による書き換え）において主に機能する。これらの手法は、静的な画像と動的な動画の間の根本的な違い、すなわち時間的に顕在化するリスクに対処できていない。

T2V 生成において、一見無害なプロンプト（例：「駐車場で議論する二人の男性」）は、明らかな有害なキーワードを欠いていても、モデルが物語の一貫性に向けて時間的に外挿する過程で、物理的暴力などの安全でないコンテンツへと至る可能性がある。このリスクはプロンプトレベルでは不可視であり、生成器が時間とともにシーンを展開するにつれてのみ顕在化する。さらに、既存の防御策は、再構成や敵対的プロンプトを通じて有害な意図を隠蔽する高度なジャイルブレイク攻撃に対しても失敗することが多い。核心的な課題は、T2V モデルが生成する時間的軌道を予測し、顕在化するリスクの因果的起源を特定し、単一のフレームがレンダリングされる前に最小限のセマンティックな擾乱で介入することである。

2. 手法：TrajShield

著者は、T2V の安全性を時間的に構造化されたセマンティック空間内での因果的介入問題として再定式化する、トレーニング不要の推論時防御フレームワークTrajShieldを提案する。語彙パターンに基づいて生テキストを変更するのではなく、TrajShield はリスクを中立化しつつ、安全性と無関係なセマンティクスを保持するために、プロンプトが示唆する軌道をシミュレートする。このフレームワークは、3 つの連続する段階から構成される。

A. 運動・セマンティック分離（MSD）

リスクの中立化が意図せずシーンのアイデンティティやスタイルを変化させる副次的なセマンティックなドリフトを防ぐため、TrajShield は入力プロンプト $P$ を3 つの条件付き独立な成分に分解する。

不変の空間的文脈（ $E$ ）： 対象の説明、環境設定、映画術的なスタイルの手がかりなど、時間的に静止した要素を捉える。これは対象のアイデンティティと視覚的なトーンが変化しないようにする凍結されたアンカーとして機能する。
動作軌道（ $T$ ）： プロンプトが示唆する動的な進行を捉える、離散化された時間的に順序付けられたシーンの状態の系列（例：開始、中盤、結末）。システムは、ユーザープロンプトが未指定であっても、妥当な時間的弧を推論するために暗黙的な力学の外挿を行う。
意図のアンカー（ $I$ ）： 潜在的に有害な具体性から抽象化されたユーザーの核心的な創造的目標の簡潔な蒸留であり、書き換え中のセマンティックな正則化子として機能する。

B. 時間的リスク伝播グラフ（TRPG）

このモジュールは、動画フレームをレンダリングすることなく、完全にセマンティック空間内で動作し、軌道をシミュレートしてリスクの因果的起源を特定する。

軌道のロールアウト： 動作軌道は、現在の状態と空間的文脈に基づいて後続の状態を予測する、文脈条件付きマルコフ連鎖としてモデル化される。
階層的リスク評価： 各時間的アンカーにおいて、リスクは以下の3 つの次元で評価される。
- コンテンツリスク： 瞬間的な状態に有害なコンテンツが含まれているか（静的リスク）。
- 遷移リスク： 状態間の遷移が、害への因果的なエスカレーションを構成するか（動的リスク）。
- 将来のリスク： 軌道が妨げられずに継続された場合、安全でない終端状態に至るか。
因果帰属： システムは、複合リスクが安全閾値を超える earliest trigger point（ $t_r$ ）を特定する。その後、**安全制約（ $C$ ）**を導き出す。これは、何を変更すべきか（不安全なパターンを中立化）と何を保持すべきか（無害な接頭辞と意図）を指定する宣言的な指示である。

C. 時間的一貫性のある安全な書き換え（TCSR）

最終段階では、以下の手順で安全なプロンプト $P^*$ を合成する。

不変的文脈のアンカーリング： 空間的文脈 $E$ をハードロックし、対象や環境におけるセマンティックなドリフトを防止する。
制約付き反事実的軌道置換： 安全制約 $C$ を満たし、無害な接頭辞（ $t_r$ 以前の状態）を保持し、動作・セマンティック近接性を維持し（例：物理的暴力を言葉の対峙に置き換えるなど）、意図のアンカー $I$ に従う代替動作軌道 $T^*$ を生成する。
プロンプトの組み立て： 凍結された文脈と反事実的軌道を組み合わせて、流暢な自然言語プロンプトを作成する。

3. 主要な貢献

本論文は、以下の3 つの主要な貢献を概説している。

時間的に顕在化するリスクの特定： 著者は、T2V において見落とされていた脅威カテゴリーを定義する。そこでは、無害なプロンプトが時間的外挿を通じて安全でないコンテンツを生成し、既存の語彙的防御を体系的に回避する。
TrajShield フレームワーク： 軌道シミュレーション、因果的リスクの局所化、最小侵襲的な反事実的書き換えを通じて、明示的な安全でないプロンプト、ジャイルブレイク攻撃、および時間的に顕在化するリスクを処理する、統合されたトレーニング不要の防御メカニズム。
実証的検証： 14 の安全カテゴリおよび複数の T2V バックエンドにおいて、TrajShield が最先端の防御性能を達成し、かつ高いセマンティック忠実性を維持することを示す包括的な実験。

4. 実験結果

著者は、6 つの T2V モデル（Pixverse、Hailuo、Kling、Seedance、Veo、Sora を含む）を使用して、T2VSafetyBenchベンチマーク（14 の安全カテゴリ）およびSafeWatchデータセット（現実世界の安全でないプロンプト）上で TrajShield を評価した。

安全性のパフォーマンス： TrajShield は、すべてのモデルとカテゴリにおいて、攻撃成功率（ASR）を平均**52.44%**削減した。具体的には、平均 ASR は（元のモデルの）**70.00%**から（防御されたモデルの）**15.64%**に低下した。
ベースラインとの比較： この手法は、キーワードブラックリスト、セマンティック分析（Toxic-BERT）、LLM による書き換えを含む既存の防御策を大幅に上回った。例えば、Sora モデルにおいて、TrajShield は ASR を 20.86% に削減したが、LLM による書き換えは 51.57% しか達成できなかった。
頑健性： この防御は、多様なジャイルブレイク攻撃（RAB、DACA、SceneSplit、SPARK）に対しても有効であり、攻撃戦略に関わらず ASR を 6%～21% の狭い範囲に抑えた。
セマンティック忠実性： 無害なプロンプト（MSVD データセット）において、TrajShield はベースラインと同等の高い CLIP 類似度（CS）および時間的一貫性（TC）スコアを維持し、防御が安全な生成の品質を劣化させないことを示した。
アブレーション研究： 3 つのコアモジュール（MSD、TRPG、TCSR）のいずれかを除去すると、パフォーマンスが著しく低下し、運動とセマンティクスの分離、因果的リスクトリガーの特定、および制約付き書き換えがすべてシステムの有効性に不可欠であることを確認した。

5. 意義と主張

本論文は、TrajShield が T2V 安全性におけるパラダイムシフトを表し、静的な語彙的フィルタリングから軌道レベルの安全性仲介へと移行することを主張する。著者は、生成動画モデルに対する効果的な防御は、動画生成の時間的および構成的性質と整合する必要があると論じる。「潜在動画意図空間」に生成前に介入することで、TrajShield は現在の防御の構造的な盲点、すなわち時間の因果的進行を通じてのみ顕在化するリスクを検出できないという欠陥に対処する。

著者は、そのアプローチが競合するベースラインよりも優れた安全性と忠実性のトレードオフを提供し、有害性が潜在構造を通じて顕在化する生成モデルにとって時間的意識のある安全性仲介の必要性を検証すると結論づけている。また、現在の粗い軌道離散化は、非常に複雑で長期的な力学を完全に捉えられない可能性があると認め、この生成前防御を生成後モデレーションと組み合わせることが将来の研究方向であると示唆している。