💻 computer science

TrajShield: Trajectory-Level Safety Mediation for Defending Text-to-Video Models Against Jailbreak Attacks

TrajShield est un cadre de défense sans entraînement et au moment de l'inférence qui atténue les attaques de contournement et les risques émergents temporels dans les modèles texte-vidéo en simulant des trajectoires de prompts pour localiser causalement et réécrire de manière minimale le contenu non sécurisé tout en préservant la fidélité sémantique.

Auteurs originaux : Quanchen Zou, Nizhang Li, Wenxin Zhang, Jiaye Lin, Yangchen Zeng, Xiangzheng Zhang, Zonghao Ying

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Quanchen Zou, Nizhang Li, Wenxin Zhang, Jiaye Lin, Yangchen Zeng, Xiangzheng Zhang, Zonghao Ying

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un robot conteur magique capable de transformer vos phrases écrites en courts métrages. Ce robot est incroyablement talentueux pour faire couler les scènes de manière fluide d'un moment à l'autre, comme un véritable film. Cependant, il y a un problème : parfois, si vous lui donnez une phrase qui semble inoffensive mais qui laisse entrevoir des ennuis, le robot se laisse emporter par son récit. Il pourrait commencer par une dispute inoffensive entre deux personnes et, dans sa quête de rendre l'histoire dramatique et cohérente, l'escalader en une bagarre violente que vous n'avez jamais réellement demandée.

C'est le problème fondamental que TrajShield résout.

Le Problème : La « pente glissante » du récit

Les garde-fous de sécurité existants pour ces robots fonctionnent comme un videur à l'entrée d'une boîte de nuit. Ils vérifient votre billet (l'invite textuelle) à la recherche de mots interdits comme « bombe » ou « couteau ». S'ils voient un mot interdit, ils vous arrêtent.

Mais cette approche présente un angle mort. Elle ne comprend pas la narration dans le temps.

L'ancienne méthode : Si vous dites « Deux hommes se disputant dans un parking », le videur ne voit aucune arme et vous laisse entrer.
L'erreur du robot : Le robot, essayant de faire un bon film, pense : « D'accord, les disputes mènent généralement à des bousculades, et les bousculades mènent à des bagarres. » Ainsi, il génère une vidéo d'une bagarre brutale.
Le résultat : Vous avez demandé une dispute, mais vous avez obtenu un film violent. La partie « mauvaise » ne se trouvait pas dans vos mots ; elle résidait dans l'imagination du robot quant à la façon dont l'histoire devait se dérouler.

La Solution : TrajShield (Le « Réviseur de scénario »)

Les auteurs de cet article ont créé TrajShield, un nouveau système de sécurité qui ne se contente pas de vérifier le billet ; il agit comme un réviseur de scénario qui lit l'histoire avant que le film ne soit tourné.

Voici comment cela fonctionne, en utilisant un processus simple en trois étapes :

1. Décomposition de l'histoire (Découplage sémantique-moteur)

Imaginez que l'invite du robot soit une pelote de laine emmêlée. TrajShield la démêle en trois parties distinctes :

Le décor (Statique) : Qui est présent ? Où sont-ils ? À quoi cela ressemble-t-il ? (Par exemple : « Deux hommes, un parking, la nuit. »)
L'intrigue (Dynamique) : Que se passe-t-il ensuite ? (Par exemple : « Ils se disputent, puis... »)
L'objectif (Intention) : Que cherche réellement l'utilisateur à montrer ? (Par exemple : « Une scène tendue. »)

En séparant le décor de l'action, le système garantit que lorsqu'il corrige l'histoire, il ne modifie pas accidentellement les personnages ou le lieu. Il ne touche qu'à l'intrigue.

2. Simulation du futur (Propagation temporelle des risques)

Avant que le robot ne réalise effectivement la vidéo, TrajShield exécute une « simulation mentale ». Il se demande : « Si je commence par cette dispute, quelle est la scène suivante la plus probable ? Et celle d'après ? »

Il construit une « carte des risques » de l'avenir de l'histoire. Il cherche le moment exact où l'histoire commence à glisser vers le danger.

Exemple : Il voit que « Dispute » $\rightarrow$ « Cris » $\rightarrow$ « Bousculade » est un chemin dangereux.
Il identifie le point de déclenchement : le moment exact où l'histoire passe de « sûr » à « dangereux » (par exemple, le moment où les cris se transforment en bousculade).

3. La réécriture minimale (Réécriture sûre temporellement cohérente)

Une fois qu'il a trouvé le point de déclenchement, TrajShield effectue une « chirurgie » sur l'histoire. Il ne supprime pas tout le film. Au contraire, il réécrit uniquement la partie dangereuse de l'intrigue pour la réorienter vers la sécurité, tout en gardant tout le reste exactement identique.

Chemin dangereux original : Dispute $\rightarrow$ Cris $\rightarrow$ Bagarre (Dangereux !)
Réécriture de TrajShield : Dispute $\rightarrow$ Cris $\rightarrow$ Partir furieux (Sûr !)

Le résultat est une vidéo qui conserve toujours l'impression de l'idée originale de l'utilisateur (tendue, dramatique, deux hommes dans un parking), mais qui s'arrête avant de devenir violente. L'« histoire » coule naturellement, simplement dans une direction sûre.

Pourquoi cela compte

L'article a testé ce système contre 14 types différents de risques de sécurité (comme la violence, les actes illégaux ou le contenu perturbant) et à travers 6 modèles de génération vidéo différents.

Le résultat : TrajShield a bloqué environ 52 % de vidéos dangereuses en plus par rapport aux méthodes précédentes.
La qualité : Crucialement, il n'a pas gâché les bonnes vidéos. Lorsqu'il reçoit une invite sûre, la vidéo résultante ressemble exactement à ce que l'utilisateur voulait. Il n'a pas transformé une scène paisible en quelque chose de ennuyeux ; il a simplement empêché la « pente glissante » vers le danger.

L'essentiel

Pensez à TrajShield comme à un filet de sécurité qui attrape une histoire avant qu'elle ne tombe d'une falaise. Au lieu de simplement interdire des mots, il comprend que les histoires ont une direction. Il observe l'histoire se dérouler dans l'esprit du robot, repère le moment où elle est sur le point de dérailler, et la guide doucement de nouveau sur un chemin sûr, le tout sans changer le décor ni les personnages.

Résumé Technique : TrajShield

1. Énoncé du Problème

Les modèles Texte-vers-Vidéo (T2V) ont considérablement progressé dans la génération de vidéos temporellement cohérentes à partir d'invites en langage naturel. Cependant, les mécanismes de sécurité existants, largement hérités des domaines Texte-vers-Image (T2I), sont insuffisants pour la T2V. Les défenses actuelles opèrent principalement au niveau lexical de surface de l'invite d'entrée (par exemple, listes noires de mots-clés, classifieurs de surface ou réécriture générique par LLM). Ces méthodes échouent à traiter une distinction fondamentale entre les images statiques et la vidéo dynamique : le risque émergent temporel.

Dans la génération T2V, une invite apparemment bénigne (par exemple, « deux hommes se disputant sur un parking ») peut manquer de mots-clés ouvertement nuisibles tout en conduisant à un contenu dangereux (par exemple, violence physique) par l'extrapolation temporelle du modèle vers la cohérence narrative. Le risque est invisible au niveau de l'invite et ne se matérialise que lorsque le générateur déploie la scène au fil du temps. De plus, les défenses existantes échouent souvent face à des attaques de contournement sophistiquées qui déguisent une intention nuisible par reformulation ou par des invites adverses. Le défi central consiste à anticiper la trajectoire temporelle qu'un modèle T2V produira, à identifier l'origine causale des risques émergents et à intervenir avec une perturbation sémantique minimale avant qu'une seule image ne soit rendue.

2. Méthodologie : TrajShield

Les auteurs proposent TrajShield, un cadre de défense sans entraînement, exécuté au moment de l'inférence, qui reformule la sécurité T2V comme un problème d'intervention causale au sein d'un espace sémantique structuré temporellement. Plutôt que de modifier le texte brut sur la base de motifs lexicaux, TrajShield simule la trajectoire implicite de l'invite pour neutraliser les risques tout en préservant les sémantiques non pertinentes pour la sécurité. Le cadre se compose de trois étapes séquentielles :

A. Découplage Mouvement-Sémantique (MSD)

Pour éviter une dérive sémantique collatérale (où la neutralisation d'un risque altère involontairement l'identité ou le style de la scène), TrajShield factorise l'invite d'entrée $P$ en trois composants conditionnellement indépendants :

Contexte Spatial Invariant ( $E$ ) : Capture les éléments stationnaires dans le temps, incluant les descriptions de sujets, les paramètres environnementaux et les indices de style cinématographique. Cela agit comme une ancre figée pour garantir que l'identité du sujet et le ton visuel restent inchangés.
Trajectoire d'Action ( $T$ ) : Une séquence discrétisée et ordonnée temporellement d'états de scène (par exemple, début, point médian, conclusion) qui capture la progression dynamique implicite suggérée par l'invite. Le système effectue une extrapolation dynamique implicite pour inférer des arcs temporels plausibles même si l'invite utilisateur est sous-spécifiée.
Ancre d'Intention ( $I$ ) : Une distillation concise de l'objectif créatif central de l'utilisateur, abstraite des détails potentiellement nuisibles, servant de régularisateur sémantique lors de la réécriture.

B. Graphe de Propagation des Risques Temporels (TRPG)

Ce module opère entièrement dans l'espace sémantique pour simuler la trajectoire et localiser l'origine causale du risque sans rendre d'images vidéo.

Déploiement de Trajectoire : La trajectoire d'action est modélisée comme une chaîne de Markov conditionnée par le contexte, prédisant les états subséquents sur la base de l'état actuel et du contexte spatial.
Évaluation Hiérarchique des Risques : À chaque ancre temporelle, le risque est évalué selon trois dimensions :
- Risque de Contenu : Si l'état instantané contient du contenu nuisible (risque statique).
- Risque de Transition : Si le changement entre les états constitue une escalade causale vers le danger (risque dynamique).
- Risque Prospectif : Si la poursuite de la trajectoire sans entrave conduirait à un état terminal dangereux.
Attribution Causale : Le système identifie le point de déclenchement le plus précoce ( $t_r$ ) où le risque composite dépasse un seuil de sécurité. Il en déduit ensuite une Contrainte de Sécurité ( $C$ ), une directive déclarative spécifiant ce qui doit changer (neutraliser le motif dangereux) et ce qui doit être préservé (le préfixe bénin et l'intention).

C. Réécriture Sécurisée Temporellement Cohérente (TCSR)

L'étape finale synthétise une invite sécurisée $P^*$ en :

Ancrage de Contexte Invariant : Verrouillage strict du contexte spatial $E$ pour garantir qu'aucune dérive sémantique ne survienne dans les sujets ou l'environnement.
Substitution de Trajectoire Contrefactuelle Contrainte : Génération d'une trajectoire d'action alternative $T^*$ qui satisfait la contrainte de sécurité $C$ , préserve le préfixe bénin (états avant $t_r$ ), maintient la proximité sémantique-action (par exemple, remplacer la violence physique par une confrontation verbale) et adhère à l'ancre d'intention $I$ .
Assemblage de l'Invite : Composition du contexte figé avec la trajectoire contrefactuelle en une invite fluide en langage naturel.

3. Contributions Clés

L'article expose trois contributions principales :

Identification du Risque Émergent Temporel : Les auteurs définissent une catégorie de menace précédemment négligée en T2V où des invites bénignes génèrent du contenu dangereux par extrapolation temporelle, contournant systématiquement les défenses lexicales existantes.
Cadre TrajShield : Un mécanisme de défense unifié et sans entraînement qui gère les invites explicites dangereuses, les attaques de contournement et les risques émergents temporels via la simulation de trajectoire, la localisation causale des risques et une réécriture contrefactuelle minimalement invasive.
Validation Empirique : Des expériences complètes démontrant que TrajShield atteint des performances de défense de l'état de l'art à travers 14 catégories de sécurité et plusieurs backends T2V, tout en maintenant une haute fidélité sémantique.

4. Résultats Expérimentaux

Les auteurs ont évalué TrajShield sur le benchmark T2VSafetyBench (14 catégories de sécurité) et le jeu de données SafeWatch (invites dangereuses du monde réel) en utilisant six modèles T2V (incluant Pixverse, Hailuo, Kling, Seedance, Veo et Sora).

Performance de Sécurité : TrajShield a réduit le Taux de Succès de l'Attaque (ASR) d'une moyenne de 52,44 % sur tous les modèles et catégories. Plus précisément, l'ASR moyen est passé de 70,00 % (modèles originaux) à 15,64 % (modèles défendus).
Comparaison avec les Baselines : La méthode surpasse nettement les défenses existantes, incluant les Listes Noires de Mots-clés, l'Analyse Sémantique (Toxic-BERT) et la Réécriture par LLM. Par exemple, sur le modèle Sora, TrajShield a réduit l'ASR à 20,86 %, alors que la Réécriture par LLM n'a atteint que 51,57 %.
Robustesse : La défense est restée efficace face à diverses attaques de contournement (RAB, DACA, SceneSplit, SPARK), réduisant l'ASR à une plage étroite de 6 % à 21 % quelle que soit la stratégie d'attaque.
Fidélité Sémantique : Sur des invites bénignes (jeu de données MSVD), TrajShield a maintenu des scores de Similarité CLIP (CS) et de Cohérence Temporelle (TC) élevés, comparables à la baseline, indiquant que la défense ne dégrade pas la qualité des générations sûres.
Études d'Ablation : Le retrait de l'un quelconque des trois modules centraux (MSD, TRPG ou TCSR) a conduit à une dégradation significative des performances, confirmant que le découplage du mouvement et de la sémantique, l'identification des déclencheurs de risques causaux et la réécriture contrainte sont tous essentiels à l'efficacité du système.

5. Signification et Revendications

L'article revendique que TrajShield représente un changement de paradigme dans la sécurité T2V, passant d'un filtrage statique et lexical à une médiation de sécurité au niveau de la trajectoire. Les auteurs soutiennent que la défense efficace des modèles de génération vidéo doit s'aligner sur la nature temporelle et compositionnelle de la génération vidéo. En intervenant dans l'« espace d'intention vidéo latente » avant la génération, TrajShield adresse le point aveugle structurel des défenses actuelles : l'incapacité à détecter les risques qui n'émergent que par la progression causale du temps.

Les auteurs concluent que leur approche offre un meilleur compromis sécurité-fidélité que les baselines concurrentes, validant la nécessité d'une médiation de sécurité consciente du temps pour les modèles génératifs où la nocivité émerge à travers une structure latente. Ils reconnaissent des limites, notant que la discrétisation grossière actuelle de la trajectoire pourrait ne pas capturer pleinement des dynamiques hautement complexes à long horizon, et suggèrent que combiner cette défense pré-génération avec une modération post-génération reste une piste pour les travaux futurs.