Résumé technique : Pilotage de l'activation des modèles de génération de vidéo via le contrôle optimal linéaire à ordre réduit

Énoncé du problème

Les modèles de texte-vers-vidéo (T2V) entraînés sur des données web à grande échelle héritent souvent de concepts indésirables, notamment la nudité, la violence graphique, le matériel protégé par le droit d'auteur et les représentations de personnalités publiques. Ces risques de sécurité nécessitent des interventions qui contraignent les sorties sans sacrifier la qualité visuelle ou la fidélité au prompt. Les stratégies de mitigation existantes présentent des limitations significatives :

• Le finetuning nécessite des ressources d'entraînement considérables.
• L'édition de modèle (modification des poids) peut dégrader la qualité de sortie et induire des comportements imprévisibles.
• Le filtrage de prompts est vulnérable aux jailbreaks et aux prompts indirects.
• Les méthodes de pilotage d'activation existantes sont généralement non anticipatives, appliquant des interventions fixes ou myopes qui ne tiennent pas compte de la manière dont les perturbations se propagent à travers le modèle. Cela conduit souvent à un sur-pilotage (over-steering), une dégradation du contenu ou une sensibilité aux prompts adverses.

De plus, l'application directe du contrôle optimal aux espaces d'activation de haute dimension des modèles T2V (qui peuvent dépasser 80 millions de dimensions) est informatiquement intraitable, nécessitant des pétaoctets de mémoire pour les matrices jacobiennes à espace complet.

Méthodologie : LA-LQR

Les auteurs proposent le Latent Activation Linear-Quadratic Regulator (LA-LQR), un cadre de contrôle optimal à ordre réduit conçu pour un pilotage de T2V minimalement invasif. La méthode formalise l'inférence T2V comme un système dynamique et calcule des interventions de rétroaction en boucle fermée.

1. Formalisation de la T2V comme système dynamique

Le processus de génération T2V (basé sur les Diffusion Transformers, ou DiTs) est reformulé comme un système dynamique à horizon fini où les activations internes servent d'états. Le système évolue sur des pas de diffusion $t \in [T]$ et des couches de transformer $l \in [L]$. La transition d'état est régie par les poids et l'architecture du modèle, avec des signaux de pilotage agissant comme des entrées de contrôle ($u_s$) appliquées aux activations des tokens vidéo ou aux embeddings textuels.

2. Construction de l'espace latent à ordre réduit

Pour rendre le contrôle réalisable, LA-LQR projette les activations brutes de haute dimension ($x \in \mathbb{R}^{D_{act}}$) sur un sous-espace latent de faible dimension et pertinent pour la tâche ($z \in \mathbb{R}^{D_{lat}}$), où $D_{lat} \ll D_{act}$.

• Base contrastive : Le sous-espace est dérivé de paires de prompts contrastifs ($D^+$ contenant la caractéristique cible, $D^-$ sans celle-ci).
• SVD randomisée : Les auteurs utilisent une décomposition en valeurs singulières (SVD) randomisée en flux sur les vecteurs de différence de ces paires de prompts pour identifier les directions de caractéristiques dominantes sans matérialiser de massives matrices jacobiennes.
• Projection : Les activations sont projetées sur cette base ($P_s$), et la dynamique linéaire locale est estimée dans cet espace latent à l'aide de produits Jacobien-vecteur (JVP).

3. Consignes de caractéristiques linéaires latentes (LLFS)

Au sein de l'espace latent, la méthode définit une Consigne de Caractéristique Linéaire Latente (LLFS) représentant l'intensité de la caractéristique souhaitée.

• Une direction de caractéristique $v^z_s$ est calculée en moyennant les vecteurs contrastifs projetés.
• Une intensité cible $\beta^*_s$ est fixée via un hyperparamètre $\lambda$.
• L'erreur de suivi $\alpha_s$ est calculée comme la différence entre l'intensité cible et l'intensité de la caractéristique projetée actuelle.

4. Contrôle optimal via LQR

LA-LQR résout un problème de Régulateur Linéaire Quadratique (LQR) dans l'espace latent pour déterminer le signal de contrôle optimal $u^*_s$.

• Objectif : Minimiser une fonction de coût qui pénalise les écarts par rapport à la consigne de caractéristique souhaitée tout en pénalisant simultanément les perturbations inutiles (effort de contrôle).
• Rétroaction en boucle fermée : Contrairement aux méthodes en boucle ouverte, LA-LQR calcule un gain de rétroaction $K_s$ via des récursions de Riccati. L'intervention est $u^*_s = \bar{u}_s - K_s \delta z_s$, où $\delta z_s$ est l'écart par rapport à la trajectoire nominale.
• Adaptativité : Le contrôleur s'adapte en ligne à l'activation latente réalisée à chaque pas de temps et chaque couche, anticipant l'évolution naturelle des activations et n'intervenant que lorsque cela est nécessaire pour atteindre la consigne.

5. Garanties théoriques

Le papier fournit des bornes théoriques reliant le suivi de la consigne latente au contrôle des caractéristiques dans l'espace d'activation brut. Il démontre que si la projection conserve l'énergie de la caractéristique dominante (quantifiée par $\rho_s$) et que la dynamique projetée est localement linéaire, l'erreur de suivi de la caractéristique dans l'espace brut est bornée par l'erreur de suivi latente, la perte de projection et les résidus de linéarisation.

Principales contributions

1. Formalisation : Les auteurs formalisent la génération T2V comme un système dynamique à horizon fini et proposent un cadre de contrôle optimal linéaire pour le pilotage lors de l'inférence, dérivant des interventions de rétroaction en ligne minimalement invasives.
2. Tractabilité : Ils introduisent une construction d'espace latent à ordre réduit utilisant des vecteurs contrastifs, rendant le contrôle optimal réalisable pour les modèles T2V en évitant les Jacobiennes complètes des activations.
3. Justification théorique : Le papier quantifie la perte d'information de caractéristique lors de la projection et valide la linéarité locale de l'espace latent, fournissant des bornes sur les performances du contrôleur à ordre réduit.
4. Validation empirique : Une évaluation approfondie sur des benchmarks de pilotage de concepts et de sécurité vidéo démontre que LA-LQR réduit les générations non sécurisées tout en préservant la fidélité au prompt et la qualité visuelle, surpassant les bases de comparaison de pilotage et de sécurité T2V.

Résultats

La méthode a été évaluée sur deux modèles T2V de pointe : Wan2.1-T2V-14B et HunyuanVideo-1.5, en utilisant les benchmarks T2VSafetyBench et SafeSora.

• Performance de sécurité : LA-LQR a obtenu les taux de violation les plus bas dans toutes les catégories (ex: Pornographie, Gore, Personnalités publiques, Copyright) par rapport aux bases de comparaison comme SAFREE [10], l'unlearning de poids [9] et le pilotage assisté par LLM [69]. Par exemple, sur Wan2.1, le taux de violation moyen est passé d'environ 36,9 % (baseline) à 14,6 % avec LA-LQR.
• Préservation de la qualité : La méthode a maintenu des scores de cohérence de sujet (VBench) élevés, égalant ou dépassant souvent les bases de comparaison (ex: 0,971 contre 0,964 en moyenne pour Wan2.1), indiquant que les interventions de sécurité n'ont pas dégradé la cohérence visuelle.
• Pilotage de concept : Les résultats qualitatifs ont montré un pilotage efficace des concepts (ex: changer la prédominance du "rouge" dans une scène) avec l'augmentation de la force de contrôle, démontant une modulation précise des caractéristiques.
• Comparaison : Contra-irement aux bases de comparaison qui échouent sur les prompts "jailbreakés" (filtrage) ou introduisent des artefacts sévères lors d'un réglage agressif (édition de poids), LA-LQR a réussi à équilibrer sécurité et qualité grâce à des perturbations de norme minimale.

Signification et affirmations

Le papier affirme que LA-LQR représente une étape importante vers l'interprétabilité mécaniste et l'alignement de sécurité pour les modèles de vidéo générative. En traitant l'inférence comme un problème de contrôle et en utilisant un contrôle optimal à ordre réduit, la méthode atteint :

• Fiabilité : Elle fournit une solution sans entraînement, lors de l'inférence, qui est robuste face aux prompts adverses là où le filtrage au niveau de l'entrée échoue.
• Précision : Elle permet des interventions minimalement invasives, évitant le "sur-pilotage" et la dégradation visuelle courants dans les approches de pilotage d'activation précédentes.
• Scalabilité : Elle résout l'intraitabilité computationnelle du contrôle des hautes dimensions des activations vidéo en exploitant la dynamique latente de faible dimension dérivée de l'apprentissage contrastif.

Les auteurs positionnent LA-LQR comme une direction prometteuse pour l'alignement fiable et sans entraînement des modèles T2V, suggérant que le pilotage d'activation par la théorie du contrôle peut efficacement contraindre les sorties nuisibles tout en préservant l'utilité et la qualité des modèles génératifs. Ils notent explicitement que la méthode doit être couplée à un filtrage de prompt ou à une modération de sortie, car elle suppose un accès "white-box" et ne garantit pas la sécurité contre tous les inputs adverses possibles.