Résumé technique : Exploration de la transférabilité sans données de LoRA pour les modèles de diffusion vidéo

Énoncé du problème

Les modèles de diffusion vidéo (VDM) ont atteint des performances remarquables dans la génération vidéo haute fidélité. Pour améliorer l'efficacité, des variantes utilisant la distillation par étapes ou la distillation causale ont été développées, généralement mises en œuvre via un ajustement fin complet (FFT) d'un modèle de base préentraîné. Bien que l'adaptation à faible rang (LoRA) soit devenue une norme pour l'adaptation efficace des grands modèles génératifs, l'application directe de LoRA entraînés sur un VDM de base à ses variantes distillées entraîne une dégradation significative des performances. Comme observé dans l'article, la réutilisation directe entraîne une dégradation du style, un effondrement structurel, une duplication de personnages et des artefacts de fantômes. Le réentraînement des LoRA sur chaque modèle distillé est coûteux en calcul et nécessite souvent l'accès aux données des utilisateurs, le rendant peu pratique pour de nombreux scénarios réels.

Le défi central réside dans un manque de compréhension mécaniste quant à l'incompatibilité entre le FFT et le LoRA dans l'espace des poids des VDM. Les analyses existantes de l'espace des poids sont largement limitées aux grands modèles de langage (LLM) et ne tiennent pas compte des dynamiques de génération distinctes des modèles vidéo.

Méthodologie : Arbitrage spectral sensible aux clusters (CASA)

Les auteurs proposent l'Arbitrage spectral sensible aux clusters (CASA), un cadre sans données conçu pour transférer des LoRA d'un VDM source vers sa variante distillée sans entraînement supplémentaire ni données utilisateurs. La méthodologie repose sur une analyse novatrice de l'espace des poids des VDM.

1. Analyse de l'espace des poids

Les auteurs ont mené la première analyse systématique de l'espace des poids du FFT et du LoRA dans les VDM, révélant trois propriétés clés :

• Rigidité spectrale : Le FFT et le LoRA préservent tous deux le spectre des valeurs singulières du modèle de base à un degré élevé (changements spectraux relatifs < 0,3 %). Cela implique que l'ajustement fin ne modifie pas l'allocation globale des capacités mais induit des modifications structurelles subtiles.
• Perturbations structurées : L'adaptation se manifeste par des rotations structurées des sous-espaces singuliers. Ces perturbations présentent une forte cohérence au niveau des clusters :
  • Tête : Les directions singulières à valeurs dominantes restent fortement alignées.
  • Milieu : Les vecteurs singuliers forment des blocs cohérents alignés avec des plateaux de type marche dans la courbe des valeurs singulières.
  • Queue : Les régions quasi-dégénérées montrent un mélange diffus.
• Interférence de routage : En analysant les motifs de routage (interactions inter-sous-espaces), les auteurs ont constaté que le FFT établit une structure de routage centralisée concentrée dans quelques clusters dominants (régions de tête), qui ancrent le sous-espace génératif effectif. En revanche, le LoRA injecte des modifications de manière diffuse et globalement distribuée. L'incompatibilité survient lorsque les signaux LoRA interfèrent avec ces voies dominantes modulées par le FFT, entraînant une surcharge constructive ou une annihilation destructive.

2. Le cadre CASA

CASA opère dans la vue du sous-espace singulier, traitant l'adaptation comme un routage structuré. Il décompose le processus de transfert en deux objectifs complémentaires :

1. Restauration dans les régions non dominantes : Pour les entrées de routage en dehors des clusters dominants (où la variété générative du modèle distillé est faiblement couplée), CASA restaure directement la mise à jour LoRA en compensant la dérive du FFT ($C_{casa} = C_{lora} - C_{fft}$).
2. Arbitrage dans les régions dominantes : Pour les entrées au sein des clusters dominants (forte densité d'énergie de routage), CASA empêche la sur-activation. Il calcule un score de risque basé sur la force d'interaction locale et l'alignement directionnel au niveau du cluster entre le LoRA et le FFT. Si le risque de sur-activation est élevé (c'est-à-dire des mises à jour alignées qui amplifieraient l'énergie au-delà des régimes de fonctionnement sûrs), CASA applique une règle d'arbitrage basée sur l'amplitude, ne conservant que la contribution la plus forte entre le LoRA et le FFT pour préserver la structure générative.

Les paramètres LoRA mis à jour sont obtenus en projetant la matrice de routage arbitrée de retour dans l'espace des poids.

Contributions clés

1. Première analyse de l'espace des poids dans les VDM : L'article fournit la première analyse systématique de la manière dont le FFT et le LoRA modifient les VDM, introduisant une perspective basée sur le routage pour caractériser leurs effets dans les sous-espaces singuliers.
2. Identification du mécanisme d'échec : Les auteurs identifient la cause profonde de l'échec du LoRA sur les modèles distillés comme étant une interférence spectrale entre des motifs de routage incompatibles : le routage centralisé à haute énergie du FFT versus le routage diffus du LoRA.
3. Cadre CASA : La proposition d'une méthode de transfert sans données qui équilibre dynamiquement la préservation de la variété générative du modèle cible avec la restauration de la fonctionnalité LoRA, sans nécessiter de données utilisateurs ni de réentraînement.

Résultats expérimentaux

Les auteurs ont évalué CASA sur les modèles Wan2.1 (1,3 milliard et 14 milliards de paramètres) et HunyuanVideo-1.5, en transférant des LoRA vers diverses variantes distillées (distillation par étapes et distillation causale).

• Performance : CASA surpasse constamment la réutilisation directe de LoRA et la méthode sans données de l'état de l'art ProLoRA.
  • Fidélité du style : CASA obtient des scores CSD (Similarité de Style) nettement supérieurs, indiquant une meilleure préservation du style LoRA intended.
  • Qualité de génération : CASA améliore ou maintient les scores de qualité VideoAlign, atténuant efficacement l'effondrement structurel et les artefacts.
• Études d'ablation : La suppression de la composante de restauration ou d'arbitrage conduit à des résultats sous-optimaux, confirmant que la récupération fonctionnelle dans les régions non dominantes et l'arbitrage sensible aux interférences dans les régions dominantes sont tous deux nécessaires.
• Généralisation : La méthode a été validée sur la famille HunyuanVideo-1.5, montrant que la rigidité spectrale observée et les mécanismes d'interférence de routage se généralisent à travers différentes architectures de modèles de diffusion vidéo.
• Efficacité : Le coût computationnel est dominé par un prétraitement unique (SVD et calcul de dérive). Le transfert par LoRA est léger (de quelques secondes à quelques minutes), le rendant pratique pour une réutilisation répétée.

Importance et revendications

L'article revendique que ses découvertes révèlent un comportement structurel fondamental dans les modèles de diffusion vidéo : la rigidité spectrale et l'organisation du routage au niveau des clusters. L'importance réside dans la démonstration que l'incompatibilité du LoRA n'est pas un échec aléatoire, mais une conséquence prévisible de l'interférence spectrale dans des sous-espaces fonctionnels partagés.

En présentant le problème comme une tâche d'arbitrage de routage, CASA offre une solution rationnelle qui permet à l'écosystème des VDM distillés de tirer parti de la vaste bibliothèque de LoRA existants sans le coût prohibitif du réentraînement. Les auteurs soulignent que leur méthode est sans données et ne nécessite pas l'accès aux données des utilisateurs, répondant ainsi à un goulot d'étranglement critique dans le déploiement de modèles de génération vidéo efficaces. Les travaux suggèrent que les modèles plus grands peuvent être moins sensibles à de telles interférences en raison d'espaces génératifs plus stables, mais la méthode proposée reste efficace à toutes les échelles.