Résumé Technique : Unison – Harmonisation du Mouvement, de la Parole et du Son pour une Génération Audio-Vidéo Centrée sur l'Humain

1. Énoncé du Problème

L'article identifie deux défis fondamentaux dans les modèles actuels de génération audio-vidéo centrée sur l'humain, qui entravent la création de contenu réaliste et immersif :

1. Interférence Intra-Audio (Dominance de la Parole) : Les modèles existants échouent souvent à équilibrer les éléments acoustiques hétérogènes au sein du flux audio. Les composantes de parole structurées ont tendance à dominer et à obscurcir les sons environnementaux transitoires (par exemple, les pas, les grattages d'instruments ou le bruit ambiant), conduisant à des scènes auditives aplaties. Cela est particulièrement problématique dans des scénarios comme « chanter tout en jouant d'un instrument », où le modèle manque de mécanismes pour dissocier et équilibrer la parole et les effets sonores.
2. Désalignement Inter-Modal : La génération de mouvement et d'audio est généralement liée uniquement par une attention croisée architecturale implicite, sans objectifs de synchronisation explicites. Cela se traduit par des gestes, des mouvements des lèvres et des attaques acoustiques désynchronisés. Bien que certaines méthodes récentes atteignent une synchronisation au niveau des images, elles manquent souvent de contraintes de cohérence explicites, entraînant une dérive temporelle entre les actions visuelles et leurs sons correspondants.

2. Méthodologie : Le Cadre Unison

Unison est un cadre unifié conçu pour générer le mouvement, la parole et les effets sonores de manière cohérente et synchronisée. Il emploie une architecture à double branche (vidéo et audio) couplée via une attention croisée bidirectionnelle, construite sur une base d'Appariement de Flux (Flow Matching - FM) avec les principes de Forçage de Diffusion (Diffusion Forcing - DF).

2.1 Aperçu de l'Architecture

• Structure à Double Branche : Le cadre utilise une branche vidéo basée sur Wan2.2-5B et une branche audio construite sur MMAudio, augmentée de Zipformer pour permettre une génération de parole robuste.
• Intégration : Les branches sont connectées via une attention croisée bidirectionnelle au niveau des images, où les latents vidéo et audio servent de requêtes mutuelles pour faciliter un échange d'informations fluide.
• Entrée/Sortie : Le système prend une légende ($\kappa$) et une transcription ($\tau$) comme entrées pour générer une vidéo ($\nu$) et un audio ($\alpha$) synchronisés.

2.2 Solution 1 : Stratégie d'Harmonisation Guidée par la Sémantique (Flux Audio)

Pour résoudre l'interférence intra-audio, Unison découple la génération de la parole et des effets sonores (SFX) en flux séparés tout en maintenant leur interaction.

• Attention Croisée Audio Bidirectionnelle (Bi-ACA) : Le latent audio est représenté comme un tenseur à double flux comprenant les composantes de parole ($h^{sp}$) et d'effets sonores ($h^{sfx}$). Ces flux subissent un cycle « interaction-fusion-séparation » au sein des blocs Transformer. Ils sont concaténés, traités via une auto-attention partagée avec des biais spécifiques à la modalité pour éviter la confusion sémantique, puis séparés. Crucialement, Bi-ACA effectue une attention croisée bidirectionnelle entre les deux flux, leur permettant d'affiner mutuellement les caractéristiques et d'assurer la cohérence acoustique sans se fier uniquement aux indices visuels.
• Gating Conditionné par la Sémantique (SCG) : Pour éviter une injection de contexte non contrainte, SCG régule de manière adaptative les mises à jour inter-flux. Des vecteurs sémantiques globaux dérivés de la légende ($c_a$) et de la transcription ($c_s$) sont utilisés pour prédire les coefficients de gating ($g_{sp}, g_{sfx}$).
  • Dans les scènes dominées par la narration, SCG atténue les caractéristiques des SFX pour préserver la pureté phonétique.
  • Dans des paysages sonores complexes (par exemple, des performances musicales), il amplifie l'influence inter-flux pour enrichir les acoustiques non parlées.
• Supervision : Le modèle utilise Mel-Roformer pour dissocier l'audio mixte en latents de parole et de SFX de vérité terrain, optimisant le décodeur à double flux via des pertes d'appariement de flux indépendantes ($L_{sp}^{CFM} + L_{sfx}^{CFM}$).

2.3 Solution 2 : Stratégie de Forçage Inter-Modal Bidirectionnel (Alignement Mouvement-Audio)

Pour remédier à la désynchronisation mouvement-audio, Unison introduit une stratégie d'entraînement qui aligne explicitement la progression du débruitage entre les modalités.

• Pas de Temps Découplés : Contrairement aux travaux antérieurs utilisant des pas de temps identiques, Unison échantillonne indépendamment les pas de temps ($t_v$ pour la vidéo, $t_a$ pour l'audio) pour chaque modalité. Cela permet à la modalité « plus propre » (niveau de bruit plus faible) de guider la modalité « plus bruyante ».
• Guidage Directionnel : Un indicateur de direction ($d$) identifie quelle modalité est leader. La fonction de perte est dynamiquement réajustée pour prioriser la branche plus bruyante, la contraignant à extraire des signaux de supervision plus forts de son homologue plus propre via une conditionnement inter-modal.
• Curriculum d'Entraînement Progressif : Pour assurer la stabilité, l'entraînement suit un curriculum en trois étapes :
  1. Échauffement Synchrone : Impose $t_v = t_a$ pour établir un alignement fondamental.
  2. Découplage Incrémental : Active l'échantillonnage indépendant avec des contraintes sur l'écart de bruit ($|t_v - t_a| \leq 0.25$).
  3. Indépendance Totale : Utilise des mises à jour découplées sans contrainte.
     Cette progression prévient l'instabilité d'optimisation causée par des disparités de bruit extrêmes.

3. Contributions Clés

1. Cadre Unifié : Propose Unison, un cadre qui impose explicitement la cohérence inter-modale pour générer le mouvement, la parole et le son de manière harmonisée, allant au-delà du couplage lâche des modèles audio-vidéo précédents.
2. Harmonisation Guidée par la Sémantique : Introduit une stratégie pour découpler la génération de la parole et des effets sonores en utilisant l'Attention Croisée Audio Bidirectionnelle (Bi-ACA) et le Gating Conditionné par la Sémantique (SCG). Cela résout les interférences acoustiques, empêche la dominance de la parole et permet une génération audio contrôlable et superposée.
3. Forçage Inter-Modal Bidirectionnel : Développe une stratégie qui renforce les dépendances temporelles en permettant à la modalité plus propre de guider la modalité plus bruyante via des calendriers de débruitage découplés, comblant efficacement le fossé entre le mouvement et l'acoustique.

4. Résultats Expérimentaux

Les auteurs ont évalué Unison sur un ensemble de test curaté de 1 000 échantillons par rapport à des références de l'état de l'art (incluant Universe-1, UniAVGen, MOVA et LTX-2).

• Performance Quantitative :
  • Fidélité Audio : Unison a obtenu les scores les plus élevés en Qualité Perceptuelle (PQ : 6,34), en Utilité du Contenu (CU : 5,61) et en Taux d'Erreur de Mots (WER : 0,22), surpassant des modèles avec des comptes de paramètres significativement plus élevés (par exemple, les 19B de LTX-2 contre la base vidéo de 5B d'Unison).
  • Synchronisation : Le modèle a démontré une cohérence inter-modale supérieure, obtenant les meilleurs scores DeSync (DS : 0,08) et des scores de Synchronisation Lèvre-Parole compétitifs (LSE-C : 3,30).
• Améliorations Qualitatives :
  • Les comparaisons visuelles ont montré qu'Unison synthétisait avec succès une parole et des effets sonores harmonieux (par exemple, équilibrer le chant avec des grattages de guitare) là où les références souffraient de la dominance de la parole ou de l'absence d'effets sonores.
  • Des études d'ablation ont confirmé que la suppression de la Stratégie d'Harmonisation Guidée par la Sémantique entraînait une dégradation significative de la qualité audio, tandis que la suppression de la Stratégie de Forçage Inter-Modal entraînait une augmentation brutale de la désynchronisation temporelle (DS passant à 0,19).
• Étude Utilisateur : Dans une étude avec 25 participants, Unison a reçu la préférence globale dominante, se classant premier en harmonie parole-son et en alignement mouvement-audio.

5. Signification et Revendications

L'article affirme qu'Unison établit une approche principielle de la génération vidéo centrée sur l'humain en abordant explicitement l'hétérogénéité des caractéristiques temporelles à travers les modalités.

• Scènes Auditives Équilibrées : En découplant la parole et les effets sonores, le cadre garantit que les sons environnementaux ne sont pas supprimés par les voix humaines, améliorant le réalisme perceptuel.
• Synchronisation Robuste : La stratégie de forçage inter-modal bidirectionnel crée un environnement d'entraînement stable où l'audio et la vidéo se renforcent mutuellement, conduisant à une correspondance temporelle plus serrée sans dépendre uniquement de l'augmentation massive des paramètres.
• Flexibilité : La conception symétrique permet une génération bidirectionnelle (Audio vers Vidéo et Vidéo vers Audio), démontrant l'adaptabilité du cadre en tant que modèle unifié pour la création de contenu multimodal.

Les auteurs concluent que l'harmonisation explicite multimodale est cruciale pour la prochaine génération d'IA générative, et que les innovations architecturales d'Unison capturent efficacement les corrélations audio-visuelles haute fidélité.