Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models

Cet article présente MMHNet, un réseau hiérarchique multimodal intégrant un Mamba non causal qui permet de générer des audio longs (plus de 5 minutes) à partir de vidéos en généralisant à partir d'entraînements sur des séquences courtes, surpassant ainsi les méthodes existantes.

L'essentiel

🎬 Le Problème : Le "Cinéma" qui s'arrête à la 10ème seconde

Imaginez que vous êtes un réalisateur de cinéma. Vous avez un film muet de 5 minutes, mais vous avez besoin d'une bande-son parfaite (bruits de pas, vent, dialogues, explosions) qui colle exactement à l'image.

Le problème, c'est que les "magiciens" (les intelligences artificielles actuelles) qui créent ces sons sont comme des enfants prodiges qui ne savent faire que des petits dessins.

• Si vous leur donnez une vidéo de 10 secondes, ils font un chef-d'œuvre.
• Mais si vous leur donnez une vidéo de 5 minutes, ils paniquent. Ils commencent à répéter les mêmes sons, à oublier ce qui se passe au début, ou à créer un bruitage qui ne correspond plus à l'action.

C'est ce que les chercheurs appellent le problème de la "généralisation de la longueur". Les modèles actuels sont entraînés sur de courts clips et ne savent pas comment s'adapter quand l'histoire devient longue.

🚀 La Solution : MMHNet, le "Chef d'Orchestre" Intelligents

L'équipe de Sony (les auteurs de ce papier) a créé un nouveau modèle appelé MMHNet. Pour comprendre comment il fonctionne, utilisons quelques analogies :

1. Fini les "Post-it" rigides (Le problème des Transformers)

Les anciens modèles utilisaient une technique appelée "Transformers". Imaginez que pour se souvenir de l'ordre des événements, ils collent un Post-it numéroté sur chaque seconde de la vidéo (1, 2, 3...).

• Le souci : Si vous leur donnez une vidéo plus longue que celle qu'ils ont vue à l'école (l'entraînement), les Post-it ne suffisent plus. Ils se perdent, et le son devient chaotique.

2. L'approche "Mamba" : Un flux d'eau fluide

Le nouveau modèle utilise une architecture appelée Mamba. Au lieu de coller des Post-it rigides, imaginez que le son et l'image sont comme un fleuve.

• Le modèle ne se soucie pas d'un numéro fixe. Il comprend le courant, la direction et le contexte.
• De plus, il utilise une version "Non-Causale". C'est comme si le chef d'orchestre pouvait entendre toute la partition en même temps, avant même de commencer à jouer. Il sait ce qui va arriver dans 10 secondes et ajuste le son dès la première note, au lieu d'essayer de deviner ce qui va se passer en avançant pas à pas (ce qui crée des erreurs).

3. Le Système Hiérarchique : Le "Filtre à Café"

Une vidéo de 5 minutes contient énormément d'informations inutiles (des secondes de ciel bleu, du silence, des mouvements lents).

• L'ancien modèle essayait de traiter tout ce bruit, comme si vous deviez boire un café en avalant aussi le marc de café. C'est lourd et inefficace.
• MMHNet utilise un système de routage hiérarchique. C'est comme un filtre à café intelligent.
  • Il repère les moments importants (une voiture qui klaxonne, une porte qui claque).
  • Il garde ces moments "précieux".
  • Il filtre et ignore le reste (le silence, les mouvements répétitifs).
  • Résultat : Le modèle se concentre sur l'essentiel, ce qui lui permet de gérer des vidéos très longues sans s'épuiser ni perdre le fil.

🏆 Les Résultats : Un Succès Éclatant

Grâce à cette méthode, l'équipe a prouvé quelque chose de magique :

• Ils ont entraîné le modèle sur de courtes vidéos (8 secondes).
• Ils l'ont testé sur des très longues vidéos (jusqu'à 5 minutes et plus !).
• Résultat : Le modèle a généré des sons de haute qualité, parfaitement synchronisés avec l'image, sans jamais avoir vu de vidéos aussi longues pendant son apprentissage.

C'est comme si vous appreniez à un musicien à jouer une mélodie de 10 secondes, et qu'il était capable d'improviser un concerto de 30 minutes en gardant le même style et la même justesse, sans jamais s'essouffler.

En résumé

Ce papier nous dit que grâce à une nouvelle architecture (Mamba) et une méthode intelligente pour trier les informations (Hiérarchie), nous pouvons enfin créer des bandes-son pour de longs films à partir de vidéos muettes, même si l'IA n'a appris que sur de petits clips. C'est une étape majeure pour le cinéma, les jeux vidéo et la réalité virtuelle ! 🎥🎧✨

Résumé technique

Titre : Echoes Over Time : Déverrouiller la généralisation de longueur dans les modèles de génération vidéo-à-audio

1. Problématique

La génération vidéo-à-audio (V2A) vise à produire un audio réaliste et contextuellement aligné à partir de vidéos muettes. Bien que prometteuse pour le cinéma et les jeux vidéo, l'état de l'art actuel souffre de limitations majeures :

• Généralisation de longueur (Length Generalization) : La plupart des modèles existants (basés sur des architectures Transformer ou des modèles de diffusion) sont entraînés sur de courtes séquences (généralement 8 à 10 secondes). Ils échouent à généraliser lors de l'inférence sur des vidéos longues (jusqu'à plusieurs minutes).
• Contraintes architecturales : Les modèles Transformer dépendent d'encodages de position explicites (comme RoPE) qui ne se généralisent pas bien à des séquences plus longues que celles vues durant l'entraînement, entraînant une dégradation de la qualité et une perte d'alignement temporel.
• Approches de contournement inefficaces : Les méthodes actuelles pour gérer les vidéos longues (comme le découpage en petits segments) produisent souvent un audio fragmenté, avec des transitions dissonantes et une perte de cohérence contextuelle.

L'objectif principal est de résoudre le problème "Entraîner court, Tester long" : entraîner un modèle sur des clips courts (8s) et le voir générer de l'audio de haute qualité pour des vidéos de 5 minutes ou plus, sans réentraînement sur des données longues.

2. Méthodologie : MMHNet

Les auteurs proposent MMHNet (Multimodal Hierarchical Network), une architecture novatrice qui combine plusieurs avancées techniques pour surmonter les limites des modèles existants.

A. Remplacement des Transformers par Mamba-2 Non-Causal

• Abandon des encodages de position : Contrairement aux Transformers, MMHNet utilise l'architecture Mamba-2 (State Space Models), qui ne nécessite pas d'encodages de position explicites. Cela élimine le problème de généralisation à des longueurs de séquence variables.
• Modèle Non-Causal : L'auteur adopte une version Non-Causal de Mamba-2.
  • Pourquoi ? Les conditions vidéo sont disponibles en totalité (offline), permettant un flux d'information omnidirectionnel.
  • Avantage : Cela évite la "décroissance de modulation" (modulation decay) observée dans les modèles causaux sur de longues séquences et permet une fusion multimodale globale et simultanée, améliorant la stabilité et l'alignement.

B. Architecture Hiérarchique (HNet)
Pour gérer la redondance des données dans les vidéos longues et réduire la complexité computationnelle, MMHNet intègre une structure hiérarchique :

• Espace Compressé : Les tokens sont traités dans un espace compressé où les informations redondantes sont filtrées.
• Mécanismes de Routage (Routing) :
  • Routage Temporel : Identifie et conserve uniquement les tokens contenant des événements sonores distincts (en masquant les similarités temporelles élevées), réduisant ainsi la charge de calcul.
  • Routage Multimodal (MM Routing) : Sélectionne les tokens les plus pertinents en fonction de la similarité élevée entre les modalités (ex: alignement audio-vidéo via Synchformer).
• Chunking et Dechunking : Le modèle utilise un mécanisme de compression (downsampling) pour traiter les séquences longues et un mécanisme de décompression (upsampling) pour reconstruire les détails dans les étapes finales.

C. Entraînement par Flow Matching
Le modèle est entraîné via une tâche de Flow Matching conditionnel. Il apprend à prédire un champ de vitesse conditionnel pour générer de l'audio à partir de bruit, en s'appuyant sur des conditions multimodales (vidéo via CLIP/Synchformer et texte).

3. Contributions Clés

1. Définition du défi de généralisation de longueur : Le papier formalise et évalue la capacité des modèles V2A à passer de l'entraînement sur des clips courts (8s) à l'inférence sur des vidéos longues (jusqu'à 5 min).
2. Proposition de MMHNet : Une nouvelle architecture intégrant des réseaux hiérarchiques et Mamba-2 non-causal, permettant une génération audio cohérente sur de longues durées sans ajustement de modèle lors de l'inférence.
3. Benchmark et Validation : Introduction d'évaluations rigoureuses sur les jeux de données UnAV100 et LongVale, démontrant la supériorité de l'approche par rapport aux méthodes actuelles.

4. Résultats Expérimentaux

Les expériences ont été menées en entraînant le modèle sur des clips de 8 secondes (VGGSound) et en le testant sur des durées allant jusqu'à 500 secondes (LongVale) et 60 secondes (UnAV100).

• Performance Globale : MMHNet surpasse systématiquement les méthodes de l'état de l'art (LoVA, V-AURA, HunyuanVideo-Foley, MMAudio) sur toutes les métriques.
• Alignement Multimodal (IB-Score) : Sur UnAV100, MMHNet atteint un score IB de 36.82 (vs 32.90 pour HunyuanVideo-Foley), prouvant une meilleure synchronisation sémantique entre l'image et le son.
• Synchronisation Temporelle (DeSync) : Le modèle obtient les meilleurs scores de désynchronisation (DeSync ↓), indiquant un alignement temporel précis même sur de longues séquences (0.410s sur UnAV100).
• Qualité Audio et Distribution : MMHNet montre une meilleure adéquation statistique (FDVGG, FDPANNs) et une qualité audio supérieure (IS) par rapport aux modèles basés sur des Transformers ou des approches autoregressives.
• Analyse de Robustesse : Contrairement aux méthodes précédentes dont les performances chutent drastiquement lorsque la durée de la vidéo augmente (de 10s à 60s), MMHNet maintient une performance stable, confirmant sa capacité de généralisation.

5. Signification et Impact

Ce travail représente une avancée majeure dans le domaine de la génération multimodale :

• Démocratisation des vidéos longues : Il rend possible la génération d'audio pour des vidéos de plusieurs minutes (ex: scènes de films, documentaires) à partir de modèles entraînés uniquement sur des extraits courts, réduisant ainsi le besoin de données massives et coûteuses.
• Changement de paradigme architectural : En démontrant l'efficacité de Mamba-2 Non-Causal couplé à une architecture hiérarchique, le papier propose une alternative viable et supérieure aux Transformers pour les tâches de génération séquentielle longue.
• Applications pratiques : Les résultats ouvrent la voie à des outils de conception sonore (sound design) plus performants pour l'industrie du jeu vidéo et du cinéma, permettant une automatisation réaliste de la post-production audio sur des contenus longs.

En résumé, MMHNet résout le problème fondamental de la généralisation de longueur en éliminant la dépendance aux encodages de position et en optimisant le traitement des tokens via un routage hiérarchique intelligent, établissant ainsi un nouvel état de l'art pour la génération vidéo-à-audio longue.