⚡ electrical engineering

MAVL: A Multilingual Audio-Video Lyrics Dataset for Animated Song Translation

Cet article introduit MAVL, le premier benchmark audio-vidéo multilingue pour la traduction de chansons animées, et propose le modèle SylAVL-CoT qui exploite les indices multimodaux et les contraintes syllabiques pour surpasser de manière significative les approches uniquement textuelles dans la génération de paroles chantables et contextuellement précises.

Auteurs originaux : Woohyun Cho, Youngmin Kim, Sunghyun Lee, Youngjae Yu

Publié 2026-06-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Woohyun Cho, Youngmin Kim, Sunghyun Lee, Youngjae Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de traduire une chanson de l'anglais vers le coréen, mais que vous ne pouvez pas simplement traduire les mots. Vous devez traduire le sentiment, le rythme, et vous assurer que les nouveaux mots s'insèrent parfaitement dans la mélodie, comme des pièces de puzzle qui s'emboîtent parfaitement.

C'est le défi que relève l'article « MAVL ». Voici une décomposition simple de ce que les chercheurs ont fait, en utilisant des analogies de la vie quotidienne.

Le Problème : Le piège du « Littéral »

Imaginez que vous regardez un dessin animé où un personnage voit un papillon et chante : « And there's a butterfly. »

L'ancienne méthode (Texte uniquement) : Si vous demandez à un traducteur standard (comme Google Translate) de traduire cela, il pourrait dire : « Et il y a un papillon. » En coréen, cela sonne rigide et maladroit. C'est comme essayer de faire entrer un pion carré dans un trou rond. Cela peut signifier la bonne chose, mais cela ne se chante pas bien, et cela ne correspond pas au mouvement joyeux et battant du papillon à l'écran.
Le véritable défi : Pour qu'une traduction de chanson fonctionne, vous devez savoir :
1. Ce qui est dit ? (Le sens)
2. Combien de temps cela prend-il en battements ? (Le rythme/les syllabes)
3. Que se passe-t-il à l'écran ? (Le contexte visuel)

La Solution : MAVL (Le nouveau livre de recettes)

Les chercheurs ont créé un nouveau « livre de recettes » massif appelé MAVL.

Qu'est-ce que c'est ? C'est un ensemble de données contenant 228 chansons de films d'animation (comme La Reine des Neiges ou Trolls) en cinq langues différentes (anglais, espagnol, français, coréen et japonais).
Pourquoi est-ce spécial ? Contrairement aux ensembles de données précédents qui ne contenaient que les paroles (texte), MAVL inclut l'audio (le chant) et la vidéo (l'animation).
L'analogie : Considérez les ensembles de données précédents comme une partition avec seulement les notes. MAVL est la partition plus l'enregistrement de l'orchestre et la vidéo du chef d'orchestre. Cela permet à l'ordinateur de « voir » et d'« entendre » la chanson, et pas seulement de la lire.

Le Nouvel Outil : SylAVL-CoT (Le traducteur intelligent)

Pour utiliser ce nouveau livre de recettes, ils ont construit un système d'IA intelligent appelé SylAVL-CoT.

Comment ça marche : Au lieu de simplement deviner la traduction, cette IA agit comme un chef méticuleux suivant une recette stricte. Elle utilise un processus de « Chaîne de Pensée » (Chain-of-Thought) (en gros, elle réfléchit à voix haute, étape par étape) :
1. Écouter et Compter : Elle écoute l'audio pour compter exactement combien de syllabes (battements) le chanteur original a utilisés.
2. Regarder et Ressentir : Elle regarde la vidéo pour comprendre l'ambiance. Le personnage est-il triste ? Est-il en train de courir ? Cela l'aide à choisir des mots qui correspondent à la scène.
3. Ajuster et Affiner : Elle essaie d'écrire les nouvelles paroles. Si les nouveaux mots sont trop longs ou trop courts, elle les réorganise jusqu'à ce qu'ils s'adaptent parfaitement au rythme, tout comme un tailleur qui fait un ourlet à un pantalon pour qu'il tombe exactement bien.

Les Résultats : Pourquoi c'est important

Les chercheurs ont testé leur nouvel outil par rapport aux traducteurs standards et ont constaté que :

Une meilleure « chantabilité » : Les paroles produites par SylAVL-CoT s'adaptent beaucoup mieux à la musique. Elles ne ressemblaient pas à un robot lisant un dictionnaire ; elles ressemblaient à une chanson naturelle.
Un meilleur contexte : Parce que l'IA a regardé la vidéo, elle a pu choisir des mots qui correspondaient à l'action à l'écran (comme choisir un mot pour « voler » au lieu de simplement « être » pour un papillon).
Une qualité humaine : Lorsque de vraies personnes ont écouté les traductions, elles ont jugé que les résultats de ce nouvel outil étaient beaucoup plus proches de ce qu'un traducteur professionnel humain ferait, surtout en ce qui concerne la façon dont les mots étaient « chantables ».

L'essentiel

Cet article n'a pas seulement construit un meilleur traducteur ; il a construit un traducteur multimodal. Il a prouvé que pour bien traduire une chanson, on ne peut pas se contenter de regarder le texte. Il faut écouter la musique et regarder le film. En donnant à l'IA les trois sens (texte, audio, vidéo) et en la forçant à compter les battements, ils ont créé un système qui produit des traductions prêtes à être chantées, et pas seulement lues.

Résumé technique : MAVL et SylAVL-CoT

Énoncé du problème

La traduction de paroles est un domaine spécialisé qui privilégie la « chantabilité » — la capacité des paroles traduites à s'adapter à une mélodie tout en préservant le sens sémantique, la structure poétique et le rythme musical. Cette tâche est nettement plus complexe qu'une traduction de texte standard car elle nécessite de trouver un équilibre entre le sens littéral et les contraintes musicales (nombre de syllabes, rythme, rime) et nécessite souvent des adaptations non littérales.

Le défi s'intensifie dans le contexte des comédies musicales d'animation, où les paroles doivent s'aligner non seulement sur l'audio, mais aussi sur les indices visuels (actions des personnages, contexte de la scène). Les approches existantes sont largement limitées aux méthodes basées sur le texte ou sur le texte et la partition, lesquelles échouent à capturer le contexte multimodal complet requis pour des traductions naturelles et chantables. De plus, les ensembles de données précédents manquent souvent d'alignement entre plusieurs modalités (texte, audio, vidéo) et langues, ce qui rend difficile l'entraînement ou l'évaluation de modèles capables d'intégrer efficacement ces diverses entrées.

Méthodologie

1. Le jeu de données MAVL

Les auteurs introduisent MAVL (Multilingual Audio-Video Lyrics Benchmark for Animated Song Translation), le premier benchmark multilingue et multimodal conçu spécifiquement pour la traduction de paroles chantables dans les comédies musicales d'animation.

Composition : MAVL comprend 228 chansons de films d'animation (ex. : La Reine des Neiges, Trolls, Encanto) alignées sur cinq langues : anglais, espagnol, français, coréen et japonais.
Modalité : Contra_irement aux ensembles de données précédents qui reposent uniquement sur le texte ou les partitions, MAVL intègre le texte, l'audio et la vidéo.
Pipeline d'alignement : La construction du jeu de données a impliqué un pipeline rigoureux :
1. Collecte : Rassemblement des métadonnées et des paroles anglaques originales, puis recherche des paroles doublées officielles sur des plateformes comme lyricstranslate.
2. Alignement humain : Vérification que les paroles candidates correspondent aux versions doublées officielles et chantables en recoupant avec l'audio/vidéo original. Les dialogues non chantables ou les paroles superposées ont été exclus.
3. Alignement Audio-Vidéo-Paroles : Utilisation de stable-ts (basé sur Whisper) pour générer des horodatages stables, segmentant l'audio et la vidéo pour correspondre à des lignes de paroles spécifiques.

2. Modèle SylAVL-CoT

Pour exploiter MAVL, les auteurs proposent SylAVL-CoT (Syllable-Constrained Audio-Video LLM with Chain-of-Thought). Cette approche utilise des modèles de langage multimodaux (MLLM) existants, spécifiquement Gemini 2.0 Flash et Gemini 2.5 Flash, sans ajustement fin (fine-tuning), en s'appuyant plutôt sur l'ingénierie de prompts et le raisonnement par chaîne de pensée (Chain-of-Thought - CoT).

Le modèle fonctionne via un pipeline CoT en trois étapes :

Identifier la parole centrale et la segmentation syllabique : Le modèle analyse l'extrait audio fourni et le texte pour identifier le segment de paroles exact. Il segmente les paroles en syllabes basées sur les pauses audibles et le nombre de syllabes connu de la source, établissant ainsi un modèle rythmique.
Générer la liste de syllabes de la langue cible (contexte vidéo) : Le modèle traite les indices visuels de la vidéo (ex. : expressions des personnages, mouvement, contexte culturel) pour affiner la traduction. Il vise à capturer l'imagerie et l'ambiance tout en générant une liste de syllabes dans la langue cible qui correspond au nombre de syllabes de la source.
Itérer et affiner : Le modèle paraphrase et réordonne les mots de manière itérative pour s'assurer que la traduction est culturellement appropriée, linguistiquement cohérente et respecte strictement le nombre de syllabes cible. Cette étape répond à la difficulté de maintenir le rythme entre des langues ayant des structures grammaticales différentes.

3. Métriques d'évaluation

Le document propose un cadre d'évaluation multidimensionnel se concentre sur trois principes :

Chantabilité : Mesurée via l'Erreur de Syllabe (SE), la Distance de Nombre de Syllabes (SCD) et le Taux d'Erreur. La SE utilise un facteur de pénalité ( $\beta=2.0$ ) pour pénaliser lourdement le dépassement du nombre de syllabes de référence, car cela impacte négativement la chantabilité.
Sens : Mesuré via des Scores Sémantiques basés sur la similitude cosinus des plongements lexicaux multilingues (mpnet-base-v2) entre la traduction et les paroles angla way originales ainsi que les paroles doublées traduites par des humains.
Naturel : Mesuré via la Distance Phonétique (distance de Levenshtein) entre les transcriptions de l'Alphabet Phonétique International (API) des paroles générées et les paroles de référence.

Résultats clés

Performance quantitative

Chantabilité : SylAVL-CoT surpasse significativement les bases de référence textuelles uniquement (incluant Google Translate, mBART-50, Qwen2.5-72B, GPT-4o et Gemini 2.0) dans toutes les langues. Il obtient l'Erreur de Syllabe, la Distance de Syllabe et le Taux d'Erreur les plus bas. Par exemple, pour la traduction de l'anglais vers le coréen, SylAVL-CoT a réduit l'Erreur de Syllabe d'environ 10,3 (GPT-4o) à 0,695.
Sens : Bien que les modèles textuels atteignent souvent une similitude sémantique plus élevée avec les paroles anglaises originales (indiquant une traduction littérale), SylAVL-CoT montre une similitude plus faible avec l'original mais maintient une similitude élevée avec les paroles doublées traduites par des humains. Cela suggère que SylAVL-CoT adopte avec succès les stratégies de paraphrase créative utilisées par les professionnels pour maintenir la chantabilité, plutôt que de s'en tenir aux sens littéraux.
Naturel : SylAVL-CoT produit les scores de distance phonétique les plus bas par rapport aux références originales et doublées, indiquant que sa production partage des traits articulatoires et rythmiques avec les traductions professionnelles.

Études d'ablation

Multimodalité : Le retrait de l'entrée vidéo (T+A) a entraîné une similitude sémantique plus faible avec les paroles doublées par rapport à la configuration complète T+A+V, suggérant que le contexte vidéo est crucial pour générer des paraphrases contextuellement appropriées.
Étapes CoT : La génération de la « Liste de Syllabes » et les étapes de « Raffinement » ont été critiques. Le retrait de ces étapes a entraîné une augmentation significative de l'Erreur de Syllabe, confirmant que le processus de raisonnement structuré est nécessaire pour imposer les contraintes.
Choix du modèle : Bien que GPT-4o et Qwen2.5 aient bien performé avec des contraintes simples, Gemini a démontré une performance supérieure lors de l'utilisation de l'approche CoT, soulignant sa capacité à suivre plusieurs contraintes simultanément pendant le raisonnement.

Étude utilisateur

Une étude utilisateur avec des locuteurs natifs (N=10 par langue) a évalué les traductions sur la Chantabilité, le Sens et la Qualité Globale. SylAVL-CoT a obtenu les scores de Qualité Globale les plus élevés dans toutes les langues, dépassant notamment les autres modèles en matière de Chantabilité.

Signification et affirmations

Le document affirme que MAVL et SylAVL-CoT comblent une lacune critique dans la traduction de paroles en allant au-delà des limites du texte seul.

Premier benchmark multimodal : MAVL est présenté comme le premier ensemble de données capable de supporter la traduction de paroles multilingues à travers le texte, l'audio et la vidéo, permettant l'évaluation de modèles intégrant ces modalités.
Gestion efficace des contraintes : L'étude démontre que l'utilisation du raisonnement CoT dans les MLLM existants, combinée aux entrées multimodales, permet d'imposer des contraintes syllabiques strictes sans nécessiter d'ajustement fin gourmand en ressources.
Adaptation de type humain : En s'alignant sur les paroles doublées traduites par des humains en termes d'adaptation sémantique et de naturel phonétique, l'approche proposée comble le fossé entre la traduction automatique littérale et les exigences créatives et musicales de la localisation de chansons professionnelle.

Les auteurs concluent que leurs travaux ouvrent la voie à des systèmes de traduction de paroles automatisés plus efficaces, tout en reconnaissant des limites concernant le champ des genres (centré sur les comédies musicales d'animation), les contraintes de traitement ligne par ligne et l'absence de mécanismes spécialisés pour les langues tonales.