Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation

Le papier présente Vevo2, un cadre unifié et contrôlable pour la génération de voix parlée et chantée qui surmonte le manque de données annotées grâce à deux tokenizeurs audio innovants et des stratégies d'apprentissage combinées, permettant ainsi une maîtrise flexible de la prosodie, du style et du timbre pour diverses tâches de synthèse et d'édition.

L'essentiel

Imaginez que vous avez un super-robot capable de chanter et de parler comme n'importe qui, n'importe quand, et avec n'importe quelle émotion. C'est l'objectif de Vevo2, une nouvelle invention présentée dans cet article de recherche.

Voici une explication simple de ce que font les chercheurs, en utilisant des images du quotidien.

1. Le Problème : Deux mondes séparés

Jusqu'à présent, il y avait deux écoles de pensée distinctes dans l'intelligence artificielle :

• L'école de la parole : On apprend aux robots à parler comme des humains (pour les assistants vocaux, les livres audio). C'est facile car il y a des tonnes de données.
• L'école du chant : On apprend aux robots à chanter. C'est très difficile car il faut respecter une mélodie précise, et il y a beaucoup moins de données d'entraînement.

Avant Vevo2, c'était comme si un chef cuisinier savait faire d'excellents plats salés (la parole) mais ne savait pas faire de desserts (le chant), ou vice-versa. Ils ne partageaient pas leurs recettes.

2. La Solution : Le "Couteau Suisse" des voix

Les chercheurs ont créé Vevo2, un système unique qui apprend à la fois à parler et à chanter en même temps. C'est comme si le chef cuisinier apprenait à faire des plats salés et des desserts dans la même cuisine, en utilisant les mêmes ingrédients de base.

Pour y arriver, ils ont inventé deux outils magiques (qu'ils appellent des "tokenizers") :

Outil A : Le "Détecteur de Rythme Universel"

Imaginez que vous écoutez une chanson. Vous entendez la mélodie, mais vous ne voulez pas savoir qui chante ou quel instrument joue. Vous voulez juste capturer la "forme" de la musique.

• L'analogie : C'est comme si vous preniez une photo de la silhouette d'une personne, mais en effaçant ses vêtements et son visage pour ne garder que sa posture.
• La magie : Ce détecteur fonctionne aussi bien sur une voix humaine, un chant d'oiseau, ou même un piano. Il transforme n'importe quel son en une série de codes simples (des "briques") qui disent "ici, la note monte", "ici, ça ralentit". Cela permet au robot d'apprendre le chant sans avoir besoin de partitions musicales écrites par des experts.

Outil B : Le "Déshabilleur de Voix"

Cet outil est encore plus astucieux. Il prend une voix et la sépare en trois couches distinctes, comme on séparerait un gâteau en ses ingrédients :

1. Le texte (la recette) : Ce qui est dit ou chanté.
2. Le style (la décoration) : L'émotion, l'accent, la façon de chanter (comme un vibrato).
3. La voix (le four) : L'identité de la personne (sa voix unique).

• L'analogie : Imaginez que vous pouvez prendre la voix de votre grand-mère, mais lui faire dire le texte d'un rappeur, avec le style d'un opéra, tout en gardant la voix de votre grand-mère. Ou l'inverse : prendre le style d'un chanteur d'opéra et le mettre sur la voix de votre voisin. Vevo2 fait exactement cela.

3. L'Entraînement : Apprendre par l'expérience

Pour que le robot soit aussi doué, les chercheurs l'ont entraîné avec une méthode spéciale :

• L'approche "Explicite" : On lui donne le texte ET la mélodie exacte (comme un élève avec une partition).
• L'approche "Implicite" : On lui donne juste le texte, et il doit deviner la mélodie tout seul (comme un élève qui improvise).
  En mélangeant ces deux méthodes, le robot apprend à comprendre que la parole et le chant sont cousins. Il devient plus intelligent pour l'un grâce à l'autre.

4. Le "Perfectionnement" (Post-entraînement)

Après l'entraînement de base, le robot était bon, mais pas parfait. Parfois, il chantait faux ou ne comprenait pas bien les mots.
Les chercheurs ont ajouté une étape finale, un peu comme un coach sportif qui donne des feedbacks précis :

• "Non, ce mot n'est pas clair, refais-le !" (Amélioration de l'intelligibilité).
• "Non, tu ne suis pas la mélodie, écoute mieux !" (Amélioration de la justesse).
  Grâce à cela, le robot devient beaucoup plus fiable.

5. Ce que Vevo2 peut faire de magique

Grâce à cette technologie, on peut maintenant faire des choses incroyables :

• Chant à partir de sifflement : Vous sifflez une mélodie, et le robot la chante avec une voix professionnelle.
• Chant à partir d'un instrument : Vous jouez un air au piano, et le robot le chante avec des paroles.
• Changement de style : Vous prenez une voix parlée et vous lui donnez l'accent d'un chanteur d'opéra, ou l'émotion d'un chanteur de blues.
• Édition de chanson : Vous voulez changer les paroles d'une chanson sans changer la mélodie ni la voix du chanteur ? Vevo2 peut le faire.

En résumé

Vevo2, c'est comme donner à un robot un passeport universel pour le monde de la voix. Il ne fait plus la différence entre "parler" et "chanter". Il comprend que les deux utilisent les mêmes mécanismes (le rythme, l'émotion, la voix) et il peut les mélanger à volonté. C'est un pas de géant pour créer des voix artificielles qui sont non seulement réalistes, mais aussi capables de s'adapter à n'importe quelle situation, du discours le plus sérieux à la chanson la plus complexe.

Résumé technique

Voici un résumé technique détaillé de l'article "Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation" en français.

1. Problématique et Contexte

La génération de voix humaine contrôlable, en particulier dans des domaines expressifs comme le chant, reste un défi majeur. Bien que la synthèse de parole (TTS) ait fait des progrès significatifs grâce à de grands corpus de données, la synthèse de voix chantée (SVS) souffre de deux limitations principales :

• Pénurie de données annotées : Les ensembles de données pour le chant reposent souvent sur des annotations musicales expertes (partitions précises, alignement paroles-notes), ce qui limite leur échelle et leur compatibilité avec les grands corpus de parole.
• Contrôlabilité limitée : Il est difficile de concevoir un système unifié permettant de manipuler indépendamment le contenu textuel, la prosodie (ou la mélodie pour le chant), le style (accent, émotion, techniques vocales) et le timbre (identité du locuteur) au sein d'un seul cadre.

Les approches existantes tentent d'unifier la parole et le chant, mais elles peinent souvent à généraliser ou à offrir un contrôle fin sans dépendre de notations musicales manuelles.

2. Méthodologie : L'Architecture Vevo2

Vevo2 est un cadre unifié en deux étapes conçu pour générer et convertir à la fois la parole et la voix chantée. Son architecture repose sur trois piliers méthodologiques clés :

A. Deux Tokeniseurs Audio Unifiés

Pour éviter la dépendance aux partitions musicales et permettre une modélisation unifiée, Vevo2 introduit deux tokeniseurs basés sur des auto-encodeurs vectoriels quantifiés (VQ-VAE) :

1. Tokeniseur de Prosodie Unifié (Unified Prosody Tokenizer) :
   • Fonction : Capture la prosodie de la parole et la mélodie du chant (et même des instruments).
   • Innovation : Il utilise des chromagrammes (représentation spectrale sans octave) plutôt que la fréquence fondamentale (F0) brute. Cela comble l'écart de distribution entre la parole et le chant et élimine le besoin de notations musicales.
   • Caractéristiques : Opère à 6,25 Hz (56,25 bps) et génère des tokens discrets robustes aux variations acoustiques.
2. Tokeniseur de Contenu-Style Unifié (Unified Content-Style Tokenizer) :
   • Fonction : Encode le contenu linguistique, la prosodie/mélodie et le style, tout en assurant un désenchevêtrement robuste du timbre.
   • Innovation : Il est entraîné pour reconstruire à la fois les caractéristiques cachées de Whisper (pour le contenu linguistique) et les chromagrammes (pour la mélodie et les détails de style).
   • Caractéristiques : Opère à 12,5 Hz (175 bps), réduisant la longueur de séquence pour le modèle auto-régressif.

B. Entraînement Joint Parole-Chant avec Apprentissage de Prosodie

Pour unifier la génération de parole et de chant, le modèle auto-régressif (AR) est entraîné avec deux stratégies de prosodie :

• Apprentissage Explicite de la Prosodie (EPL) : Les tokens de prosodie sont fournis en entrée explicite avec le texte.
• Apprentissage Implicit de la Prosodie (IPL) : Le modèle infère la prosodie uniquement à partir du texte (comme en TTS classique).
• Stratégie : Pendant l'entraînement, le modèle alterne aléatoirement entre EPL et IPL pour toutes les données (parole et chant), apprenant ainsi à combler le fossé entre les deux modalités de manière unifiée.

C. Alignement Multi-Objectifs (Post-Training)

Pour améliorer la stabilité et la capacité du modèle à suivre le texte et la mélodie, une phase de post-entraînement est introduite utilisant l'algorithme GRPO (Group Relative Policy Optimization).

• Récompense d'Intelligibilité : Basée sur un corpus de préférences (INTP) pour garantir que le texte généré est clair.
• Récompense de Similarité Prosodique : Évalue la capacité du modèle à suivre une mélodie donnée (même extraite de sons instrumentaux ou de MIDI) en comparant les chromagrammes reconstruits avec la vérité terrain.
• Objectif : Éviter l'optimisation excessive d'un seul objectif au détriment de l'autre.

3. Contributions Clés

1. Unification des Tokeniseurs : Proposition de deux tokeniseurs capables de traiter la parole, le chant et les sons instrumentaux sans notation musicale, permettant des applications uniques comme le "humming-to-singing" (chanter à partir d'un sifflement) ou "instrument-to-singing".
2. Cadre Unifié Vevo2 : Un modèle capable de réaliser une vaste gamme de tâches (synthèse, conversion, édition) pour la parole et le chant en combinant flexiblement texte, source prosodique, référence de style et référence de timbre.
3. Alignement Multi-Objectifs : Une méthode de post-entraînement qui améliore simultanément l'intelligibilité et le suivi de la mélodie, augmentant la robustesse du modèle face à des données hors distribution (comme les sons instrumentaux).

4. Résultats Expérimentaux

Les évaluations montrent que Vevo2 surpasse ou égale les modèles de l'état de l'art (comme MaskGCT, CosyVoice 2, TCSinger) sur plusieurs fronts :

• Bénéfices Mutuels : L'entraînement conjoint parole/chant améliore les deux domaines. Pour le chant, l'ajout de données de parole améliore l'intelligibilité (WER réduit de 25,38 à 15,78) et le naturel. Pour la parole, l'ajout de données de chant améliore l'expressivité.
• Synthèse de Voix Chantée (SVS) : Vevo2 obtient des scores de suivi de mélodie (Melody-MOS) supérieurs à 2,0 (sur une échelle de 3), indiquant un suivi "grossier" à "complet" de la mélodie, surpassant les modèles TTS zero-shot standards.
• Édition et Conversion : Le modèle excelle dans l'édition de paroles chantées (modification du texte tout en conservant la mélodie originale) et la conversion de voix (VC/SVC) avec un désenchevêtrement efficace du timbre.
• Contrôle de Durée et de Hauteur : Grâce à la structure des tokens, Vevo2 permet un contrôle précis de la durée (par mise à l'échelle linéaire des tokens de prosodie) et de la région de hauteur (pitch shift) avant l'extraction des tokens.
• Tâches Uniques : Le modèle réussit à convertir des sifflements ou des sons d'instruments en voix chantée, démontrant une généralisation exceptionnelle.

5. Signification et Impact

Vevo2 représente une avancée significative dans la génération audio unifiée. En éliminant la dépendance aux partitions musicales annotées et en unifiant la modélisation de la parole et du chant, il ouvre la voie à :

• Des systèmes de génération de voix plus évolutifs et moins coûteux en données.
• De nouvelles applications créatives (ex: transformer n'importe quel son mélodique en chant).
• Une meilleure compréhension de la relation entre la prosodie de la parole et la mélodie du chant, suggérant que ces deux domaines bénéficient d'un apprentissage conjoint.

Le code et les modèles sont disponibles via la bibliothèque open-source Amphion, favorisant la reproductibilité et l'adoption par la communauté de recherche.