Vevo2: A Unified and Controllable Framework for Speech and Singing Voice Generation

El artículo presenta Vevo2, un marco unificado y controlable para la generación de voz hablada y cantada que supera la escasez de datos mediante tokenizadores de audio avanzados y estrategias de aprendizaje conjunto, logrando una generalización superior en tareas de síntesis, conversión y edición.

Lo esencial

¡Imagina que la voz humana es como un instrumento musical mágico! Hasta ahora, los científicos tenían dos cajas de herramientas separadas: una para hablar (como dar instrucciones o contar chistes) y otra para cantar (como interpretar una ópera o una canción pop). El problema es que la caja de "canto" era muy pequeña, difícil de usar y requería partituras musicales perfectas escritas a mano por expertos.

Vevo2 es como un nuevo "super-cocinero" de voces que unifica ambas cajas en una sola, haciendo que hablar y cantar sean tan fáciles como mezclar ingredientes en una batidora.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: La falta de "recetas" para cantar

Antes, para enseñar a una computadora a cantar, necesitábamos "partituras" (notas musicales exactas) sincronizadas con las letras. Era como intentar enseñar a alguien a cocinar un pastel solo dándole una lista de ingredientes sin decirle cómo mezclarlos o hornearlos. Además, había muy pocos ejemplos de gente cantando para que la computadora aprendiera.

2. La Solución: Dos "Traductores" Mágicos

Vevo2 introduce dos traductores especiales que convierten el sonido en un lenguaje que la computadora entiende (llamado "tokens" o fichas):

• El Traductor de Ritmo y Melodía (Prosody Tokenizer):
  Imagina que este traductor es un oído musical que no necesita partituras. No le importa si el sonido viene de una persona hablando, alguien cantando o incluso un piano tocando. Escucha la "melodía" o el "ritmo" de la voz y lo convierte en una secuencia de fichas.

  • La magia: Como no necesita partituras escritas, puede aprender de millones de horas de audio de internet, haciendo que el sistema sea mucho más inteligente y flexible.

• El Traductor de Contenido y Estilo (Content-Style Tokenizer):
  Este es como un detective que separa los ingredientes. Cuando escucha una voz, separa:

  • Qué se dice (las palabras).
  • Cómo se dice (el estilo, la emoción, el acento).
  • Quién lo dice (la identidad de la voz).
    Lo genial es que puede separar la "identidad" (la voz) del "estilo" (cómo canta o habla), permitiendo que una persona suene como otra, o que una voz grave cante como una voz aguda, sin perder la esencia.

3. El Entrenamiento: Aprendiendo a hablar y cantar a la vez

En lugar de entrenar a la IA por separado para hablar y para cantar, Vevo2 las entrena juntas.

• La analogía: Es como si un actor de teatro (habla) y un cantante de ópera (canto) aprendieran en la misma escuela. El actor le enseña al cantante a ser más natural y claro, y el cantante le enseña al actor a tener más emoción y control sobre la melodía. ¡Se ayudan mutuamente a ser mejores!

4. El "Ajuste Fino" (Post-Training): La clase de perfeccionamiento

Después de entrenar al modelo, los investigadores le dieron una "clase especial" usando un sistema de recompensas (como dar caramelos a un perro cuando hace lo correcto).

• Le dijeron: "Si sigues las palabras exactas, ¡caramelo! Si sigues la melodía exacta, ¡otro caramelo!".
• Esto asegura que cuando le pidas a la IA que cante, no solo cante bonito, sino que diga exactamente la letra correcta y siga la melodía sin fallar.

¿Qué puede hacer Vevo2? (Sus superpoderes)

Gracias a esta tecnología, puedes hacer cosas increíbles:

• De "Humming" a Canción: Si tarareas una melodía (haciendo "mmm-mmm"), Vevo2 puede convertirla en una canción completa con una voz profesional.
• De Instrumento a Voz: Si tocas una melodía en un violín o un piano, Vevo2 puede "cantarla" con una voz humana, manteniendo la misma melodía.
• Edición de Letras: Puedes cambiar las palabras de una canción ya grabada sin cambiar la melodía ni el estilo de canto. Es como editar un texto en Word, pero para canciones.
• Cambio de Estilo: Puedes tomar una voz que habla serio y hacerla sonar como si estuviera susurrando, gritando de emoción o cantando ópera.

En resumen

Vevo2 es como un orquestador universal. Ha aprendido que hablar y cantar son dos caras de la misma moneda. Al unificarlos, ha creado un sistema que no solo canta mejor porque ha aprendido de más datos, sino que también habla mejor porque ha aprendido a controlar la melodía y la emoción. Es un gran paso hacia una inteligencia artificial que puede crear voces humanas (y musicales) con una libertad y control que antes era imposible.

Resumen técnico

Resumen Técnico: Vevo2

1. Problema y Motivación

La generación de voz humana controlable, especialmente en dominios expresivos como el canto, presenta desafíos significativos. Aunque la generación de habla (TTS) ha avanzado gracias a grandes corpus de datos, la síntesis de voz cantada (SVS) sigue siendo difícil debido a:

• Escasez de datos: Los conjuntos de datos de canto suelen ser pequeños y dependen de anotaciones expertas (partituras musicales precisas), lo que limita la escalabilidad.
• Inconsistencia de datos: La organización de los datos de canto (con notación musical) es incompatible con los grandes corpus de habla, dificultando el entrenamiento unificado.
• Control limitado: Lograr un control versátil e independiente sobre el contenido (texto/letras), la prosodia (melodía/ritmo), el estilo (acentos, emociones, técnicas de canto) y el timbre (identidad del hablante) dentro de un solo marco unificado es un reto no resuelto.

El objetivo de este trabajo es unificar la generación de habla y canto mediante un marco que permita el aprendizaje mutuo entre ambos dominios, superando las limitaciones de los enfoques anteriores que trataban estas tareas por separado o con mecanismos de control rígidos.

2. Metodología

Vevo2 es un marco de generación de voz unificado que adopta una arquitectura de dos etapas, similar a los sistemas de generación de habla de "zero-shot", pero diseñado específicamente para manejar tanto el habla como el canto.

A. Tokenizadores de Audio Unificados
El núcleo de Vevo2 son dos tokenizadores de audio novedosos que eliminan la necesidad de notación musical manual:

1. Tokenizador de Prosodia Unificado (Prosody Tokenizer):
   • Utiliza un VQ-VAE entrenado para reconstruir el cromagrama (representación de energía espectral en bandas de semitonos) del audio crudo.
   • Opera a 6.25 Hz.
   • Ventaja clave: El cromagrama elimina la información de octava, unificando la prosodia del habla y la melodía del canto. Además, al no requerir anotaciones manuales, permite el uso de datos a gran escala y puede capturar melodías de sonidos no humanos (instrumentos), habilitando tareas como "de silbido a canto" o "de instrumento a canto".
2. Tokenizador de Contenido-Estilo Unificado (Content-Style Tokenizer):
   • También basado en VQ-VAE, pero opera a 12.5 Hz.
   • Se entrena para reconstruir simultáneamente características del cromagrama y características ocultas de Whisper (un modelo de reconocimiento de habla).
   • Función: Codifica el contenido lingüístico, la prosodia/melodía y el estilo, logrando una desentrelazamiento robusto del timbre. Esto permite controlar la identidad del hablante independientemente del contenido y la melodía.

B. Entrenamiento Conjunto de Habla y Canto
Para unificar el entrenamiento, se proponen dos estrategias de aprendizaje de prosodia durante la etapa de modelado autoregresivo (AR):

• Aprendizaje Explícito de Prosodia (EPL): El modelo recibe tokens de prosodia como entrada explícita junto con el texto.
• Aprendizaje Implícito de Prosodia (IPL): El modelo infiere la prosodia solo a partir del texto (similar al TTS tradicional).
• Estrategia: Se aplica aleatoriamente EPL e IPL a todos los datos (habla y canto) durante el entrenamiento. Esto fuerza al modelo a aprender patrones de prosodia de manera unificada, cerrando la brecha entre las características del habla y el canto.

C. Alineación Multi-Objetivo (Post-Entrenamiento)
Para mejorar la estabilidad y el seguimiento del texto y la melodía, se introduce una tarea de post-entrenamiento utilizando el algoritmo GRPO (Group Relative Policy Optimization).

• Se optimiza una recompensa compuesta que combina:
  1. Inteligibilidad: Basada en preferencias de pares de audio (usando el corpus INTP).
  2. Similitud de Prosodia: Evalúa qué tan bien el modelo sigue una melodía dada (extraída de MIDI o instrumentos) al generar tokens de contenido-estilo.
• Este enfoque evita la sobre-optimización de un solo objetivo y mejora la generalización a datos fuera de la distribución de pre-entrenamiento (como sonidos instrumentales).

D. Pipeline de Inferencia
El sistema consta de:

1. Etapa AR: Genera tokens de contenido-estilo basados en texto, tokens de prosodia (opcional) y referencia de estilo.
2. Etapa Flow-Matching (FM): Convierte los tokens de contenido-estilo en espectrogramas Mel, condicionados por una referencia de timbre.
3. Vocoder: Convierte los espectrogramas en ondas de audio.

3. Contribuciones Clave

1. Tokenizadores Unificados: Propuesta de un tokenizador de prosodia libre de notación musical (basado en cromagrama) y un tokenizador de contenido-estilo con desentrelazamiento de timbre, capaces de manejar habla, canto e instrumentos.
2. Marco Unificado Vevo2: Un sistema que unifica la generación de habla y canto, demostrando beneficios mutuos: los datos de habla mejoran la calidad del canto, y la expresividad del canto mejora la generación de habla expresiva.
3. Estrategias de Entrenamiento y Alineación: Desarrollo de estrategias de aprendizaje explícito/implícito de prosodia y una tarea de post-entrenamiento multi-objetivo que mejora significativamente el control sobre texto y melodía.
4. Versatilidad: Capacidad de realizar una amplia gama de tareas: síntesis (TTS, SVS), conversión (VC, SVC), edición (cambio de texto manteniendo prosodia), y tareas únicas como convertir silbidos o instrumentos en voz cantada.

4. Resultados Experimentales

Los experimentos demuestran que Vevo2 supera o iguala a los modelos más avanzados (SOTA) en múltiples tareas:

• Beneficios del Entrenamiento Unificado: El uso conjunto de datos de habla y canto mejora todas las métricas (WER, SIM, naturalidad) en comparación con entrenar solo con uno de los dominios.
• Síntesis de Voz Cantada (SVS): Vevo2 supera a modelos especializados como StyleSinger y TCSinger en naturalidad y similitud de hablante, manteniendo un seguimiento de melodía robusto (Melody-MOS > 2.0).
• Edición de Voz: En tareas de edición (cambio de texto manteniendo la prosodia original), Vevo2 logra una preservación de prosodia superior, especialmente en el dominio del canto.
• Control de Timbre y Estilo: Logra un alto nivel de desentrelazamiento de timbre, permitiendo conversión de voz y canto con alta similitud de hablante y control de estilo (acentos, emociones).
• Tareas Nuevas: Demuestra capacidad efectiva en tareas de "Humming-to-Singing" (de silbido a canto) e "Instrument-to-Singing" (de instrumento a canto), aprovechando la generalización del tokenizador de cromagrama.
• Control de Duración y Tono: El modelo permite controlar la duración y la región de tono (pitch shift) de manera efectiva mediante la manipulación de los tokens de prosodia de entrada.

5. Significado e Impacto

Vevo2 representa un avance significativo en la generación de audio unificada. Su principal contribución es demostrar que el habla y el canto pueden modelarse juntos de manera beneficiosa, rompiendo la barrera entre la síntesis de voz y la música.

• Escalabilidad: Al eliminar la dependencia de anotaciones musicales manuales, permite el uso de datos masivos de internet para entrenar modelos de canto.
• Control Fino: Ofrece un control granular sobre múltiples atributos de la voz (texto, melodía, estilo, timbre) en un solo modelo, algo crucial para aplicaciones creativas y de edición.
• Generalización: La capacidad de transferir melodías desde instrumentos o silbidos hacia voces humanas abre nuevas posibilidades para la creación musical asistida por IA y la accesibilidad.

En resumen, Vevo2 establece un nuevo estándar para la generación de voz controlable, unificando dominios previamente separados y ofreciendo una flexibilidad sin precedentes para la síntesis, conversión y edición de voz humana.