LibriTTS-VI: A Public Corpus and Novel Methods for Efficient Voice Impression Control

Este trabajo presenta LibriTTS-VI, el primer corpus público para el control de impresiones vocales numéricas, y propone métodos novedosos de entrenamiento desenredado y sin referencia que mitigan la fuga de impresiones y mejoran significativamente la precisión del control en la síntesis de voz.

Lo esencial

¡Hola! Imagina que la tecnología de Texto a Voz (TTS) es como un actor de doblaje muy talentoso que puede leer cualquier guion. Hasta ahora, este actor podía imitar voces específicas o cambiar el tono de voz, pero le costaba mucho trabajo ajustar la "personalidad" de la voz con precisión matemática.

Este paper (artículo científico) de Sony presenta dos soluciones brillantes para hacer que este actor sea un maestro del control de la voz. Aquí te lo explico con analogías sencillas:

1. El Problema: "El Fantasma de la Referencia"

Imagina que le pides al actor: "Habla como un personaje tranquilo y brillante".
Le das una grabación de referencia de una persona (digamos, tu vecino) para que imite su voz, pero le pides que cambie su personalidad.

• El problema: El actor se confunde. Escucha la voz de tu vecino y, sin querer, le "pegan" sus rasgos de personalidad (su energía, su forma de hablar) a la nueva voz.
• La analogía: Es como si le pidieras a un pintor que pinte un paisaje de "atardecer en la playa" (tu objetivo), pero le das una foto de "una tormenta en la montaña" (la referencia). El pintor, al intentar copiar la textura de la foto, termina pintando nubes grises y lluvia en tu playa. La voz final no es la que pediste; es una mezcla extraña. A esto los autores lo llaman "Filtrado de Impresión" (Impression Leakage).

Además, hasta ahora, nadie tenía un libro de recetas público (un corpus) para enseñarles a los robots cómo se siente una voz "brillante", "calma" o "joven". Todo estaba oculto en laboratorios privados.

2. La Solución 1: El Nuevo "Libro de Recetas" (LibriTTS-VI)

Los autores crearon LibriTTS-VI.

• La analogía: Imagina que antes tenías que adivinar cómo describir una voz. Ahora, Sony ha creado una enciclopedia pública donde miles de voces humanas han sido etiquetadas por humanos reales.
• Si quieres una voz "joven", "fuerte" o "cálida", ahora hay una base de datos abierta donde los investigadores pueden aprender exactamente qué significa eso numéricamente (del 1 al 7). Es como tener un diccionario de emociones vocales que cualquiera puede usar.

3. La Solución 2: Dos Métodos para Separar las Cosas

Para evitar que la voz de referencia "contamine" la personalidad que quieres, proponen dos trucos inteligentes:

Método A: La Separación de Tareas (VIC-dis)

• El problema: Usar la misma grabación para decir "usa esta voz" y "usa esta personalidad" crea confusión.
• La solución: Pídele al actor dos cosas diferentes.
  • Analogía: Imagina que le das al actor una foto de tu vecino para que copie su timbre de voz (la voz física), pero le das una foto de un amigo diferente para que copie su energía y calma.
  • Al usar dos grabaciones distintas del mismo actor (pero con diferentes estados de ánimo), el sistema aprende a separar "quién habla" de "cómo se siente". Así, la personalidad no se "fuga" desde la referencia original.

Método B: Sin Referencia, Solo Instrucciones (VIC-srf)

• La solución: Olvida la foto de referencia por completo.
• La analogía: En lugar de darle al actor una foto de alguien para que imite, simplemente le das una ficha técnica detallada: "Quiero una voz masculina, joven, brillante y rápida".
• El sistema genera la voz basándose solo en esos números y descripciones, sin necesidad de una voz de referencia que pueda distraerlo. Es como si el actor pudiera crear un personaje desde cero basándose solo en la descripción del guionista, sin necesidad de un modelo real.

4. ¿Cómo les fue? (Los Resultados)

Hicieron pruebas comparando sus métodos con otros sistemas modernos (incluso los que usan Inteligencia Artificial avanzada como los LLMs).

• Precisión: Sus métodos lograron que la voz saliera mucho más cerca de lo que se pedía. Si pedías un nivel 5 de "brillo", la voz salía con un 5, no con un 3 o un 7.
• Comparación con IA moderna: Probaron con un sistema nuevo que usa lenguaje natural (como pedirle a un chatbot: "haz una voz tranquila"). Descubrieron que estos sistemas nuevos son muy buenos entendiendo el texto, pero muy malos con los números. Si le decías "hazla un poco más tranquila", el sistema no sabía cuánto era "un poco". Además, si el texto decía "¡Estoy furioso!", la voz salía furiosa aunque le pidieras que fuera tranquila.
• Conclusión: Los métodos de Sony son como un regulador de volumen preciso, mientras que los sistemas basados en lenguaje natural son como un interruptor de encendido/apagado que a veces se confunde.

En Resumen

Este trabajo es un gran paso porque:

1. Abre las puertas: Da al público un "diccionario" de voces (LibriTTS-VI) que antes estaba cerrado.
2. Enseña a separar: Muestra cómo hacer que la voz imite a una persona pero tenga la personalidad que tú elijas, sin que se mezclen.
3. Es más preciso: Permite controlar la voz con números exactos, algo que la inteligencia artificial generativa actual todavía le cuesta hacer bien.

Básicamente, han enseñado a la máquina a ser un director de orquesta más disciplinado, capaz de pedirle a los músicos (la voz) que toquen exactamente la nota y el sentimiento que se necesita, sin dejarse llevar por la música de fondo.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "LibriTTS-VI: A Public Corpus and Novel Methods for Efficient Voice Impression Control", presentado en español:

1. Problema y Contexto

El control de la impresión vocal (Voice Impression, VI) en la síntesis de voz de texto a voz (TTS) permite un control fino sobre características perceptuales (como "brillantez", "calma" o "masculinidad") mediante escalas numéricas. Sin embargo, la investigación previa enfrenta dos limitaciones críticas:

• Falta de corpus público: Los métodos existentes, como el trabajo previo de VIC [24], dependen de corpus privados, lo que dificulta la reproducibilidad y el avance de la comunidad.
• Fuga de impresión (Impression Leakage): Existe un sesgo donde la voz sintetizada tiende a imitar la impresión de la referencia de audio en lugar de seguir estrictamente el objetivo de impresión (VI) especificado. Los autores hipotetizan que esto se debe a que el entrenamiento utiliza una sola frase de referencia para codificar simultáneamente la identidad del hablante y la impresión vocal, entrelazando ambas variables.

2. Metodología Propuesta

Para abordar estos desafíos, los autores proponen una nueva base de datos y dos estrategias de modelado:

A. LibriTTS-VI (Nuevo Corpus Público)

• Origen: Se construyó anotando manualmente el corpus público LibriTTS-R.
• Proceso: Se seleccionaron 130 frases de hablantes distintos y fueron calificadas por cuatro anotadores expertos en una escala Likert de 7 puntos.
• Dimensiones: Se definieron 11 dimensiones de impresión vocal (ej. Bajo-Alto, Masculino-Femenino, Calmo-Inquieto, etc.).
• Escalado: Utilizando un estimador de VI (VIE) entrenado con las anotaciones manuales, se extrapolaron etiquetas a todo el corpus LibriTTS-R mediante una estrategia de aumento de datos basada en similitud acústica (pitch, energía y embeddings de WavLM).

B. Nuevos Métodos de Control

Los autores proponen dos arquitecturas para mitigar la fuga de impresión:

1. VIC-dis (Entrenamiento Desentrelazado):

   • Concepto: Desacopla la identidad del hablante de la impresión vocal durante el entrenamiento.
   • Mecanismo: En lugar de usar una sola frase de referencia ($r$) para ambos propósitos, utiliza dos frases diferentes del mismo hablante:
     • Una frase ($r'$) se usa exclusivamente para extraer la identidad del hablante.
     • Otra frase ($r$) se usa para extraer la impresión vocal objetivo (VI).
   • Resultado: Esto fuerza al modelo a aprender que la identidad y la impresión son variables independientes.

2. VIC-srf (Generación sin Referencia de Hablante):

   • Concepto: Elimina por completo la dependencia de una referencia de audio para la identidad.
   • Mecanismo: Reemplaza el vector de referencia de audio en el codificador de hablantes con ruido gaussiano ($z$). El sistema se condiciona únicamente en el vector de VI objetivo.
   • Resultado: Si la representación de la VI es suficientemente rica, el modelo puede generar la voz deseada sin necesidad de una referencia de audio, eliminando estructuralmente la fuga de impresión.

3. Contribuciones Clave

1. LibriTTS-VI: El primer corpus público de impresión vocal basado en LibriTTS-R, incluyendo guías de anotación y valores estimados para todo el corpus.
2. Estrategias de Desentrelazamiento: Demostración de que separar las fuentes de información (identidad vs. impresión) o eliminar la referencia de audio reduce significativamente el sesgo hacia la referencia original.
3. Evaluación Comparativa: Análisis exhaustivo que contrasta sus métodos con modelos TTS basados en Grandes Modelos de Lenguaje (LLM) como Qwen3-TTS, revelando deficiencias en el control numérico preciso y la entrelazación semántica en los modelos LLM.

4. Resultados Experimentales

Los métodos se evaluaron en el conjunto de prueba LibriTTS-R test-clean (39 hablantes no vistos).

• Control Objetivo (Precisión VI):

  • El error cuadrático medio (MSE) de las 11 dimensiones de VI mejoró drásticamente.
  • VIC-base (Línea base): MSE de 0.61.
  • VIC-srf (Mejor método): MSE de 0.41.
  • Fuga de Impresión ($\Delta V$): Se redujo de 0.22 (base) a 0.05 (srf), indicando que la salida es casi independiente de la referencia de audio original.

• Control Subjetivo:

  • En pruebas de escucha humana, el MSE subjetivo bajó de 1.15 (base) a 0.92 (srf).
  • La calidad de audio (MOS) se mantuvo comparable a la línea base, demostrando que el mayor control no sacrifica la naturalidad.

• Comparación con LLMs (Qwen3-TTS):

  • Los modelos basados en LLM mostraron un control numérico impreciso (pendientes de ajuste bajas) y una fuerte entrelazación entre la semántica del texto y la impresión vocal (ej. signos de exclamación hacían la voz más "inquietante" independientemente del objetivo VI).
  • Los métodos propuestos (VIC-dis/srf) superaron consistentemente a los LLM en fidelidad de control.

5. Significado e Impacto

Este trabajo es fundamental para el avance del TTS controlable porque:

1. Democratiza la investigación: Al liberar LibriTTS-VI, permite que cualquier investigador trabaje en el control de impresiones vocales sin barreras de datos.
2. Resuelve un problema de arquitectura: Identifica y corrige la causa raíz de la "fuga de impresión" (el uso de una sola referencia para identidad y estilo), proponiendo soluciones que mejoran la precisión numérica.
3. Superioridad sobre enfoques de LLM: Evidencia que, para tareas de control fino y numérico de atributos vocales, los enfoques especializados con desentrelazamiento son más efectivos que el uso de prompts de lenguaje natural en modelos generativos masivos, los cuales sufren de ambigüedad y sesgo semántico.

En conclusión, los autores logran un control de voz más preciso, predecible y libre de sesgos de referencia, estableciendo un nuevo estándar para la síntesis de voz con características perceptuales controlables.