SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings

Resumen Técnico: SPARCLE

Planteamiento del Problema

Los avances recientes en la síntesis de texto a voz (TTS) han pasado de representaciones basadas en fonemas a un modelado directo de grafemas (caracteres). Si bien los fonemas abordan el mapeo de uno a muchos entre el texto y la acústica, dependen de sistemas de conversión de Grafema a Fonema (G2P). Estos sistemas G2P presentan limitaciones significativas: requieren modelos conscientes del acento y el dialecto, dependen de etiquetas fonéticas costosas o diccionarios de pronunciación manuales, y a menudo fallan al escalar o generalizar a través de diferentes dominios de hablantes (por ejemplo, inglés norteamericano frente a británico).

Por el contrario, aunque los modelos basados en caracteres pueden superar a los sistemas basados en fonemas cuando se dispone de suficientes datos de entrenamiento, tienen dificultades en entornos de bajos recursos debido a la ambigüedad de la pronunciación. Una sola secuencia de grafemas (por ejemplo, "read") puede producir múltiples realizaciones acústicas dependiendo del contexto, el tiempo verbal o la identidad del hablante, un matiz que los embeddings de caracteres estándar no logran capturar sin una supervisión fonética explícita.

Metodología

Los autores proponen SPARCLE (SPeaker-aware Aligned Representations via Contrastive Language Embeddings), un modelo diseñado para enriquecer las entradas de grafemas con información acústica detallada y específica del contexto sin requerir anotaciones fonéticas explícitas.

Arquitectura Central

SPARCLE funciona como un codificador a nivel de carácter que alinea los grafemas con representaciones acústicas condicionadas por la identidad del hablante. La arquitectura consta de tres componentes principales:

1. Alineación de Caracteres y Extracción Acústica:

   • El modelo aprovecha la familia de modelos Wav2Vec2 para extraer embeddings acústicos.
   • Para lograr la alineación a nivel de carácter, las transcripciones se alinean forzosamente con el audio, mapeando cada carácter a un conjunto específico de vectores de embedding de Wav2Vec2.
   • Dado que el mapeo es inherentemente de uno a muchos (un solo carácter corresponde a múltiples fotogramas acústicos), se emplea un mecanismo de agrupación por atención (attention pooling). Una proyección aprendida de los embeddings de los caracteres genera pesos de atención sobre los fotogramas acústicos asociados, produciendo un único embedding de audio agrupado de tamaño fijo por cada carácter.

2. Condicionamiento del Hablante:

   • Para capturar la identidad del hablante sin aprender una nueva matriz de embeddings (lo que dificultaría la generalización a hablantes no vistos), SPARCLE utiliza embeddings de timbre FaCodec.
   • Estos embeddings se extraen de un modelo preentrenado y agnóstico al hablante, y proporcionan una fuerte separación entre hablantes, incluso con habla con acento.
   • El embedding del hablante se normaliza unitariamente y se antepone a los embeddings de los caracteres antes del procesamiento. Se aplica un dropout aleatorio ($p=0.5$) al token del hablante para evitar el sobreajuste al conjunto de hablantes de entrenamiento.

3. Transformer de Caracteres:

   • El núcleo es un transformer estándar de tipo codificador (12 bloques, 12 cabezales de atención, dimensión de embedding de 768) que opera sobre letras mayúsculas y espacios.
   • Para modelar explícitamente el contexto local (por ejemplo, efectos de coarticulación), se aplica una convolución 1D con un tamaño de kernel de 3 sobre los embeddings de los caracteres. Estos embeddings de contexto corto se concatenan con los embeddings de caracteres originales y se proyectan a la dimensión de entrada del transformer.

Objetivo de Entrenamiento

SPARCLE se entrena utilizando un objetivo de aprendizaje contrastivo. El objetivo es alinear los embeddings de los caracteres (aumentados con contexto local y condicionamiento del hablante) con sus correspondientes embeddings acústicos agrupados del modelo Wav2Vec2 congelado.

• Pares Positivos: Un embedding de carácter y su correspondiente embedding acústico agrupado.
• Pares Negativos: Todos los demás pares carácter-acústica dentro del lote (batch).
• La pérdida se calcula mediante la similitud de coseno con un parámetro de temperatura de 0.1.

Contribuciones Clave y Configuración Experimental

El artículo evalúa SPARCLE como un reemplazo directo para los embeddings de caracteres estándar en dos backends de TTS distintos: ParrotTTS (un sistema modular que predice unidades discretas) y VITS (un modelo de extremo a extremo).

• Pre-entrenamiento: SPARCLE se pre-entrena en el conjunto de datos LibriSpeech-960h (inglés de EE. UU.) utilizando alineación forzada para crear pares carácter-acústica.
• Evaluación Downstream: El modelo se ajusta (fine-tuning) en VCTK v0.92 (predominantemente inglés británico), creando un escenario de cambio de dominio para probar la generalización.
• Regímenes de Bajos Recursos: Los experimentos se realizan en presupuestos de entrenamiento que van desde 10 minutos hasta 10 horas, simulando condiciones extremas de bajos recursos.
• Estrategias de Fine-tuning: Los autores evalúan diferentes profundidades de adaptación:
  • Congelado (Frozen): SPARCLE actúa como un extractor de características fijo.
  • Fine-tuning Parcial: Solo los últimos $K$ bloques del transformer se descongelan ($K \in \{1, 3, 7\}$).
  • Totalmente Descongelado (Fully Unfrozen): Todas las capas de SPARCLE se entrenan conjuntamente con el backend de TTS.

Resultados

Los experimentos demuestran que SPARCLE mejora significativamente la calidad de la generación, particularmente en entornos de bajos recursos y cuando se aplica el condicionamiento del hablante.

1. Precisión de Pronunciación (WER):

   • SPARCLE supera consistentemente a los embeddings de caracteres estándar en todos los presupuestos de datos.
   • En el régimen de 10 minutos, SPARCLE reduce la Tasa de Error de Palabra (WER) del 85.7% (línea base) al 42.2% (con condicionamiento de timbre y $K=7$).
   • En el régimen de 1 hora, el WER cae del 24.7% al 7.5%.
   • SPARCLE también supera a los modelos basados en fonemas (usando G2P estándar) en la mayoría de los entornos de bajos recursos, destacando especialmente el fallo de los diccionarios G2P centrados en Norteamérica (como g2pE) en los datos de inglés británico (VCTK).

2. Consistencia del Hablante (EER):

   • SPARCLE mejora la Tasa de Error Igual (EER), lo que indica una mejor consistencia del hablante.
   • Los mejores resultados se logran con el ajuste fino parcial ($K=7$) y el condicionamiento de timbre. Por ejemplo, con 10 horas de datos, el EER mejora del 1.17% (línea base) al 0.76%.

3. Compromisos de Adaptación:

   • El ajuste fino parcial ofrece el mejor equilibrio entre la adaptación al dominio descendente (VCTK) y la preservación de la señal de pre-entrenamiento (LibriSpeech). Los modelos totalmente descongelados suelen degradar el rendimiento, lo que sugiere sobreajuste o pérdida de la representación (forgetting) de las representaciones robustas pre-entrenadas.
   • El condicionamiento de timbre es más efectivo cuando se permite la adaptación (ajuste fino parcial). Cuando SPARCLE está congelado, añadir el condicionamiento de timbre puede, en ocasiones, degradar el rendimiento.

4. Generalidad del Backend:

   • Aunque VITS mostró un WER alto en entornos de recursos extremadamente bajos (121.7%), la integración de SPARCLE aún produjo una mejora sustancial en la consistencia del hablante (EER bajando de 5.6% a 3.9%), lo que sugiere que la mejora de las representaciones de texto beneficia la consistencia del hablante incluso cuando la escasez de datos limita la inteligibilidad general.

Significado y Reivindicaciones

El artículo afirma que SPARCLE logra codificar información acústica rica en las representaciones de grafemas, permitiendo una generación de alta calidad incluso con un mínimo de datos de entrenamiento descendente (tan solo 30 minutos entre hablantes).

Las afirmaciones clave respecto a la importancia de este trabajo incluyen:

• Eliminación de la Dependencia de G2P: SPARCLE elimina la necesidad de sistemas G2P costosos y específicos de cada dialecto, así como de diccionarios de pronunciación, los cuales son cuellos de botella para la escalabilidad y la adaptación multilingüe.
• Robustez al Cambio de Dominio: El modelo demuestra fuertes capacidades de generalización, transfiriendo el conocimiento acústico del inglés de EE. UU. (LibriSpeech) al inglés británico (VCTK) sin una adaptación de dominio explícita.
• Direcciones Futuras: Los autores sugieren que, dado que SPARCLE requiere solo pares de audio-texto alineados, es fácilmente extensible al habla multilingüe. Además, su capacidad para condicionarse a la identidad del hablante sin IDs explícitos abre caminos para la generación de voz zero-shot usando audio de referencia o descriptores. Finalmente, los autores señalan que los embeddings de SPARCLE son muy adecuados para los modelos modernos de Lenguaje de Voz (como VALL-E) que generan tokens de voz discretos de forma autorregresiva, ofreciendo una alternativa aprendida a los módulos tradicionales de G2P.