Resumen Técnico: AccentBox: Hacia la Generación de Acentos de Alta Fidelidad en Zero-Shot

1. Planteamiento del Problema

Los avances recientes en el Texto-a-Voz Zero-Shot (ZS-TTS) han logrado una alta naturalidad y similitud de locutor, permitiendo la síntesis de voces de locutores no vistos a partir de clips de audio cortos. Sin embargo, los sistemas existentes ignoran en gran medida la variación de acentos, entrenándose a menudo en conjuntos de datos sesgados (por ejemplo, inglés estadounidense) sin una condicionante de acento explícita. Esto resulta en una baja fidelidad de acento y una falta de control sobre el acento generado.

Los enfoques actuales para la generación de habla con acento se dividen en tres categorías, cada una con limitaciones significativas:

• Conversión de Acento Extranjero (FAC): Convierte acentos L2 a acentos L1, pero no puede manejar texto arbitrario o pares de acentos no vistos.
• TTS con Acento: Genera habla con acento, pero está limitado a locutores y acentos ya conocidos.
• ZS-TTS Estándar: Genera habla para locutores no vistos, pero falla al controlar o reproducir con precisión los acentos, lo que a menudo conduce a la alucinación o desajuste de acentos.

Además, existe una brecha de investigación crítica respecto al entrelazamiento entre locutor y acento. Tanto en la Identificación de Acento (AID) como en el ZS-TTS, los modelos suelen confundir la identidad del locutor con el acento, fallando al generalizar a locutores no vistos o al desentrelazar ambos atributos. Asimismo, los benchmarks existentes suelen sufrir de fuga de datos (solapamiento de locutores entre los conjuntos de entrenamiento y prueba), lo que oscurece las verdaderas capacidades de generalización de los modelos AID.

2. Metodología

Los autores proponen AccentBox, un novedoso pipeline de dos etapas que unifica FAC, TTS con acento y ZS-TTS en una única tarea de Generación de Acento Zero-Shot. Esta tarea tiene como objetivo generar cualquier contenido de habla en cualquier voz y acento dados a partir de un solo clip de audio.

Etapa 1: Identificación de Acento Generalizable (GenAID)

La primera etapa se centra en la extracción de embeddings de acento continuos y ajenos al locutor. Los autores proponen GenAID, un modelo AID mejorado basado en el codificador XLSR, diseñado para superar el entrelazamiento entre locutor y acento. Las modificaciones clave incluyen:

1. Validación en Locutores No Vistos: El modelo se valida exclusivamente en locutores que no están presentes en el conjunto de entrenamiento para evitar la memorización de mapeos de locutor-a-acento.
2. Muestreo Ponderado: Aborda la distribución desequilibrada de etiquetas de acento mediante el muestreo con probabilidades inversamente proporcionales a la frecuencia del acento.
3. Aumento de Datos: Aplica perturbaciones de velocidad y ruido para aumentar la robustez frente a las condiciones de grabación.
4. Cuello de Botella de Información: Un MLP de dos capas mapea las salidas de alta dimensión del codificador a un embedding de menor dimensión (64 dimensiones), eliminando información redundante.
5. Entrenamiento Adversario: El modelo se entrena para ser máximamente incierto sobre la identidad del locutor utilizando una pérdida de Error Cuadrático Medio (MSE) contra una distribución uniforme, desentrelazando eficazmente la información del locutor de las características del acento.

Etapa 2: Generación de Acento Zero-Shot (AccentBox)

La segunda etapa condiciona un sistema ZS-TTS (basado en YourTTS) con los embeddings de acento preentrenados de GenAID.

• Arquitectura: El sistema reemplaza los embeddings de lenguaje estándar de un solo bit (one-hot) por los embeddings de acento continuos de GenAID. Estos embeddings condicionan tanto el Codificador de Texto Transformer como el Predictor de Duración Estocástica.
• Escenarios de Inferencia: El sistema soporta tres modos:
  • Generación Inherente: Generar el habla con el acento natural del locutor objetivo.
  • Generación de Acento Cruzado: Generar la voz de un locutor objetivo con un acento diferente y especificado.
  • Generación de Acento No Visto: Generar el habla con un acento no visto durante el entrenamiento.

3. Contribuciones Clave

El artículo reclama las siguientes contribuciones:

• Definición de la Tarea: Introducción de la tarea de Generación de Acento Zero-Shot, que unifica las capacidades de FAC, TTS con acento y ZS-TTS estándar.
• Benchmarking: Establecimiento del primer benchmark para esta tarea, incluyendo la verificación y cuantificación del entrelazamiento locutor-acento en los datos/modelos de AID y la identificación de problemas de desajuste/alucinación de acento en ZS-TTS.
• Nuevo Desentrelazamiento: Implementación del desentrelazamiento locutor-acento en AID utilizando cuellos de botella de información y entrenamiento adversario, logrando embeddings de acento ajenos al locutor.
• Rendimiento del Sistema: Demostración de un sistema capaz de una generación de acento zero-shot de alta fidelidad sin depender de etiquetas de acento pre-recolectadas en los datos de TTS.

4. Resultados Experimentales

Rendimiento de GenAID

• Clasificación: En locutores no vistos (clasificación de 13 acentos), el mejor sistema GenAID logró un F1 score de 0.56 y una precisión de 0.56, superando significativamente la línea base aleatoria (0.08) y los sistemas previos.
• Generalización: La brecha en la precisión entre locutores vistos y no vistos se redujo de 0.53 (línea base) a 0.06 (propuesto), indicando una generalización superior.
• Desentrelazamiento: El Coeficiente de Silueta para Clústeres de Locutores (SCSC) cayó de 0.236 a 0.079, confirmando la reducción de la información residual del locutor en los embeddings de acento.

Rendimiento de AccentBox

• Evaluación Objetiva (Inherente y Acento Cruzado): El sistema propuesto logró las puntuaciones más altas de Similitud de Coseno de Acento (AccCos) (0.9336 para inherente, 0.9067 para acento cruzado) en comparación con líneas base como VALL-E X y una línea base estándar de YourTTS.
• Evaluación Subjetiva (Inherente):
  • Similitud de Acento: El sistema propuesto fue preferido sobre la Línea Base (69.1% para US, 61.3% para Irish) y el sistema Accent_ID (57.4% para US, 65.7% para Irish).
  • Similitud de Locutor: Las preferencias fueron mixtas; el sistema fue preferido sobre la Línea Base, pero mostró una menor similitud de coseno de locutor objetiva, posiblemente debido al sesgo de ASR o a la dificultad de los oyentes para distinguir el acento de la identidad.
  • Naturalidad: El sistema superó a las líneas base para acentos de EE. UU., pero recibió una menor preferencia para el acento irlandés, atribuido a los limitados datos de entrenamiento para el irlandés y la sensibilidad de la prosodia.
• Evaluación Subjetiva (Acento Cruzado): El sistema propuesto demostró una fidelidad de acento superior (70.0% de preferencia para US, 61.7% para Irish) en comparación con el sistema Accent_ID, el cual depende de etiquetas discretas de un solo bit y tiene dificultades con la consistencia.

5. Significancia y Reivindicaciones

El artículo posiciona a AccentBox como un paso significativo hacia una tecnología de voz inclusiva. Al abordar el problema del entrelazamiento locutor-acento, los autores afirman haber creado un sistema que:

1. Preserva la identidad lingüística para hablantes nativos y alivia la presión de conformarse a acentos nativos para hablantes no nativos.
2. Permite aplicaciones en asistentes virtuales personalizados, doblaje de películas y Entrenamiento de Pronunciación Asistido por Computadora (CAPT).
3. Proporciona un control separado sobre el locutor y el acento, permitiendo la generación de acentos y voces no vistos sin requerir etiquetas de acento recolectadas previamente en los datos de entrenamiento de TTS.

Los autores señalan que, si bien el sistema es prometedor, se requiere trabajo futuro para experimentar con la generación/conversión de acentos L2 y para refinar los métodos de evaluación para comprender mejor las discrepancias en la naturalidad a través de diferentes acentos.