GRAFT: Grafted Reference Audio for Fine-grained Pronunciation in Zero-shot Text-to-Speech

Resumen Técnico: GRAFT – Audio de Referencia Injertado para la Pronunciación de Grano Fino en TTS de Zero-shot

1. Planteamiento del Problema

Los sistemas actuales de Texto-a-Voz (TTS) de zero-shot, particularmente aquellos basados en modelos de lenguaje de códec neuronal, logran una alta inteligibilidad y naturalidad para el vocabulario común. Sin embargo, heredan la ambigüedad de la ortografía, que a menudo no logra especificar la pronunciación correcta para nombres propios poco comunes, préstamos lingüísticos y términos técnicos. Aunque los modelos condicionados por fonemas ofrecen más control, dependen de léxicos de grafema-a-fonema (G2P) fijos o de reconocedores fonéticos neuronales que descartan los matices prosódicos y tonales (diacríticos). Además, estos enfoques simbólicos no pueden manejar fácilmente palabras con múltiples realizaciones válidas o palabras no vistas donde no existe una transcripción fonética canónica. El desafío central es proporcionar un control acústico directo para la pronunciación por palabra sin alterar la voz del locutor objetivo ni requerir una notación fonética experta.

2. Metodología

Los autores proponen GRAFT, un mecanismo que condiciona la pronunciación de palabras específicas basándose en muestras de audio habladas cortas (pistas o hints) en lugar de texto o fonemas.

• Arquitectura e Inferencia: GRAFT opera sobre un modelo de lenguaje de códec preentrenado (específicamente Qwen3-TTS-12Hz-0.6B-Base). Introduce un espacio de condicionamiento por palabra en el prompt. En lugar de tokens de texto para una palabra objetivo, el sistema inserta una secuencia de tokens de códec derivados de una grabación de audio aislada de esa palabra. Estos tokens se colocan entre delimitadores especiales (<B> y </B>) en la posición correspondiente en el prompt de texto. El modelo luego genera de forma autorregresiva la oración completa con la voz del locutor objetivo (definida por una referencia de estilo separada) mientras se adhiere a la pronunciación de la palabra injertada.
• Construcción de Datos de Entrenamiento (Desentrelazamiento): Un componente crítico de GRAFT es el proceso de construcción de datos de entrenamiento, que asegura que el modelo aprenda a separar la pronunciación de la identidad del locutor.
  • Para cada enunciado de entrenamiento, se aplica un paso de conversión de voz utilizando Seed-VC para generar una versión de la oración hablada por un locutor distinto.
  • Esta oración convertida por voz se alinea forzosamente con la transcripción, y las palabras individuales se recortan para crear clips de "pista" (hint clips).
  • Durante el entrenamiento, el modelo recibe el texto original y los clips de pista convertidos por voz (injertados en el prompt), pero se entrena para predecir los tokens de códec de la locución original (del locutor objetivo).
  • Esto obliga al modelo a copiar la pronunciación y la prosodia de la pista mientras ignora la identidad del locutor de la pista, enseñándole efectivamente a renderizar la pista en la voz objetivo.
• Aumentación: Para garantizar la robustez ante condiciones de grabación del mundo real, los clips de pista se someten a aumentación offline (ruido, cambios de tono/velocidad, filtrado, reverberación) y al relleno de silencio variable antes de la codificación.
• Sin Cambios Arquitectónicos: El método no requiere nuevos parámetros ni modificaciones arquitectónicas; simplemente reutiliza el tokenizador de códec existente y añade unos pocos tokens al prompt de inferencia.

3. Contribuciones Clave

1. Mecanismo GRAFT: Un método de control de pronunciación por palabra, libre de parámetros, para modelos de lenguaje de códec neuronal que acepta un ejemplo hablado de cualquier locutor y lo renderiza en una voz objetivo.
2. Estrategia de Entrenamiento de Conversión de Voz: La demostración de que el entrenamiento con pares de conversión de voz es esencial para desentrelazar la voz de la pista de la voz del objetivo, evitando que el modelo simplemente "haga eco" de la voz de la pista.
3. Benchmark Multilingüe: El lanzamiento de un nuevo benchmark que comprende 2,500 palabras difíciles en cinco idiomas (inglés, alemán, francés, español, italiano), junto con checkpoints de código abierto, código y herramientas de evaluación.

4. Resultados Experimentales

Los autores evaluaron GRAFT frente a un backbone de solo texto y siete sistemas competitivos de zero-shot de código abierto (incluyendo modelos condicionados por fonemas como StyleTTS2, MaskGCT y modelos de entrada de texto como XTTS-v2, F5-TTS).

• Precisión de Pronunciación: En el benchmark de palabras difíciles, GRAFT redujo la tasa de error de fonemas de la palabra objetivo (D-PER) en un 22–39% en comparación con el mismo backbone de solo texto en los cinco idiomas. Superó consistentemente a todos los modelos de referencia en fidelidad de pronunciación.
• Evaluación Humana: En un estudio de escucha ciega en inglés que involucró a 20 evaluadores y 600 comparaciones, GRAFT fue clasificado en primer lugar por un margen claro (150 puntos de Bradley-Terry por delante del siguiente mejor sistema). Los evaluadores juzgaron la renderización de palabras difíciles de GRAFT como la más cercana a la grabación de referencia.
• Similitud de Locutor y Naturalidad: A pesar del fuerte control de pronunciación, GRAFT preservó la similitud de locutor (SSIM) y la naturalidad (UTMOS) de manera comparable al modelo base y a otros sistemas de alto nivel.
• Estudios de Ablación: Eliminar el entrenamiento de conversión de voz (GRAFT no VC) resultó en que el modelo copiara la voz del locutor de la pista (colapsando la similitud de locutor a 0.20), confirmando que el entrenamiento de conversión de voz es necesario para el desentrelazamiento. Eliminar las aumentaciones degradó ligeramente el rendimiento pero no colapsó el sistema.
• Capacidad de Multi-Pista: El sistema puede manejar hasta cinco palabras injertadas en una sola oración portadora, con una degradación de la precisión de pronunciación solo leve a medida que aumenta el número de pistas.

5. Significado y Reivindicaciones

El artículo afirma que GRAFT aborda una limitación específica en los sistemas de TTS actuales: la incapacidad de renderizar fielmente palabras raras o ambiguas sin una entrada fonética experta. Al utilizar un ejemplo hablado como señal de condicionamiento, GRAFT permite que personas no expertas prescriban la pronunciación simplemente hablando la palabra. Los autores enfatizan que su enfoque no depende de la corrección canónica (léxicos), sino de la transferencia fiel de una pronunciación suministrada.

La importancia radica en el desentrelazamiento de la pronunciación y la identidad del locutor logrado mediante el entrenamiento de conversión de voz, lo que permite que una pista de cualquier voz sea renderizada en una voz objetivo específica. El artículo posiciona a GRAFT como una solución práctica para dominios que involucran nombres propios, marcas y términos técnicos donde los front-ends basados en texto fallan. Los autores señalan que, si bien el benchmark actual se centra en lenguas no tonales y palabras individuales, la dependencia de su método en tokens acústicos en lugar de fonemas simbólicos sugiere un potencial para trabajos futuros en lenguas tonales y extensiones de múltiples palabras, áreas donde los front-ends simbólicos suelen tener dificultades.