Resumen Técnico: TTS de Códec Neuronal Confiable mediante Autoverificación de ASR y Destilación

1. Planteamiento del Problema

Los modelos de Texto-a-Voz (TTS) de códec neuronal, que utilizan modelos de lenguaje autorregresivos sobre tokens acústicos discretos decodificados por códecs neuronales, se han convertido en un paradigma dominante abierto. Sin embargo, sufren de fallos catastróficos estocásticos. Aunque estos modelos renderizan la mayoría de las frases con claridad, fallan de forma impredecible en una fracción significativa de las locuciones al:

• Desaparecer (Dropout): Emitir silencio o terminar prematuramente (conteo de tokens de habla < 25).
• Colapsar (Collapse): Generar bucles repetitivos o contenido alucinado.

Estos modos de fallo son descalificadores para el despliegue. Trabajos previos han caracterizado estos modos de fallo, pero una solución general y de bajo costo aplicable a diferentes modelos y códecs ha permanecido esquiva. El artículo identifica que el Error de Palabra (WER) estándar es insuficiente para medir la robustez en este contexto, particularmente para números y fechas, debido al ruido de canonicalización entre dígitos y palabras.

2. Metodología

A. Métrica: Verificación de Doble Viaje de ASR

Los autores proponen una métrica robusta al formato basada en un doble viaje de Reconocimiento Automático del Habla (ASR). Una generación $g$ para un texto de referencia $x$ se marca como un fallo catastrófico si:

1. Desaparición (Dropout): El conteo de tokens de habla decodificados $n(g) < 25$ O el conteo de palabras de la transcripción ASR $|h(g)| \le 1$.
2. Colapso/Contenido Incorrecto: El Error de Palabra $WER(h(g), x) > 0.5$.

Esta métrica evita los artefactos de confusión de formato de números/fechas que afectan al WER estándar.

B. Solución en Tiempo de Prueba: Mejor de N (Best-of-N) con Autoverificación

La intervención principal es un procedimiento en tiempo de prueba donde se muestrean $N$ candidatos para un único prompt. Cada candidato es transcrito vía ASR, y se selecciona aquel con el menor WER (que no sea un caso de desaparición).

• Un prompt solo se considera un "fallo" si todos los $N$ candidatos fallan.
• Esto actúa como un mecanismo de selección de oráculo, reduciendo la tasa de fallos catastróficos (CFR) a medida que $N$ aumenta.

C. Solución en Tiempo de Inferencia: Destilación

Para eliminar el costo de inferencia de $N \times$ del método Best-of-N, los autores destilan el comportamiento verificado de vuelta al modelo:

• Ajuste Fino Supervisado (SFT): El modelo se ajusta (usando LoRA) sobre la única mejor muestra autoverificada para cada prompt de entrenamiento.
• Optimización de Preferencias: Los autores comparan SFT contra la Optimización de Preferencia Directa (DPO) offline, la Optimización de Preferencia Iterativa (IPO) y un Emparejamiento Dirigido a Fallos (FTPO) donde las muestras rechazadas son específicamente casos de desaparición o colapso.
• Variante Iterativa Online: Un enfoque on-policy donde el modelo vuelve a muestrear, vuelve a puntuar y vuelve a entrenar en rondas.

3. Configuración Experimental

• Modelos: Se probaron cuatro sistemas abiertos: Llasa-1B, Llasa-3B, Orpheus-3B y CSM-1B.
• Códecs: Se utilizaron tres códecs neuronales distintos: XCodec2, SNAC y Mimi.
• Datasets:
  • Set Difícil (Hard Set): 26 prompts escritos a mano (normales, largos, trabalenguas) diseñados para estresar la robustez (156 generaciones).
  • Corpus Estándar: 120 transcripciones de LibriSpeech test-clean retenidas (360 generaciones).
• Línea Base (Baseline): Las tasas de fallo catastrófico de disparo único (Best-of-1) variaron entre ~0.008 y ~0.36 dependiendo del modelo y la dificultad de la entrada.

4. Resultados Clave

A. Best-of-N Reduce los Fallos a Casi Cero

El mecanismo de autoverificación elimina efectivamente los fallos catastróficos a través de diversas arquitecturas:

• LibriSpeech (Estándar): Para Llasa-1B, Orpheus-3B y CSM-1B, la tasa de fallos cayó a 0 fallos observados (límite superior del 95% $\approx 0.008$) con $N=2$.
• Set Difícil (Hard Set): Para Llasa-1B, la tasa cayó de 0.269 (disparo único) a 0 fallos observados con $N=4$.
• Generalización: Esta reducción se replicó en tres códecs diferentes (XCodec2, SNAC, Mimi) y cuatro modelos, lo que sugiere que la solución es una propiedad general del códec-TTS y no un artefacto específico del modelo.
• Limitación: Llasa-3B no alcanzó el suelo de cero (estancándose en 0.033), y los autores lo atribuyen a un presupuesto de generación más ajustado utilizado durante la ejecución de 3B, más que a una limitación fundamental de escala.

B. La Destilación Hace que la Solución sea "Gratuita"

Destilar el comportamiento autoverificado en el modelo recupera la robustez en la decodificación de disparo único:

• Entradas Difíciles: En el set difícil, las tasas de fallo de disparo único disminuyeron de 0.199 (base) a 0.083–0.096 (destilado), cerrando entre el 52% y 58% de la masa de fallos.
• Entradas Fáciles: En la prosa estándar de LibriSpeech, donde el modelo base ya era confiable (0.058), la destilación mostró ningún cambio detectable, confirmando que la ganancia se concentra donde es necesaria.
• Costo: El modelo destilado logra estas ganancias con ningún costo de tiempo de prueba (inferencia de disparo único).

C. Optimización de Preferencias vs. Destilación Supervisada

• Métodos Offline: DPO, IPO y FTPO offline no superaron a la destilación supervisada simple (SFT). Las diferencias fueron estadísticamente indistinguibles (los intervalos se solapan considerablemente).
• Iterativo Online: Una variante iterativa on-policy mostró las tasas de fallo más bajas (0.013–0.026), pero fue evaluada en un subconjunto más pequeño. Los autores señalan que esta es una dirección prometedora, pero requiere más validación a escala para ser estadísticamente separable de la destilación de una sola pasada.

D. Techos de Capacidad

El estudio identifica dos límites que la autodestilación no puede superar:

1. Palabras Raras: Para prompts que contienen palabras raras (ej. otorrinolaringólogo), el modelo base a menudo carece de la capacidad de generar una muestra fiel incluso con $N=3$. La destilación no puede fabricar la capacidad que el modelo base no posee.
2. Robustez de Números/Fechas: La métrica para estas entradas está dominada por artefactos de tokenización/canonicalización, lo que representa un límite de medición más que un problema de robustez soluble mediante este método.

5. Significado y Reivindicaciones

El artículo afirma que los fallos catastróficos en el TTS de códec neuronal no son un precio intrínseco del paradigma, sino un problema de confiabilidad soluble.

• Solución General: La combinación de verificación Best-of-N y destilación es una solución general que funciona en múltiples modelos y códecs, no solo en un sistema específico.
• Eficiencia de Costo: El "arreglo" es económico de implementar en tiempo de prueba (muestreo) y puede hacerse gratuito en el tiempo de inferencia (destilación).
• Mejora Dirigida: El método apunta específicamente al "presupuesto de fallos" (entradas difíciles) sin degradar el rendimiento en entradas que ya son confiables.
• Limitaciones Honestas: Los autores declaran explícamente que su método no resuelve las brechas de capacidad de palabras raras y que la variante iterativa online, aunque prometedora, requiere más validación a escala. También reconocen que la ganancia de la destilación se infiere actualmente de una comparación entre regímenes (sets duros vs. fáciles) y requiere un barrido de dificultad dentro del mismo corpus para aislar completamente el mecanismo.

En conclusión, el artículo demuestra que un simple bucle de verificación consciente de la referencia puede reducir las tasas de fallo catastrófico a casi cero, y que esta robustez puede transferirse con éxito a la inferencia de disparo único, haciendo que el TTS de códec neuronal sea significativamente más viable para su despliegue.