Pixel-TTS: Image based Text Rendering for Robust Text-to-Speech

Resumen Técnico: Pixel-TTS

Planteamiento del Problema
Los sistemas convencionales de Texto a Voz (TTS) dependen de embeddings discretos basados en Unicode, tratando cada carácter como una entidad independiente. Este enfoque crea limitaciones significativas en la generalización, particularmente en escenarios de adaptación de recursos bajos o zero-shot. Al encontrarse con lenguajes o caracteres no vistos, estos modelos requieren una expansión explícita del vocabulario y un crecimiento de la matriz de embeddings, lo que aumenta la complejidad del modelo y los costos de entrenamiento. Además, los enfoques estándar basados en texto tienen dificultades con las variaciones ortográficas, como los homógrafos de Unicode o las distorsiones de "l33tspeak", porque carecen de la capacidad de reconocer similitudes estructurales entre caracteres visualmente similares pero semánticamente distintos.

Metodología
Los autores proponen Pixel-TTS, el primer marco de trabajo de TTS de extremo a extremo fundamentado en representaciones visuales de texto. En lugar de mapear caracteres discretos a embeddings, Pixel-TTS renderiza el texto como imágenes y los procesa a través de un pipeline visual. La metodología consta de tres componentes principales:

1. Renderizado de Texto a Imagen: Siguiendo el marco PIXEL, cada carácter se renderiza como un parche de escala de grises de $16 \times 16$ fijo. Estos parches se apilan a lo largo de la dimensión del ancho para formar una única imagen $X \in \mathbb{R}^{H \times W}$. Los parches blancos de $16 \times 16$ sirven como tokens de relleno para mantener la alineación monotónica con el espectrograma de mel del audio objetivo.
2. Proyección de Píxeles: La imagen renderizada se proyecta en una secuencia de embeddings utilizando una capa convolucional 2D (Conv2D). Con un tamaño de kernel y un estiramiento (stride) de $16 \times 16$, esta capa mapea cada parche de carácter directamente en un único vector de embedding ($dim_{text} = 512$). Este diseño preserva la alineación temporal a nivel de carácter mientras permite que el modelo aprenda representaciones visualmente fundamentadas. Los embeddings resultantes son procesados por cuatro bloques ConvNeXtV2 apilados.
3. Objetivo de Entrenamiento: El marco adopta el Ajuste de Flujo Condicional (Conditional Flow Matching - CFM) como la pérdida generativa primaria, condicionada a los embeddings de nivel de píxel. Para asegurar una correspondencia precisa entre texto y habla, el modelo incorpora pérdidas de alineación auxiliares: una pérdida de alineación de texto basada en CTC y una pérdida de alineación de representación de habla utilizando características de HuBERT. El objetivo final combina estos términos: $L = L_{CFM} + \lambda_{text}L_{text} + \lambda_{speech}L_{speech}$.

Contribuciones Clave

• Pixel-TTS de Extremo a Extremo: Introducción de un modelo de TTS basado en visión que aprovecha los embeddings de nivel de píxel, logrando una convergencia más rápida mientras mantiene una calidad de síntesis comparable a las líneas base competitivas.
• Mejora en la Generalización Translingüística: El uso de embeddings basados en píxeles permite la transferencia de conocimiento entre lenguajes con scripts visualmente similares, ya que los caracteres estructuralmente similares producen embeddings similares independientemente de su codificación Unicode.
• Ajuste Fino Eficiente: El marco elimina la necesidad de expandir la matriz de embeddings durante el ajuste fino (fine-tuning). Los experimentos en subconjuntos de German Common Voice demuestran que Pixel-TTS converge más rápido que los modelos convencionales basados en texto en entornos de bajos recursos.
• Robustez al Ruido Ortográfico: Pixel-TTS demuestra una capacidad superior para manejar distorsiones de Unicode y l33tspeak en comparación con los modelos basados en texto, al depender de la estructura visual en lugar de IDs de caracteres discretos.

Resultados Experimentales

• Rendimiento Cuantitativo: En el conjunto de prueba LibriSpeech-PC, Pixel-TTS logró tasas de error de palabra menores (WER: 2.28% frente a 2.53%) y tasas de error de carácter menores (CER: 0.81% frente a 1.16%) en comparación con la línea base de Text-TTS a 300k actualizaciones, manteniendo puntuaciones de Similitud de Locutor (SIM) y UTMOS comparables.
• Evaluación Translingüística Zero-Shot: Evaluado en conjuntos de datos no vistos de alemán, francés y holandés que contienen caracteres fuera de vocabulario (OOV), Pixel-TTS superó consistentemente a Text-TTS. Mientras que Text-TTS a menudo trata los caracteres OOV como tokens de relleno, Pixel-TTS los manejó sin problemas, resultando en tasas de error significativamente más bajas en los tres idiomas.
• Eficiencia de Ajuste Fino: Al realizar el ajuste fino en subconjuntos de German Common Voice (10h y 50h), Pixel-TTS no requirió expansión de vocabulario. En contraste, la línea base Text-TTS requirió expandir la matriz de embeddings para nuevos caracteres, lo que llevó a tasas de error iniciales más altas y una convergencia más lenta. Pixel-TTS alcanzó consistentemente un WER y CER más bajos durante todo el proceso de entrenamiento.
• Robustez ante Perturbaciones: Bajo ruido ortográfico sintético (homógrafos de Unicode y l33tspeak), Pixel-TTS mantuvo un rendimiento estable (por ejemplo, el WER aumentó de 14.55 a 46.57 bajo ruido de homógrafos), mientras que el rendimiento de Text-TTS se degradó drásticamente (el WER superó el 100% en algunos casos).
• Análisis de Embeddings: Las visualizaciones t-SNE de los embeddings de caracteres revelaron que Pixel-TTS agrupa naturalmente caracteres visualmente similares (por ejemplo, 'c' y 'C', 'm' y 'M') en el espacio de embeddings, mientras que Text-TTS los trata como entidades distintas y no relacionadas.

Significancia y Reivindicaciones
El artículo afirma que Pixel-TTS representa un cambio significativo en la arquitectura de TTS al fundamentar la síntesis de voz en representaciones visuales de texto. La principal significancia radica en su capacidad para generalizar a caracteres e idiomas no vistos sin la sobrecarga computacional de expandir las matrices de embeddings. Al explotar las similitudes visuales entre caracteres, el modelo logra una convergencia más rápida y robustez contra el ruido ortográfico. Los autores sugieren que este enfoque ofrece una dirección prometedora para permitir la generación de voz natural y escalable a través de diversos lenguajes, particularmente en escenarios que involucran adaptación de bajos recursos o entradas de texto con ruido.