On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models

Resumen Técnico: Sobre el efecto del ancho de segmentación y el tamaño de clúster en la resíntesis y continuación de habla en modelos generativos de lenguaje hablado

Planteamiento del problema
El modelado de lenguaje hablado generativo (GSLM, por sus siglas en inglés) tiene como objetivo entrenar modelos de lenguaje (LM) sobre representaciones discretas de habla sin depender de transcripciones textuales. Si bien este paradigma permite aplicaciones para lenguas no escritas y la adquisición del lenguaje en infantes, los enfoques actuales de GSLM enfrentan desafíos de eficiencia. La conversión de señales de habla a secuencias de unidades discretas (de habla a unidades, o s2u) resulta típicamente en secuencias significativamente más largas que el texto, lo que conlleva incrementos cuadráticos en los costos computacionales para los modelos de lenguaje basados en Transformers. Además, la literatura existente sugiere que el rendimiento en la comprensión del lenguaje hablado puede mejorar reduciendo la longitud de la secuencia y aumentando el tamaño del clúster, pero sigue sin estar claro si estos hallazgos se mantienen para las tareas de síntesis y continuación de habla, las cuales son críticas para las aplicaciones generativas.

Metodología
Los autores investigan el impacto de variar las tasas de bits en el rendimiento de GSLM mediante la manipulación de dos parámetros clave en el flujo de trabajo s2u:

1. Ancho de segmentación ($N$): Las representaciones continuas de habla extraídas de un modelo SSL (HuBERT-base) se segmentan en ventanas de longitud fija de $N$ milisegundos.
2. Tamaño de clúster ($K$): Estos segmentos se cuantizan utilizando agrupamiento K-means con un número variable de clústeres ($K$), que oscila entre $2^7$ (128) y $2^{14}$ (16,384).

Al combinar ocho valores de $N$ (de 20 ms a 280 ms) con ocho valores de $K$, el estudio crea 64 configuraciones de tasa de bits distintas. El punto de referencia (baseline) se define como $N=20$ (que coincide con el desplazamiento de fotogramas original de HuBERT) con tamaños de clúster estándar.

El marco experimental evalúa dos tareas primarias:

• Resíntesis de habla: Reproducir el habla de entrada a partir de unidades discretas.
• Continuación de habla: Generar habla semántica y acústicamente coherente condicionada a un segmento de entrada.

El sistema emplea una arquitectura GSLM estándar: un módulo s2u, un LM de unidades autorregresivo basado en Transformer (uLM, basado en OPT) y un módulo de síntesis de unidad a habla (u2s). Se probaron dos modelos u2s distintos para asegurar la robustez: Tacotron2 con un vocoder Parallel WaveGAN y VITS (un modelo de extremo a extremo).

Métricas de evaluación
El estudio utiliza una estrategia de evaluación multifacética:

• Resíntesis: Tasa de error de palabra (WER) para inteligibilidad, UTMOS para naturalidad, y Distorsión de Cepstral de Mel (MCD) y LogF0 RMSE para la reconstrucción de características acústicas.
• Continuación: Perplejidad (PPL) y diversidad (VERT) calculadas sobre un rango de temperaturas de muestreo. Los autores señalan que la métrica tradicional de "área bajo la curva" para los compromisos entre PPL/VERT suele ser inválida debido al comportamiento no monotónico; en su lugar, utilizan la distancia euclidiana a un punto oráculo tras una normalización min-máx.
• Evaluación avanzada: Juicios pareados utilizando un LLM como juez (GPT-4.1-mini) y evaluaciones humanas utilizando la Puntuación de Opinión Media de Significado (MMOS).

Resultos clave

• Resíntesis de habla: Aunque generalmente se prefieren anchos de segmentación más pequeños ($N$), valores moderadamente grandes (por ejemplo, $N=40$ u $N=80$) logran un rendimiento comparable al baseline ($N=20$) sin una degradación sustancial en la inteligibilidad o la naturalidad. Esto sugiere que las configuraciones de menor tasa de bits pueden preservar la calidad del habla.
• Continuación de habla: Contrario a la resíntesis, donde el baseline suele ofrecer los mejores resultados, varias configuraciones con $N$ mayor (tasas de bits más bajas) rinden a la par o ligeramente mejor que el baseline en las tareas de continuación. Específicamente, configuraciones como $(N=120, K=2^{13})$ para Tacotron2 y $(N=80, K=2^{12})$ para VITS demostraron un alto rendimiento.
• Dependencia del modelo: Tacotron2 superó consistentemente a VITS en inteligibilidad (WER), mientras que VITS mostró una fidelidad acústica superior (MCD, UTMOS). Sin embargo, la elección del modelo u2s tuvo un impacto limitado en la calidad del contenido semántico de la continuación, como lo evidencia la alta correlación de rango de Spearman en las puntuaciones de PPL y VERT entre ambos modelos.
• Métricas de evaluación: Los juicios pareados basados en LLM mostraron una mayor correlación con las puntuaciones subjetivas humanas (MMOS) que las métricas convencionales (PPL, VERT). No obstante, la correlación siguió siendo baja en general, indicando que las métricas automáticas actuales son insuficientes para evaluar la significatividad del habla de manera fiable.

Significancia y afirmaciones
El artículo afirma que la configuración convencional de GSLM, que típicamente emplea unidades discretas de alta resolución (pequeño $N$, longitud de secuencia grande), puede contener información redundante para la generación de habla efectiva. Los autores demuestran que se puede lograr una resíntesis de habla inteligible y natural, así como una continuación de habla de alta calidad, con tasas de bits sustancialmente menores al aumentar el ancho de segmentación y optimizar el tamaño del clúster.

Este hallazgo sugiere un camino hacia un entrenamiento e inferencia más eficientes para los GSLM, reduciendo potencialmente los costos computacionales sin sacrificar la calidad de la salida. Además, el estudio destaca una brecha crítica en la metodología de evaluación: si bien las métricas basadas en LLM ofrecen una mejora respecto a las métricas tradicionales, el campo aún carece de métodos de evaluación automática robustos y de alta correlación para la continuación del habla, lo que requiere mayor investigación en esta área.