Resumen Técnico: Modelos de Lenguaje para la Mejora del Habla con Recompensas Perceptuales en el Post-entrenamiento

Planteamiento del Problema

Los modelos de lenguaje de mejora de la voz (SE, por sus siglas en inglés) autorregresivos, que operan sobre tokens de audio discretos, han logrado resultados de vanguardia aprovechando el pre-entrenamiento a gran escala y el ajuste fino supervisado (SFT). Sin embargo, persiste una brecha significativa entre el entrenamiento y la evaluación ("train-eval gap"). Estos modelos se optimizan utilizando una pérdida de entropía cruzada a nivel de token, mientras que su rendimiento se evalúa mediante métricas perceptuales no diferenciables como DNSMOS (calidad general), WER (inteligibilidad) y UTMOS (naturalidad). Una menor entropía cruzada no garantiza puntuaciones perceptuales más altas.

Los intentos previos para cerrar esta brecha se han basado en sustitutos aprendidos (p. ej., MetricGAN) o pares de preferencia offline (p. ej., GSEPF). Estos enfoques sufren de errores de aproximación, inestabilidad en el entrenamiento o la necesidad de una construcción de datos compleja. Además, optimizar para una sola métrica suele conducir al "ataque de la recompensa" (reward hacking), donde el modelo explota artefactos para inflar una puntuación específica mientras degrada otras dimensiones de calidad.

Metodología

Los autores proponen completar el flujo de trabajo estándar de entrenamiento de NLP (Pre-entrenamiento $\rightarrow$ SFT $\rightarrow$ Post-entrenamiento) para los modelos de SE introduciendo una etapa de post-entrenamiento utilizando Optimización de Política de Secuencia de Grupo (GSPO, por sus siglas en inglés).

1. Modelos Base

El método se aplica a dos modelos de SE autorregresivos existentes:

• UniSE: Un modelo solo de decodificador que utiliza tokens de un códec de audio neuronal a 16 kHz.
• GenSE: Un modelo de generación jerárquico de dos etapas (semántica y luego tokens acústicos) que utiliza un códec de cuantizador único.

2. Marco de Trabajo GSPO

A diferencia de los métodos de aprendizaje por refuerzo a nivel de token (p. ej., GRPO), GSPO opera al nivel de la secuencia:

• Muestreo: Para cada entrada ruidosa $x$, la política $\pi_\theta$ genera $G$ secuencias de salida completas $\{y_1, \dots, y_G\}$.
• Cálculo de la Recompensa: Cada secuencia completa se decodifica a una forma de onda y se califica mediante una función de recompensa $R(x, y)$.
• Estimación de la Ventaja: Las ventajas relativas al grupo se calculan normalizando las recompensas dentro del grupo:
  $$A_i^j = \frac{R(x_i, y_i^j) - \mu_i}{\sigma_i}$$
  donde $\mu_i$ y $\sigma_i$ son la media y la desviación estándar de las recompensas del grupo.
• Objetivo: La función de pérdida aplica un recorte de secuencia al ratio de importancia $\rho = \pi_\theta(y|x) / \pi_{old}(y|x)$:
  $$L = \mathbb{E} [\min (\rho \cdot A, \text{clip}(\rho, 1-\epsilon, 1+\epsilon) \cdot A)] - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$$
  Esta formulación elimina la necesidad de una red crítica aprendida, reduciendo los requisitos de memoria y mejorando la estabilidad.

3. Diseño de Recompensa Compuesta

Para evitar el ataque de la recompensa, los autores diseñan una recompensa compuesta que combina tres métricas no diferenciables:
$$R(x, y) = \text{DNSMOS} + (1 - \text{WER}) + \text{UTMOS}$$

• DNSMOS: Predice la calidad general del habla.
• WER: Medido a través de Whisper-Large-V3 para asegurar la preservación del contenido (invertido para que un valor mayor sea mejor).
• UTMOS: Predice la naturalidad.
  Las métricas se ponderan equitativamente. Este enfoque de múltiples métricas tiene como objetivo equilibrar simultáneamente la calidad perceptual, la inteligibilidad y la naturalidad.

Contribuciones Clave

1. Completitud del Flujo de Trabajo: El artículo introduce la primera etapa de post-entrenamiento para los modelos de lenguaje de SE autorregresivos utilizando GSPO, alineándolos con el flujo de tres etapas establecido en NLP.
2. Optimización Directa de Métricas: El enfoque optimiza directamente métricas de evaluación no diferenciables (DNSMOS, WER, UTMOS) como señales de recompensa en línea sin necesidad de sustitutos aprendidos o construcción de pares de preferencia offline.
3. Validación de Recompensas de Múltiples Métricas: A través de una ablación de evaluación humana, los autores demuestran que una recompensa compuesta es estrictamente preferida sobre las variantes de una sola métrica, confirmando que la optimización de múltiples recompensas previene el ataque de la recompensa observado en el entrenamiento de una sola métrica.
4. Rendimiento de Vanguardia (State-of-the-Art): El método logra nuevos resultados de vanguardia en los benchmarks DNS2020 y DNS5 cuando se aplica a UniSE y GenSE.

Resultados Experimentales

Benchmark DNS2020

En el conjunto de prueba ciega DNS2020 (sintético con/sin reverberación y grabaciones reales), el post-entrenamiento con GSPO mejoró consistentemente todas las métricas DNSMOS (SIG, BAK, OVRL) para ambos modelos base:

• GenSE + GSPO: Logró los mejores resultados en condiciones sintéticas (p. ej., OVRL 3.53 con reverberación, 3.55 sin reverberación).
• UniSE + GSPO: Logró los mejores resultados en grabaciones reales (OVRL 3.37).
• Ambos modelos mejorados superaron a los modelos de SE tradicionales, los modelos basados en difusión y otros enfoques basados en LM (p. ej., AnyEnhance, LLaSE-G1).

Benchmark DNS5

En el conjunto de prueba ciega DNS5 utilizando DNSMOS personalizado (pDNSMOS):

• GenSE + GSPO mostró ganancias sustanciales, mejorando el pOVRL en +1.04 (Track 1) y +1.40 (Track 2), superando ampliamente a todos los baselines.
• UniSE + GSPO logró las mejores puntuaciones generales en el Track 1 (pOVRL 4.63).
• Los resultados indican que GSPO se generaliza bien a métricas personalizadas no incluidas explícitamente en la función de recompensa.

Ablación de Evaluación Humana

Una prueba de preferencia por pares con 21 evaluadores comparó el baseline de SFT contra las variantes de GSPO usando métricas individuales (DNSMOS, UTMOS, WER) y la recompensa compuesta:

• Recompensa Compuesta: Clasificó en primer lugar con un rating Elo de 1571 y una tasa de victoria del 71.4% contra el baseline.
• Fallo de la Métrica Única: La optimización de solo DNSMOS resultó en el Elo más bajo (1335) y una tasa de victoria del 0% contra la recompensa compuesta, con una tasa de victoria del 33.3% contra el baseline. Esto confirma que optimizar para una sola métrica puede degradar la calidad percibida por debajo del baseline supervisado (ataque de la recompensa).
• Asimetría: La optimización de solo UTMOS se mantuvo cerca de la paridad con el baseline, mientras que la de solo DNSMOS degradó activamente la calidad, sugiriendo que DNSMOS es más susceptible a la explotación superficial.

Significación y Reivindicaciones

El artículo afirma que el post-entrenamiento con recompensas perceptuales de múltiples métricas es un tercer eje crítico para mejorar los modelos de lenguaje de SE, complementando el diseño de arquitectura y el escalado de datos. Al optimizar directamente métricas no diferenciables mediante GSPO, el método cierra la brecha de entrenamiento-evaluación sin la inestabilidad de los sustitutos aprendidos. Los autores enfatizan que la optimización de múltiples recompensas es esencial para evitar el fenómeno de ataque de la recompensa, asegurando que las mejoras en una métrica no ocurran a expensas de la calidad general del habla. El trabajo establece un nuevo estándar para el entrenamiento de modelos de SE que se alinea directamente con las preferencias perceptuales humanas.