NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation

Resumen Técnico: NaturalFlow

Planteamiento del Problema
La traducción simultánea de voz a voz (Simul-S2ST) tiene como objetivo facilitar la comunicación casi en tiempo real al minimizar la latencia, ofreciendo una alternativa al paradigma de traducción consecutiva de alta latencia. Sin embargo, la búsqueda de una latencia mínima a menudo obliga a los sistemas a adoptar políticas de procesamiento por fragmentos (chunks) rígidas. Esto resulta en salidas fragmentadas caracterizadas por pausas frecuentes y disruptivas entre los fragmentos de voz. Mientras que la investigación actual se centra predominantemente en el compromiso tradicional entre la calidad de la traducción (por ejemplo, puntuaciones BLEU) y las métricas de latencia, ha explorado insuficientemente la optimización del flujo acústico. Como se señala en la literatura de interpretación, esta entrega fragmentada aumenta la carga cognitiva para los oyentes e impacta negativamente en la precisión y la inteligibilidad percibidas, incluso cuando se preserva el contenido semántico.

Metodología
Los autores proponen NaturalFlow, un marco de optimización consciente de la fluidez diseñado para minimizar los silencios entre fragmentos manteniendo la fidelidad de la traducción. El enfoque se basa en el modelo Hibiki, una arquitectura directa de S2ST que genera conjuntamente el audio de destino y el texto alineado temporalmente.

El núcleo de la metodología consiste en la Optimización de Preferencia Directa (DPO) aplicada a un conjunto de datos de preferencia construido específicamente. El proceso consta de tres etapas clave:

1. Construcción de Datos de Preferencia (Preferencia de Medalla de Plata):

   • El sistema toma muestras de múltiples traducciones candidatas para una determinada locución de origen.
   • Los candidatos se evalúan en dos dimensiones: calidad de la traducción (medida mediante ASR-BLEU) y fluidez acústica (medida mediante la Tasa de Silencio, SR).
   • Para evitar que el modelo sobreoptimice la reducción de silencios a expensas de la fidelidad semántica (una "trampa de fluidez"), los autores introducen una estrategia de Preferencia de Medalla de Plata. En lugar de seleccionar los candidatos absolutamente mejores (menor tasa de silencio) como el conjunto "elegido", seleccionan candidatos del segundo nivel más alto (top 20–40%) de tasas de silencio.
   • El conjunto "rechazado" incluye tanto a los candidatos de bajo silencio excesivamente agresivos (que a menudo degradan la calidad) como a los candidatos de menor rendimiento.
   • Se imponen requisitos de margen estrictos: un candidato elegido debe superar a su contraparte rechazada por un margen específico de calidad de traducción ($\beta$) y un margen de tasa de silencio ($\gamma$).

2. Optimización Guiada por Texto:

   • Optimizar directamente las probabilidades de los tokens acústicos brutos es computacionalmente inestable. En su lugar, el marco aísla el objetivo DPO al flujo de texto ($\pi_\theta(T^y | x, A^y, S^y)$).
   • Debido a que la política de texto está condicionada de forma autorregresiva tanto al flujo de origen concurrente como al audio de destino generado, esta encapsula inherentemente el flujo acústico y los retrasos de latencia.
   • Los autores emplean DPO con Normalización de Longitud (DPO-LN) para evitar que el modelo penalice las traducciones más largas y semánticamente precisas, evitando así trampas de fluidez extremas donde el modelo habla de forma antinaturalmente rápida para evitar las pausas.

Contribuciones Clave

• Marco Consciente de la Fluidez: Un novedoso marco de optimización que apunta explícitamente a la reducción de los silencios disruptivos entre fragmentos en Simul-S2ST, abordando un vacío en la investigación actual que se centra principalmente en los compromisos entre calidad y latencia.
• Estrategia de Preferencia de Medalla de Plata: Una metodología de construcción de datos que estabiliza el entrenamiento al prevenir que el modelo colapse en una optimización de un solo objetivo (es decir, minimizar el silencio a expensas del significado). Al seleccionar candidatos de "medalla de plata" en lugar de los de "medalla de oro" (menor silencio), el modelo aprende un equilibrio balanceado.
• DPO Estable Guiado por Texto: Un enfoque para aplicar la optimización de preferencia a S2ST mediante la alineación de la política de texto, que sirve como un proxy estable para el proceso de generación conjunto de audio y texto, evitando la inestabilidad de la optimización directa de tokens acústicos.

Resultados
Los experimentos se realizaron en cuatro bancos de pruebas que cubren tareas de traducción de voz de formato corto (CVSS-C, VoxPopuli) y formato largo (Audio-NTREX, mTEDx) (Francés a Inglés).

• Reducción de Silencio: NaturalFlow logró la Tasa de Silencio (SR) más baja entre los modelos base comparados (SeamlessStreaming, StreamSpeech, Hibiki) en ambos conjuntos de datos de formato corto y largo. Por ejemplo, en VoxPopuli, la SR se redujo de 0.12 (Hibiki) a 0.10.
• Preservación de la Calidad: A pesar de la reducción de silencio, la calidad de la traducción (ASR-BLEU y ASR-COMET) se mantuvo competitiva con los modelos base. El modelo no sufrió la degradación catastrófica de calidad observada en los estudios de ablación donde se eliminó la estrategia de Medalla de Plata.
• Latencia: Las métricas de latencia (Desfase de Inicio, Desfase de Finalización y Retraso Promedio Adaptativo a la Longitud) se mantuvieron comparables a las de los modelos base, lo que indica que las mejoras en la fluidez no se lograron aumentando la latencia.
• Estudios de Ablación: Eliminar la estrategia de Medalla de Plata (Ablación 1 y 2) provocó un "colapso de optimización", donde los modelos minimizaban agresivamente el silencio, resultando en velocidades de habla excesivamente rápidas y una caída severa en los puntajes BLEU.
• Evaluación Humana: En un estudio utilizando Amazon Mechanical Turk, NaturalFlow fue preferido sobre el modelo base en el 55% de los casos en cuanto a naturalidad y fluidez. Al compararse contra un modelo ablado sin la estrategia de Medalla de Plata, NaturalFlow fue preferido en el 68% de los casos, confirmando que la selección restringida es esencial para producir una salida de sonido natural.

Significancia
El artículo afirma que NaturalFlow logra cerrar la breancia entre los beneficios de baja latencia de la traducción simultánea y la fluidez natural de la traducción consecutiva. Al aprovechar las señales internas del modelo y una novedosa estrategia de aprendizaje de preferencias, el marco demuestra que es posible reducir las pausas disruptivas sin comprometer la calidad de la traducción ni aumentar la latencia. Los autores postulan que este trabajo sienta las bases cruciales para avanzar en la naturalidad de la entrega en S2ST, yendo más allá del tradicional dilema calidad-latencia para incluir la fluidez acústica como un objetivo de optimización primario.