Resumen Técnico: Traducción de Voz a Texto en Streaming con un SpeechLLM

Declaración del Problema

Los sistemas actuales para traducir voz a texto en otro idioma suelen depender de una arquitectura en cascada: un reconocedor de voz produce una transcripción, que luego se alimenta a un sistema de traducción de texto a texto. Aunque los avances recientes han permitido que los "SpeechLLM" (Modelos de Lenguaje Grandes condicionados por audio de voz) realicen traducciones de extremo a extremo, las implementaciones existentes no logran operar de manera verdaderamente en streaming en tiempo real.

La mayoría de los SpeechLLM existentes esperan a que se complete un enunciado antes de generar salida o dependen de políticas fijas (como "wait-k") que emiten tokens en intervalos fijos basados en fragmentos de audio. Estas políticas fijas son inadecuadas para escenarios del mundo real donde la velocidad del habla, las pausas y el ruido de fondo varían. Específicamente:

• Políticas Fijas: Si un micrófono se abre antes de que comience el habla, o si un hablante duda, las políticas fijas obligan al modelo a alucinar salida o a quedarse atrás, lo que conduce a una calidad de traducción degradada o a frases omitidas.
• Eficiencia Energética: Los modelos en streaming existentes que emiten tokens de "espera" para solicitar más audio a menudo incurren en altos costos energéticos en dispositivos de borde porque requieren evaluaciones completas y frecuentes del modelo de lenguaje grande (LLM).

Metodología

1. La Arquitectura "Intermixada"

El artículo propone una arquitectura novedosa donde el propio LLM aprende una política de espera. En lugar de un módulo separado que decida cuándo esperar, el LLM se entrena para emitir dos tipos de tokens:

• Tokens de Texto: La salida de traducción real.
• Tokens de Espera ($W$): Señales que indican que el modelo necesita más audio antes de proceder.

En este modelo "intermixado", la secuencia de entrada alterna entre vectores de voz codificados (provenientes de un codificador de voz) y tokens de texto, reflejando la secuencia de salida que intercala tokens de texto y tokens de espera. El modelo aprende a decidir, basándose en el audio parcial visto hasta el momento, si tiene información suficiente para emitir un token de traducción o debe esperar al siguiente fragmento de audio.

2. Alineación a Nivel de Frase para el Entrenamiento

Un desafío crítico en el entrenamiento de sistemas en streaming es determinar cuándo emitir palabras específicas. Los métodos de alineación a nivel de palabra estándar (por ejemplo, SimAlign) a menudo fallan en pares de idiomas lingüísticamente distantes (por ejemplo, inglés y coreano) porque los conceptos no se mapean uno a uno.

• Solución Propuesta: Los autores generan alineaciones a nivel de frase utilizando un LLM con prompting de pocos ejemplos (few-shot prompting).
• Mecanismo: Los textos fuente y objetivo se alinean frase por frase. Todas las palabras en una frase objetivo se alinean con la última palabra de la frase fuente correspondiente. Esto asegura que el modelo solo emita una palabra objetivo después de haber escuchado el audio fuente necesario, evitando una generación prematura.
• Objetivo de Entrenamiento: El modelo se entrena para maximizar la probabilidad de una única secuencia de pasos óptima (una mezcla de decisiones de espera y emisión) derivada de estas alineaciones.

3. Política de Espera de Salida Anticipada para Eficiencia Energética

Para abordar el costo energético de las llamadas frecuentes al LLM causadas por los tokens de espera, los autores introducen una política de espera de salida anticipada.

• Mecanismo: Una cabeza ligera (derivada de las primeras capas del LLM) toma una decisión preliminar: Esperar ($W$) o Emitir ($E$).
• Operación:
  • Si la política decide Esperar, el LLM completo no se evalúa, ahorrando una computación significativa.
  • Si la política decide Emitir, se evalúa el LLM completo para generar cero o más tokens de texto seguidos de un token de espera.
• Compensación: Esto permite un equilibrio ajustable entre latencia y consumo energético sin comprometer la calidad de la traducción, ya que el LLM completo retiene la autoridad final para anular una decisión de "emitir" si determina que se necesita más audio.

4. Métricas de Evaluación

El artículo critica las métricas de latencia estándar como el "retraso promedio" por sus inconsistencias con el habla en streaming (por ejemplo, el manejo de emisiones posteriores al audio y enunciados cortos). En su lugar, propone la Latencia Lógica Promedio, que mide el tiempo promedio en que se emite un token en relación con una línea base teórica donde los tokens se generan uniformemente a lo largo de la duración del audio.

Resultados Clave

Se realizaron experimentos en tareas de traducción de inglés a francés, inglés a coreano e inglés a alemán utilizando conjuntos de datos como CoLiMu y Fleurs.

• Latencia vs. Calidad: El SpeechLLM intermixado logra una latencia de 1–2 segundos mientras mantiene una calidad de traducción (puntuación COMET) cercana a las líneas base fuera de línea no en streaming. Supera significativamente a los sistemas existentes de política fija (Bestow con wait-k) y políticas dinámicas (AlignAtt) en la compensación latencia-calidad.
• Robustez: A diferencia de los modelos de política fija, que sufren un fallo catastrófico (alucinaciones) cuando la entrada contiene silencio o ruido (probado en el conjunto de datos "SilFleurs"), el modelo intermixado se adapta dinámicamente, manteniendo una calidad consistente.
• Eficiencia Energética: La política de salida anticipada reduce el número de llamadas al LLM. Para inglés a coreano, ajustar la penalización de espera redujo el uso de energía de 1.55 a 1.16 tokens por token de salida mientras se mantenía la latencia estable en ~2.3 segundos.
• Estrategia de Alineación: La alineación a nivel de frase propuesta supera significativamente a la alineación a nivel de palabra (SimAlign). La supervisión a nivel de palabra condujo a una generación prematura y a una calidad degradada, mientras que la supervisión a nivel de frase proporcionó etiquetas de tiempo confiables.

Significado y Afirmaciones

El artículo afirma abordar la brecha en el streaming adaptativo en tiempo real para SpeechLLM. Sus contribuciones principales son:

1. Una Política de Espera Aprendida: Alejarse de políticas fijas y rígidas hacia un modelo que aprende cuándo esperar basándose en el contenido del audio, permitiendo una verdadera adaptabilidad a las variaciones del habla en el mundo real.
2. Supervisión a Nivel de Frase: Un método para generar datos de entrenamiento que maneja las complejidades de las estructuras de frases entre idiomas, lo cual es esencial para la traducción en streaming de alta calidad entre idiomas diversos.
3. Streaming Consciente de la Energía: La introducción de la política de salida anticipada demuestra que los sistemas en streaming pueden optimizarse para dispositivos de borde, reduciendo el consumo de energía sin sacrificar los beneficios de baja latencia del streaming.

Los autores concluyen que su sistema ofrece un equilibrio superior de baja latencia, alta calidad de traducción y robustez en comparación con las políticas fijas o dinámicas existentes, convirtiéndolo en un candidato viable para la implementación en el mundo real en aplicaciones como la traducción móvil.