Resumen Técnico: DOA - Política de Atención de Solo Decodificador Libre de Entrenamiento para Traducción Simultánea de Larga Duración

Planteamiento del Problema

La traducción simultánea de voz a texto (SimulST) requiere una política de transmisión (streaming) para decidir cuándo leer audio de origen y cuándo escribir tokens de destino, equilibrando la calidad de la traducción con la latencia. Los sistemas de vanguardia suelen utilizar arquitecturas de codificador-decodificador basadas en atención (AED), donde la atención cruzada proporciona señales de alineación explícitas para guiar estas decisiones; sin embargo, los avances recientes se han desplazado hacia los Modelos de Lenguaje de Gran Escala para el habla (SpeechLLMs). Estos modelos emplean arquitectas de solo decodificador que dependen exclusivamente de la autoatención, careciendo de puntuaciones de atención cruzada explícitas.

Este cambio arquitectónico plantea una pregunta crítica: ¿Contiene el mecanismo de autoatención en los SpeechLLMs de solo decodificador señales de alineación lo suficientemente estables como para guiar las decisiones de transmisión? Además, los enfoques existentes para adaptar los SpeechLLMs a la SimulST suelen depender de un ajuste fino basado en entrenamiento o de políticas heurísticas fijas (por ejemplo, wait-k) y no han sido rigurosamente validados en entornos de larga duración, donde los modelos deben procesar contextos acústicos y textuales que crecen continuamente.

Metodología: Atención de Solo Decodificador (DOA)

Para abordar estas brechas, los autores proponen Decoder-Only Attention (DOA), una política libre de entrenamiento que permite la traducción simultánea de larga duración utilizando SpeechLLMs estándar sin reentrenamiento.

1. Derivación de la Alineación Proxy

Dado que los modelos de solo decodificador procesan el habla y el texto dentro de una única secuencia autorregresiva, los autores derivan una matriz de atención cruzada proxy directamente de los pesos de autoatención del decodificador.

• Durante la generación autorregresiva, se extraen los pesos de autoatención $A^{(l,h)}$ para la capa $l$ y la cabeza $h$ del decodificador, cubriendo una secuencia de $S$ tokens de audio y $T$ tokens de texto generados.
• Debido a que los tokens de audio ocupan el prefijo de la secuencia, los autores aíslan la atención dirigida hacia el contexto acústico: $\tilde{A}^{(l,h)} = A^{(l,h)}[:, : S]$.
• Esto resulta en una matriz $\tilde{A} \in \mathbb{R}^{T \times S}$, análoga a la matriz de atención cruzada en los modelos AED.
• La alineación proxy final $\bar{A}$ se obtiene promediando a través de capas y cabezas seleccionadas.

2. Política de Decisión de Transmisión

La política utiliza la alineación derivada para determinar cuándo emitir tokens:

• Para cada token generado $t$, se identifica la posición de audio alineada $a_t$ como la posición que recibe la puntuación de atención más alta ($a_t = \arg\max_s \bar{A}_{t,s}$).
• Un hiperparámetro de corte $f$ define el número de fotogramas de audio recibidos más recientemente que se consideran "acústicamente inestables".
• Los tokens alineados con posiciones dentro de los últimos $f$ fotogramas se retienen, ya que su evidencia acústica de apoyo puede evolucionar con la entrada futura.
• Solo los tokens que satisfacen $a_t < S - f$ se comprometen a la salida.

3. Adaptación de Larga Duración

Para manejar flujos de audio ilimitados, DOA implementa mecanismos de selección de historial para prevenir el desbordamiento de memoria:

• Historial Textual: Se evalúan dos estrategias: (i) Palabras Fijas (retener los últimos $N$ tokens) y (ii) Puntuación (retener el texto después de la marca de puntuación fuerte más reciente).
• Historial Acústico: La alineación proxy se utiliza para podar los fotogramas de audio. Los fotogramas alineados exclusivamente con el historial textual descartado se eliminan, mientras que los fotogramas alineados con el prefijo preservado y las nuevas hipótesis se mantienen.
• Gestión de Casos Límite: Si la poda basada en la atención falla al descartar fotogramas y el historial de audio excede una duración predefinida (por ejemplo, 90s o 120s), los fotogramas más antiguos se truncan para mantener una memoria acotada.

Principales Contribuciones

1. Primera Política Libre de Entrenamiento para SimulST de Solo Decodificador: DOA es la primera política que permite la traducción simultánea de larga duración con SpeechLLMs de solo decodificador estándar, aprovechando la autoatención como una señal de alineación proxy.
2. Validación de la Estabilidad de la Autoatención: El trabajo investiga y confirma empíricamente que la autoatención del decodificador proporciona información de alineación lo suficientemente estable como para impulsar decisiones de transmisión, desafiando la suposición de que la atención cruzada explícita es necesaria.
3. Capacidad de Larga Duración: A diferencia del trabajo previo centrado en elílocuciones pre-segmentadas, DOA está diseñado para flujos de audio continuos y de larga duración con poda de contexto dinámica.
4. Agnosticismo de Modelo: El marco requiere únicamente el acceso a los pesos de autoatención del decodificador, lo que lo hace aplicable a cualquier SpeechLLM sin adaptación específica para la tarea.

Resultados Experimentales

Los autores evaluaron DOA en Phi4-Multimodal y Qwen3-Omni para la traducción de inglés a alemán e inglés a italiano, comparándolo con la línea base StreamAtt aplicada al modelo AED SeamlessM4T.

• Selección de Historial: La estrategia de Puntuación superó consistentemente a las estrategias de Palabras Fijas tanto en calidad (COMET) como en estabilidad a través de los regímenes de latencia. Esto contrasta con los hallazgos en sistemas AED, sugiriendo que los modelos de solo decodificador se benefician más de la continuidad textual a nivel de oración.
• Análisis de Capas y Cabezas: El promedio de la alineación proxy a través de todas las capas y cabezas produjo el rendimiento más robusto. La selección de capas específicas provocó inestabilidad o fallos, mientras que las cabezas específicas ofrecieron solo mejoras mínimas.
• Rendimiento:
  • Los SpeechLLMs equipados con DOA alcanzaron una calidad de traducción (puntuaciones COMET de hasta 0.828 para Qwen3-Omni en-it) cercana a los puntos de referencia de decodificación fuera de línea (offline) sin reentrenamiento.
  • Los modelos demostraron un compromiso favorable entre latencia y calidad, superando consistentemente la línea base de AED StreamAtt.
  • Qwen3-Omni cubrió un amplio rango operativo (de 400ms a 3.8s LongYAAL) con alta calidad, mientras que Phi4-Multimodal ofreció una gestión de latencia más sencilla.

Significado y Reivindicaciones

El artículo afirma que DOA logra reutilizar los SpeechLLMs fuera de línea para la traducción simultánea sin reentrenamiento, demostrando que la autoatención del decodificador puede servir como una señal de alineación efectiva para decisiones de transmisión. Los autores enfatizan que este enfoque se generaliza a través de diferentes familias de modelos (densos vs. MoE) y arquitecturas, proporcionando un mecanismo simple y efectivo para la SimulST de larga duración.

El trabajo destaca que la alineación basada en la atención no es exclusiva de los modelos codificador-decodificador y puede adaptarse a arquitecturas de solo decodificador. Sin embargo, los autores mantienen la modestia respecto a su alcance, señalando limitaciones como la evaluación restringida a la voz de origen en inglés, el uso de lenguas de destino con alfabeto latino y la falta de comparaciones de latencia conscientes del cómputo debido a entornos de GPU heterogéneos. Declaran explícitamente que la generalización a lenguas logográficas o morfológicamente ricas sigue siendo una cuestión abierta.