AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task

Resumen Técnico: AlignAtt4LLM

Planteamiento del Problema
El artículo aborda el desafío de adaptar modelos de lenguaje de gran escala (LLM) de solo decodificador (decoder-only) y de tipo offline para la traducción simultánea de voz (SST). Las políticas simultáneas tradicionales como AlignAtt (Papi et al., 2023, 2024) dependen de la atención cruzada (cross-attention) entre el codificador y el decodificador para determinar cuándo un prefijo de la fuente es suficiente para generar un token de la meta. Sin embargo, los LLM de solo decodificador carecen de este mecanismo explícito de atención cruzada, ya que procesan el texto de origen y de destino dentro de un único flujo de autoatención causal. En consecuencia, aplicar el AlignAtt estándar a modelos de solo decodificador no es directamente factible. Además, las políticas simultáneas existentes para modelos de solo decodificador, como LocalAgreement, suelen introducir una mayor latencia y no aprovechan las señales internas de atención del modelo. Los autores buscan cerrar esta brecha permitiendo que un LLM de solo decodificador de alta calidad opere en un modo simultáneo de baja latencia sin reentrenar el modelo para direcciones lingüísticas específicas.

Metodología
El sistema propuesto, AlignAtt4LLM, es un cascada sincrónico que consta de dos componentes principales:

1. Componente ASR: Utiliza Qwen3-ASR (1.7B) para la transcripción y Qwen3-ForcedAligner (0.6B) para asignar tiempos de inicio y fin a nivel de palabra. El sistema opera de manera basada en fragmentos (chunks), retranscribiendo la cola de audio en vivo en cada límite de fragmento para estabilizar las hipótesis.

2. Componente MT: Utiliza Gemma-4 E4B-it servido vía vLLM. La innovación central reside en la adaptación de la política AlignAtt a esta arquitectura de solo decodificador mediante cuatro mecanismos técnicos específicos:

   • Espacio de Fuente Explícito en el Prompt: Dado que los modelos de solo decodificador carecen de atención cruzada, los autores estructuran el prompt causal para separar explícitamente la transcripción de la fuente del historial de la meta. El prompt concatena el prompt del sistema, la transcripción de la fuente en vivo ($s^{(k)}$), la instrucción de traducción, el prefijo de la meta aceptado ($y_{1:m_k}$) y el borrador actual ($\hat{y}^{(k)}$). Esto permite que la política identifique el espacio de la fuente dentro de la matriz de autoatención.
   • Selección Offline de Cabezales Específicos de Traducción: No todos los cabezales de autoatención contribuyen a la alineación de la traducción. Siguiendo a Liu et al. (2026), los autores realizan una calibración offline utilizando texto paralelo no utilizado y alineaciones de GPT-5-mini para puntuar los cabezales mediante la Puntuación de Traducción (TS). Retienen los 8 mejores cabezales por par de idiomas, los cuales se concentran en las capas posteriores del backbone.
   • Replay Selectivo $qk$-fast: El entorno de ejecución vLLM desplegado fusiona los kernels de atención, ocultando la matriz de atención completa de $n \times n$. Para acceder a las señales de alineación necesarias, los autores implementan un observador en tiempo de ejecución que captura los tensores exactos de consulta ($Q$) y clave ($K$) consumidos por el módulo de atención tras la normalización y el posicionamiento rotatorio (RoPE). En lugar de reconstruir la matriz completa, el sistema realiza un "replay selectivo $qk$-fast", recomputando solo el bloque específico de puntuaciones de atención entre los tokens del borrador y el espacio de la fuente ($\hat{A}_{D, S^{(k)}}$). Esto garantiza salidas bit-idénticas al modelo sin parchear, evitando el costo computacional de la reconstrucción completa de la atención.
   • Captura de Consulta/Clave en Tiempo de Ejecución: Para asegurar que el observador sobreviva a la optimización del grafo (ej. eliminación de código muerto), se añade una dependencia centinela de valor cero a la salida de la atención. Esto mantiene la ruta de captura en el fan-in vivo del grafo sin alterar los resultados numéricos.

Política de Aceptación
La política escanea los tokens del borrador de izquierda a derecha, aceptando un prefijo siempre que la señal de alineación permanezca dentro de la "frontera de fuente accesible". La decisión se basa en:

1. Verificación de la Frontera de la Fuente: El argmax de la fila de atención reconstruida no debe exceder el número de palabras accesibles de la fuente más un margen ($b=1$).
2. Masa de Proveniencia: Se calcula la suma de la masa de atención dirigida hacia los tokens accesibles de la fuente ($\pi^{acc}_t$).
3. Estabilización: El sistema aplica estadísticas de prefijo online (Welford) y un filtro de mediana para estabilizar el pico de alineación antes de tomar una decisión.

Contribuciones Clave

1. Primera Aplicación de AlignAtt a LLMs de Solo Decodificador: El artículo demuestra que AlignAtt puede adaptarse con éxito a arquitecturas de solo decodificador recuperando la señal de alineación de la autoatención en lugar de la atención cruzada.
2. Implementación Compatible con el Tiempo de Ejecución: Los autores proponen un método para capturar y reproducir señales de atención en un entorno de kernels fusionados de grado de producción (vLLM) sin modificar los pesos del modelo ni requerir la materialización de la matriz de atención completa.
3. Selección Eficiente de Cabezales: El sistema muestra que un conjunto disperso de cabezales de atención calibrados offline es suficiente para impulsar la política simultánea, reduciendo significativamente la sobrecarga computacional del proceso de replay en comparación con el uso de todos los cabezales.

Resultados
Evaluado en la tarea de Traducción Simultánea de Voz IWSLT 2026 (Inglés a Alemán, Italiano y Chino):

• Desempeño: AlignAtt4LLM supera a las líneas base de sin contexto tanto en el régimen de baja latencia (~2s CU-LongYAAL) como en el de alta latencia (<4s) para Inglés-a-Alemán e Inglés-a-Italiano.
• Traducción al Chino: Los resultados para Inglés-a-Chino son mixtos; aunque las puntuaciones de chrF son competitivas, BLEU y XCOMET-XL favorecen ligeramente a la línea base. Los autores atribuyen esto en parte al desempeño más débil del backbone Gemma-4 en chino, más que a la política en sí.
• Latencia vs. Calidad: El sistema logra un punto operativo de baja latencia estable, ofreciendo al mismo tiempo un régimen de alta latencia con una calidad de traducción significativamente mejorada.
• Eficiencia: El replay selectivo usando solo 8 cabezales incurre en una sobrecarga mínima (mediana de 25.4 ms/token) comparado con las implementaciones ansiosas (63.7 ms/token), confirmando la practicidad del enfoque.

Significancia y Reivindicaciones
El artículo afirma que AlignAtt4LLM es el primer sistema que aplica con éxito la política AlignAtt a un LLM de solo decodificador. Argumenta que el método no está ligado al modelo específico Gemma-4; debido a que la política depende únicamente de un diseño de prompt determinista, cabezales de atención calibrados y captura de consulta/clave, puede portarse a backbones de solo decodificador más fuertes y enfocados en la traducción (ej. HY-MT-1.5, MiLMMT-46) para mejorar potencialmente el desempeño en idiomas no europeos. El trabajo demuestra que los modelos offline de alta calidad pueden ser efectivamente reutilizados para la traducción simultánea sin entrenamiento dedicado, siempre que la señal de alineación pueda extraerse correctamente del sustrato de la autoatención.