AlignAtt: Using Attention-based Audio-Translation Alignments as a Guide for Simultaneous Speech Translation

Resumen Técnico: ALIGNATT

Planteamiento del Problema
La Traducción Simultánea de Voz (SimulST) tiene como objetivo generar traducciones parciales con un retraso mínimo para la entrada de audio recibida de forma incremental. Si bien los métodos directos (extremo a extremo) han demostrado una calidad y latencia superiores en comparación con los procesos tradicionales en cascada (ASR + MT), los enfoques iniciales requerían el entrenamiento de múltiples modelos optimizados para regímenes de latencia específicos, lo que incurría en altos costos computacionales y de mantenimiento. Un enfoque más reciente utiliza modelos de ST directa entrenados en modo offline durante la inferencia simultánea, aplicando una política de decisión en tiempo de ejecución para determinar cuándo emitir una hipótesis parcial. Sin embargo, las políticas existentes para estos modelos offline a menudo tienen dificultades para equilibrar eficazmente la calidad de la traducción y la latencia en diversos pares de lenguas.

Metodología
El artículo propone ALIGNATT, una novedosa política de decisión para SimulST que aprovecha las alineaciones de atención de audio-traducción basadas en la atención para guiar un modelo entrenado en modo offline durante la inferencia.

• Mecanismo Central: ALIGNATT utiliza las puntuaciones de atención cruzada ($A_C$) de un modelo codificador-decodificador basado en Transformer. Para cada token objetivo $y_i$ predicho, la política identifica el fotograma de audio de origen $x_j$ con el mayor peso de atención.
• Lógica de Decisión: La política opera bajo la hipótesis de que si un token predicho se alinea con los fotogramas de audio recibidos más recientemente (la "cola" de la entrada), la información codificada en esos fotogramas puede ser insuficiente para generar el token de forma segura. En consecuencia, el sistema debe esperar más audio.
• Implementación:
  • Sea $n$ el número total de fotogramas de entrada y $f$ un parámetro ajustable que representa el número de fotogramas recientes "inaccesibles".
  • La emisión de un token $y_i$ se detiene si su índice de fotograma alineado $Align_i$ cae dentro del conjunto $\{n - f + 1, ..., n\}$.
  • El parámetro $f$ controla directamente la latencia: valores más pequeños de $f$ implican que menos fotogramas se consideran inaccesibles, lo que conduce a emisiones más tempranas y una menor latencia.
• Arquitectura del Modelo: El sistema subyacente es un modelo de ST directa que utiliza 12 capas de codificador Conformer y 6 capas de decodificador Transformer. Se entrena en el conjunto de datos MuST-C v1.0 (inglés a 8 lenguas objetivo) utilizando destilación de conocimiento a nivel de secuencia con NLLB 3.3B para aumentar los datos de entrenamiento.

Contribuciones Clave

1. Política Novedosa: Introducción de ALIGNATT, una política que guía los modelos de SimulST entrenados en modo offline utilizando alineaciones dinámicas de audio-traducción derivadas de los pesos de atención, eliminando la necesidad de un reentrenamiento específico para la tarea.
2. Rendimiento de Vanguardia: Evaluación exhaustiva en 8 pares de lenguas de MuST-C v1.0 demostrando que ALIGNATT supera a las políticas existentes (Local Agreement, Wait-k y EDATT) aplicadas a modelos offline.
3. Lanzamiento de Código Abierto: Publicación del código, los modelos entrenados y las salidas simultáneas bajo la Licencia Apache 2.0 para facilitar la reproducibilidad.

Resultados
Los experimentos se realizaron en el conjunto de prueba tst-COMMON de MuST-C v1.0 en 8 pares de lenguas (en→de, es, fr, it, nl, pt, ro, ru).

• Línea Base Offline: Los modelos entrenados en modo offline alcanzaron nuevos resultados de vanguardia para la mayoría de los pares de lenguas, promediando 29.4 BLEU, superando a la literatura previa por 0.5 a 4.6 puntos BLEU sin utilizar datos de voz externos.
• Rendimiento Simultáneo:
  • Latencia: ALIGNATT logró reducciones de latencia de entre 0.5s y 0.8s en comparación con las políticas Local Agreement (LA) y Wait-k. Fue la única política (junto con EDATT) capaz de mantener una latencia $\le$ 2s en los 8 idiomas.
  • Calidad: En comparación con EDATT, ALIGNATT mejoró la calidad de la traducción hasta en 2 puntos BLEU en varios regímenes de latencia.
  • Compromiso (Trade-off): ALIGNATT se aproximó estrechamente a la calidad de la inferencia offline, mostrando una caída promedio de menos de 1.0 BLEU, mientras que EDATT mostró una caída de 1.8 BLEU.
  • Comparación: Las políticas Wait-k y LA generalmente comenzaron en latencias más altas (2.5s+) o no lograron alcanzar una alta calidad incluso con latencias mayores.

Significancia
El artículo afirma que ALIGNATT representa una nueva política de vanguardia para SimulST cuando se aplica a modelos entrenados en modo offline. Al explotar la información de alineación intrínseca dentro del mecanismo de atención, la política decide eficazmente cuándo emitir tokens sin requerir entrenamiento adicional o adaptación para regímenes de latencia específicos. Los resultados indican que aprovechar las alineaciones basadas en la atención proporciona un equilibrio más robusto entre baja latencia y alta calidad de traducción en comparación con las políticas heurísticas o basadas en umbrales existentes. Los autores enfatizan que su enfoque permite que los modelos offline funcionen eficientamente en entornos simultáneos, reduciendo las cargas computacionales mientras mantienen un rendimiento competitivo.