AlignAtt: Using Attention-based Audio-Translation Alignments as a Guide for Simultaneous Speech Translation

Resumo Técnico: ALIGNATT

Problema
A Tradução Simultânea de Fala (SimulST) visa gerar traduções parciais com o mínimo de atraso para entradas de áudio recebidas incrementalmente. Embora métodos diretos (end-to-end) tenham demonstrado qualidade e latência superiores em comparação aos tradicionais pipelines em cascata (ASR + MT), as abordagens iniciais exigiam o treinamento de múltiplos modelos otimizados para regimes de latência específicos, incorrendo em altos custos computacionais e de manutenção. Uma abordagem mais recente utiliza modelos de ST direta treinados offline durante a inferência simultânea, aplicando uma política de decisão em tempo de execução para determinar quando emitir uma hipótese parcial. No entanto, as políticas existentes para esses modelos offline frequentemente têm dificuldade em equilibrar qualidade de tradução e latência de forma eficaz em diversos pares de idiomas.

Metodologia
O artigo propõe o ALIGNATT, uma nova política de decisão para SimulST que aproveita os alinhamentos de atenção áudio-tradução para guiar um modelo treinado offline durante a inferência.

• Mecanismo Central: O ALIGNATT utiliza os escores de atenção cruzada ($A_C$) de um modelo codificador-decodificador baseado em Transformer. Para cada token alvo previsto $y_i$, a política identifica o quadro de áudio da fonte $x_j$ com o maior peso de atenção.
• Lógica de Decisão: A política opera sob a hipótese de que, se um token previsto se alinha com os quadros de áudio recebidos mais recentemente (a "cauda" da entrada), a informação codificada nesses quadros pode ser insuficiente para gerar o token com segurança. Consequentemente, o sistema deve esperar por mais áudio.
• Implementação:
  • Seja $n$ o número total de quadros de entrada e $f$ um parâmetro ajustável que representa o número de quadros recentes "inacessíveis".
  • A emissão de um token $y_i$ é interrompida se seu índice de quadro alinhado $Align_i$ cair dentro do conjunto $\{n - f + 1, ..., n\}$.
  • O parâmetro $f$ controla diretamente a latência: valores menores de $f$ implicam que menos quadros são considerados inacessíveis, levando a emissões mais precoces e menor latência.
• Arquitetura do Modelo: O sistema subjacente é um modelo de ST direta utilizando 12 camadas de codificador Conformer e 6 camadas de decodificador Transformer. É treinado no dataset MuST-C v1.0 (Inglês para 8 idiomas alvo) usando destilação de conhecimento ao nível de sequência com NLLB 3.3B para aumentar os dados de treinamento.

Principais Contribuições

1. Política Inovadora: Introdução do ALIGNATT, uma política que guia modelos de SimulST treinados offline usando alinhamentos dinâmicos de áudio-tradução derivados de pesos de atenção, eliminando a necessidade de retreinamento específico para a tarefa.
2. Desempenho de Estado da Arte: Avaliação abrangente em 8 pares de idiomas do MuST-C v1.0 demonstrando que o ALIGNATT supera as políticas existentes (Local Agreement, Wait-k e EDATT) aplicadas a modelos offline.
3. Lançamento de Código Aberto: Publicação do código, modelos treinados e saídas simultâneas sob a Licença Apache 2.0 para facilitar a reprodutibilidade.

Resultos
Experimentos foram conduzidos no conjunto de teste tst-COMMON do MuST-C v1.0 em 8 pares de idiomas (en→de, es, fr, it, nl, pt, ro, ru).

• Baseline Offline: Os modelos treinados offline alcançaram novos resultados de estado da arte para a maioria dos pares de idiomas, com média de 29.4 BLEU, superando a literatura anterior em 0.5 a 4.6 pontos BLEU sem utilizar dados de fala externos.
• Desempenho Simultâneo:
  • Latência: O ALIGNATT alcançou reduções de latência variando de 0.5s a 0.8s em comparação com as políticas Local Agreement (LA) e Wait-k. Foi a única política (ao lado da EDATT) capaz de manter a latência $\le$ 2s em todos os 8 idiomas.
  • Qualidade: Comparado à EDATT, o ALIGNATT melhorou a qualidade da tradução em até 2 pontos BLEU em vários regimes de latência.
  • Trade-off: O ALIGNATT aproximou-se estritamente da qualidade de inferência offline, apresentando uma queda média de menos de 1.0 BLEU, enquanto a EDATT apresentou uma queda de 1.8 BLEU.
  • Comparação: As políticas Wait-k e LA geralmente começaram em latências mais altas (2.5s+) ou falharam em atingir alta qualidade mesmo em latências mais elevadas.

Significância
O artigo afirma que o ALIGNATT representa uma nova política de estado da arte para SimulST quando aplicado a modelos treinados offline. Ao explorar a informação intrínseca de alinhamento dentro do mecanismo de atenção, a política decide efetivamente quando emitir tokens sem exigir treinamento adicional ou adaptação para regimes de latência específicos. Os resultados indicam que o aproveitamento dos alinhamentos baseados em atenção fornece um equilíbrio mais robusto entre baixa latência e alta qualidade de tradução em comparação com as políticas heurísticas ou baseadas em limiares existentes. Os autores enfatizam que sua abordagem permite que modelos offline funcionem eficientemente em configurações simultâneas, reduzindo os encargos computacionais enquanto mantém um desempenho competitivo.