AlignAtt: Using Attention-based Audio-Translation Alignments as a Guide for Simultaneous Speech Translation

기술 요약: ALIGNATT

문제 정의
동시 음성 번역(Simultaneous Speech Translation, SimulST)은 점진적으로 수신되는 오디오 입력에 대해 최소한의 지연 시간으로 부분 번역을 생성하는 것을 목표로 한다. 엔드투엔드(end-to-end) 방식의 직접적인 방법들은 기존의 계단식(ASR + MT) 파이프라인보다 우수한 품질과 낮은 지연 시간을 보여주었으나, 초기 접근 방식들은 특정 지연 시간 영역에 최적화된 여러 모델을 각각 학습시켜야 했기에 높은 계산 비용과 유지보수 비용이 발생했다. 보다 최근의 접근 방식은 오프라인으로 학습된 직접 ST 모델을 사용하면서, 추론 시점에 결정 정책(decision policy)을 적용하여 부분 가설(partial hypothesis)을 언제 방출할지 결정한다. 그러나 이러한 오프라인 모델을 위한 기존 정책들은 다양한 언어 쌍에 대해 번역 품질과 지연 시간 사이의 균형을 효과적으로 맞추는 데 어려움을 겪는 경우가 많다.

방법론
본 논문은 오프라인 학습된 모델의 추론 과정을 가이드하기 위해 어텐션 기반의 오디오-번역 정렬(attention-based audio-translation alignments)을 활용하는 새로운 SimulST 결정 정책인 ALIGNATT를 제안한다.

• 핵심 메커니즘: ALIGNATT는 Transformer 기반 인코더-디코더 모델의 교차 어텐션 점수($A_C$)를 활용한다. 예측된 각 타겟 토큰 $y_i$에 대해, 정책은 가장 높은 어텐션 가중치를 가진 소스 오디오 프레임 $x_j$를 식별한다.
• 결정 로직: 이 정책은 만약 예측된 토큰이 가장 최근에 수신된 오디오 프레임(입력의 "꼬리" 부분)과 정렬되어 있다면, 해당 프레임에 인코딩된 정보가 토큰을 안전하게 생성하기에는 불충분할 수 있다는 가설에 기반하여 작동한다. 결과적으로, 시스템은 더 많은 오디오를 기다려야 한다.
• 구현:
  • $n$을 전체 입력 프레임 수, $f$를 "접근 불가능한" 최근 프레임 수를 나타내는 조절 가능한 파라미터라고 하자.
  • 토큰 $y_i$의 방출은 정렬된 프레임 인덱스 $Align_i$가 집합 $\{n - f + 1, ..., n\}$ 내에 속할 경우 중단된다.
  • 파라미터 $f$는 지연 시간을 직접적으로 제어한다: $f$ 값이 작을수록 더 적은 수의 프레임이 접근 불가능한 것으로 간주되어, 더 이른 방출과 낮은 지연 시간으로 이어진다.
• 모델 아키텍처: 기반 시스템은 12개의 Conformer 인코더 층과 6개의 Transformer 디코더 층을 사용하는 직접 ST 모델이다. 이는 NLLB 3.3B를 이용한 시퀀스 레벨 지식 증류(sequence-level knowledge distillation)를 통해 학습 데이터를 증강하여 MuST-C v1.0 데이터셋(영어에서 8개 타겟 언어)으로 학습되었다.

주요 기여

1. 새로운 정책: 특정 지연 시간 영역을 위한 추가적인 재학습 없이도, 어텐션 가중치에서 유도된 동적 오디오-번역 정렬을 사용하여 오프라인 학습된 SimulST 모델을 가이드하는 ALIGNATT 정책을 도입하였다.
2. 최첨단 성능(SOTA): MuST-C v1.0의 8개 언어 쌍에 대한 포괄적인 평가를 통해, ALIGNATT가 오프라인 모델에 적용된 기존 정책들(Local Agreement, Wait-k, EDATT)보다 우수한 성능을 보임을 입증하였다.
3. 오픈 소스 공개: 재현성을 촉진하기 위해 Apache 2.0 라이선스 하에 코드, 학습된 모델 및 동시 출력물을 공개한다.

결과
실험은 8개 언어 쌍(en→de, es, fr, it, nl, pt, ro, ru)에 대해 MuST-C v1.0 tst-COMMON 테스트 세트에서 수행되었다.

• 오프라인 베이스라인: 오프라인 학습된 모델들은 대부분의 언어 쌍에서 외부 음성 데이터 없이도 이전 문헌보다 0.5에서 4.6 BLEU 포인트 높은 평균 29.4 BLEU를 달연하며 새로운 최첨단 결과를 달성했다.
• 동시 성능:
  • 지연 시간: ALIGNATT는 Local Agreement(LA) 및 Wait-k 정책과 비교하여 0.5초에서 0.8초의 지연 시간 감소를 달성했다. 또한 8개 언어 모두에서 지연 시간 $\le$ 2초를 유지할 수 있는 유일한 정책(EDATT와 함께)이었다.
  • 품질: EDATT와 비교했을 때, ALIMENT는 다양한 지연 시간 영역에서 최대 2 BLEU 포인트의 번역 품질 향상을 보였다.
  • 트레이드오프: ALIGNATT는 오프라인 추론 품질에 매우 근접하여 평균 1.0 BLEU 미만의 하락을 보인 반면, EDATT는 1.8 BLEU의 하락을 보였다.
  • 비교: Wait-k 및 LA 정책은 일반적으로 더 높은 지연 시간(2.5초 이상)에서 시작하거나, 높은 지연 시간에서도 높은 품질에 도달하지 못했다.

의의
본 논문은 ALIGNATT가 오프라인 학습된 모델에 적용되었을 때 SimulST를 위한 새로운 최첨단 정책임을 주장한다. 어텐션 메커니즘 내의 고유한 정렬 정보를 활용함으로써, 이 정책은 특정 지연 시간 영역을 위한 추가적인 학습이나 적응 없이도 토큰을 언제 방출할지 효과적으로 결정한다. 결과는 어텐션 기반 정렬을 활용하는 것이 기존의 휴리스틱 또는 임계값 기반 정책보다 낮은 지연 시간과 높은 번역 품질 사이의 더 견고한 균형을 제공함을 나타낸다. 저자들은 이들의 접근 방식이 오프라인 모델이 경쟁력 있는 성능을 유지하면서도 효율적으로 동시 설정에서 작동할 수 있게 하여 계산 부담을 줄여준다는 점을 강조한다.