기술 요약: DOA - 긴 형태의 실시간 번역을 위한 학습 불필요 디코더 전용 어텐션 정책

문제 정의

동시 음성-텍스트 번역(SimulST)은 소스 오디오를 읽을 시점과 타겟 토큰을 쓸 시점을 결정하여 번역 품질과 지연 시간(latency) 사이의 균형을 맞추는 스트리밍 정책을 필요로 한다. 최첨단 시스템들은 일반적으로 크로스 어텐션이 명시적인 정렬 신호를 제공하여 이러한 결정을 가이드하는 어텐션 기반 인코더-디코더(AED) 구조를 활용하지만, 최근의 발전은 음성 대규모 언어 모델(SpeechLLM)로 중심축이 이동했다. 이러한 모델들은 오직 셀프 어텐션에만 의존하는 디코더 전용 구조를 채택하고 있으며, 명시적인 크로스 어텐션 점수가 부족하다.

이러한 구조적 변화는 다음과 같은 중요한 질문을 제기한다: 디코더 전용 SpeechLLM의 셀프 어텐션 메커니즘이 스트리밍 결정을 가이드할 수 있을 만큼 충분히 안정적인 정렬 신호를 포함하고 있는가? 또한, SpeechLLM을 SimulST에 적응시키기 위한 기존 방식들은 대개 학습 기반의 미세 조정이나 고정된 휴리스틱 정책(예: wait-k)에 의존하며, 모델이 지속적으로 증가하는 음향 및 텍스트 컨텍스트를 처리해야 하는 긴 형태(long-form) 환경에서 엄격하게 검증되지 않았다.

방법론: 디코더 전용 어텐션 (DOA)

이러한 격차를 해소하기 위해, 저자들은 별도의 재학습 없이 기성 SpeechLLM을 사용하여 긴 형태의 동시 번역을 가능하게 하는 학습 불필요 정책인 **Decoder-Only Attention (DOA)**를 제안한다.

1. 대리 정렬(Proxy Alignment) 도출

디코더 전용 모델은 음성과 텍스트를 단일 자기회귀(autoregressive) 시퀀스 내에서 처리하므로, 저자들은 디코더의 셀프 어텐션 가중치로부터 직접 대리 크로스 어텐션 행렬을 도출한다.

• 자기회귀 생성 과정 동안, $S$개의 오디오 토큰과 $T$개의 생성된 텍스트 토큰을 포함하는 디코더 레이어 $l$과 헤드 $h$에 대한 셀프 어텐션 가중치 $A^{(l,h)}$를 추출한다.
• 오디오 토큰은 시퀀스 접두사(prefix)를 차지하므로, 저자들은 음향 컨텍스트를 향하는 어텐션을 분리한다: $\tilde{A}^{(l,h)} = A^{(l,h)}[:, : S]$.
• 이는 AED 모델의 크로스 어텐션 행렬과 유사한 $\tilde{A} \in \mathbb{R}^{T \times S}$ 행렬을 생성한다.
• 최종적인 대리 정렬 $\bar{A}$는 선택된 레이어와 헤드에 걸쳐 평균을 내어 얻는다.

2. 스트리밍 결정 정책

정책은 도출된 정렬을 사용하여 토큰을 방출할 시점을 결정한다:

• 생성된 각 토큰 $t$에 대해, 가장 높은 어텐션 점수를 받는 오디오 위치 $a_t$를 식별한다 ($a_t = \arg\max_s \bar{A}_{t,s}$).
• 컷오프 하이퍼파라미터 $f$는 "음향적으로 불안정한" 것으로 간주되는 가장 최근의 오디오 프레임 수를 정의한다.
• 지원하는 음향적 근거가 향후 입력에 따라 변할 수 있으므로, 마지막 $f$ 프레임 범위 내의 위치에 정렬된 토큰은 유보된다.
• $a_t < S - f$를 만족하는 토큰만 출력으로 확정(commit)된다.

3. 긴 형태 적응 (Long-Form Adaptation)

무제한적인 오디오 스트림을 처리하기 위해, DOA는 메모리 오버플로우를 방지하는 히스토리 선택 메커즘을 구현한다:

• 텍스트 히스토리: 두 가지 전략이 평가된다: (i) 고정 단어(Fixed Words) (마지막 $N$개 토큰 유지) 및 (ii) 구두점(Punctuation) (가장 최근의 강한 구두점 이후의 텍스트 유지).
• 음향 히스토리: 대리 정렬을 사용하여 오디오 프레임을 가지치기(pruning)한다. 버려진 텍스트 히스토리와 독점적으로 정렬된 프레임은 제거되며, 보존된 접두사 및 새로운 가설과 정렬된 프레임은 유지된다.
• 예외 케이스 처리: 어텐션 기반 가지치기가 실패하여 프레임을 제거하지 못하고 오디오 히스토리가 사전 정의된 기간(예: 90초 또는 120초)을 초과하는 경우, 가장 오래된 프레임을 잘라내어 제한된 메모리를 유지한다.

주요 기여

1. 디코더 전용 SimulST를 위한 최초의 학습 불필요 정책: DOA는 셀프 어텐션을 대리 정렬 신호로 활용함으로써, 기성 디코더 전용 SpeechLLM을 사용하여 긴 형태의 동시 번역을 가능하게 하는 최초의 정책이다.
2. 셀프 어텐션 안정성 검증: 본 연구는 디코더 셀프 어텐션이 스트리밍 결정을 구동하기에 충분히 안정적인 정렬 정보를 제공한다는 것을 경험적으로 조사하고 확인하여, 명시적인 크로스 어텐션이 필수적이라는 가설에 도전한다.
3. 긴 형태 처리 능력: 사전 분할된 발화에 집중했던 기존 연구와 달리, DOA는 동적인 컨텍스트 가지치기를 갖춘 연속적인 긴 형태의 오디오 스트림을 위해 설계되었다.
   
4. 모델 불가지론(Model Agnosticism): 이 프레임워크는 디코더 셀프 어텐션 가중치에 대한 접근만을 요구하므로, 작업 특화 적응 없이 모든 SpeechLLM에 적용 가능하다.

실험 결과

저자들은 영어-독일어 및 영어-이탈리아어 번역을 위해 Phi4-Multimodal과 Qwen3-Omni를 대상으로 DOA를 평가하였으며, 이를 AED 모델인 SeamlessM4T에 적용된 StreamAtt 베이스라인과 비교하였다.

• 히스토리 선택: 구두점(Punctuation) 전략이 품질(COMET)과 지연 시간 영역에서의 안정성 모두에서 고정 단어 전략보다 일관되게 우수한 성능을 보였다. 이는 AED 시스템의 결과와 대조되는 것으로, 디코더 전용 모델이 문장 단위의 텍스트 연속성으로부터 더 많은 이득을 얻음을 시사한다.
• 레이어 및 헤드 분석: 모든 레이어와 헤드에 걸쳐 대리 정렬을 평균 내는 것이 가장 견고한 성능을 보였다. 특정 레이어를 선택하는 것은 불안정성이나 실패를 초래했으며, 특정 헤드는 최소한의 이득만을 제공했다.
• 성능:
  • DOA가 탑재된 SpeechLLM은 재학습 없이도 오프라인 디코딩 벤치마크에 근접한 번역 품질(Qwen3-Omni의 경우 COMET 점수 최대 0.828)을 달s성했다.
  • 모델들은 양호한 지연 시간-품질 트레이드오프를 보여주었으며, StreamAtt AED 베이스라인을 일관되로 능가했다.
  • Qwen3-Omni는 넓은 작동 범위(400ms ~ 3.8s LongYAAL)를 높은 품질로 커버한 반면, Phi4-Multimodal은 지연 시간 관리가 더 용이했다.

의의 및 주장

본 논문은 DOA가 재학습 없이 오프라인 SpeechLLM을 동시 번역용으로 성공적으로 재용도화함을 입증하며, 디코더 셀프 어텐션이 스트리밍 결정을 위한 효과적인 정렬 신호 역할을 할 수 있음을 보여준다. 저자들은 이 접근 방식이 다양한 모델 패밀리(Dense vs. MoE)와 아키텍처에 걸쳐 일반화될 수 있음을 강조하며, 긴 형태의 SimulST를 위한 단순하면서도 효과적인 메커니즘을 제공한다고 강조한다.

본 연구는 어텐션 기반 정렬이 인코더-디코더 모델에만 국한되지 않으며 디코더 전용 아키텍처에도 적응될 수 있음을 밝힌다. 다만, 저자들은 평가가 영어 소스 음성에 국한되었고, 라틴 문자 타겟 언어를 사용했으며, 이질적인 GPU 환경으로 인해 계산량을 고려한 지연 시간 비교가 부족했다는 점 등 한계점을 언급하며 연구의 범위를 겸손하게 유지한다. 또한, 로그 그래픽(logographic) 또는 형태론적으로 풍부한 언어로의 일반화는 여전히 미해결 과제로 남아 있다고 명시한다.