AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task

기술 요약: AlignAtt4LLM

문제 정의
본 논문은 오프라인 디코더 전용(decoder-only) 대규모 언어 모델(LLM)을 동시 음성 번역(Simultaneous Speech Translation, SST)을 위해 적응시키는 과정에서의 과제를 다룹니다. 기존의 AlignAtt(Papi et al., 2023, 2024)와 같은 전통적인 동시 정책은 인코더-디코더 교차 주의(cross-attention) 메커니즘에 의존하여, 소스 접두사(source prefix)가 타겟 토큰을 생성하기에 충분한지를 결정합니다. 그러나 디코더 전용 LLM은 소스와 타겟 텍스트를 단일 인과적 자기 주의(causal self-attention) 스트림 내에서 처리하므로, 이러한 명시적인 교차 주의 메커니즘이 결여되어 있습니다. 결과적으로, 표준 AlignAtt를 디코더 전용 모델에 직접 적용하는 것은 불가능합니다. 또한, LocalAgreement와 같이 디코더 전용 모델을 위한 기존의 동시 정책들은 종종 더 높은 지연 시간을 초래하며 내부 모델의 어텐션 신호를 활용하지 못합니다. 저자들은 고품질의 오프라인 디코더 전용 LLM을 특정 언어 방향을 위해 재학습시키지 않고도 저지연 동시 모드로 작동할 수 있게 함으로써 이 간극을 메우고자 합니다.

방법론
제안된 시스템인 AlignAtt4LLM은 두 가지 주요 구성 요소로 이루어진 동기식 캐스케이드(synchronous cascade)입니다:

1. ASR 구성 요소: 전사를 위해 Qwen3-ASR (1.7B)을 사용하고, 단어 수준의 시작 및 종료 시간을 할당하기 위해 Qwen3-ForcedAligner (0.6B)를 사용합니다. 시스템은 청크(chunk) 기반으로 작동하며, 가설을 안정화하기 위해 매 청크 경계마다 실시간 오디오 테일을 재전사합니다.

2. MT 구성 요소: vLLM을 통해 서빙되는 Gemma-4 E4B-it를 사용합니다. 핵심 혁신은 네 가지 특정 기술적 메커니즘을 통해 AlignAtt 정책을 이 디코더 전용 아키텍처에 적응시키는 데 있습니다:

   • 프롬프트 내 명시적 소스 스팬(Explicit Source Span in Prompt): 디코더 전용 모델은 교차 주의가 없으므로, 저자들은 인과적 프롬프트를 구조화하여 소스 전사 내용과 타겟 히스토리를 명시적으로 분리했습니다. 프롬프트는 시스템 프롬프트, 실시간 소스 전사($s^{(k)}$), 번역 지시문, 수락된 타겟 접두사($y_{1:m_k}$), 그리고 현재 드래프트($\hat{y}^{(k)}$)를 결합합니다. 이를 통해 정책은 자기 주의 행렬 내에서 소스 스팬을 식별할 수 있습니다.
   • 번역 특화 헤드의 오프라인 선택: 모든 자기 주의 헤드가 번역 정렬에 기여하는 것은 아닙니다. Liu et al. (2026)을 따라, 저자들은 홀드아웃 병렬 텍스트와 GPT-5-mini 정렬을 사용하여 번역 점수(Translation Score, TS)를 통해 헤드를 평가하는 오프라인 캘리브레이션을 수행합니다. 이들은 백본의 후기 레이어에 집중되어 있는 언어 쌍당 상위 8개의 헤드를 유지합니다.
   • 선택적 $qk$-fast 재생(Selective $qk$-fast Replay): 배포된 vLLM 런타임은 어텐션 커널을 퓨즈(fuse)하여 전체 $n \times n$ 어텐션 행렬을 숨깁니다. 필요한 정렬 신호에 접근하기 위해, 저자들은 정규화 및 회전 위치 임베딩(RoPE) 이후 어텐션 모듈에 의해 소비되는 정확한 쿼리($Q$)와 키($K$) 텐서를 캡처하는 런타임 옵저버를 구현했습니다. 전체 행렬을 재구성하는 대신, 시스템은 드래프트 토큰과 소스 스팬 사이의 특정 블록($\hat{A}_{D, S^{(k)}}$)만을 다시 계산하는 "선택적 $qk$-fast" 재생을 수행합니다. 이는 패치되지 않은 모델과 비트 단위로 동일한 출력을 보장하면서도 전체 어텐션 재구성에 따른 계산 비용을 피할 수 있게 합니다.
   • 런타임 쿼리/키 캡처: 옵저버가 그래프 최적화(예: 데드 코드 제거)에서도 생존할 수 있도록, 어텐션 출력에 0 값의 센티넬 의존성(sentinel dependency)을 추가했습니다. 이를 통해 수치적 출력은 변경하지 않으면서 캡처 경로를 그래프의 라이브 팬인(live fan-in)에 유지합니다.

수용 정책(Acceptance Policy)
정책은 드래프트된 토큰을 왼쪽에서 오른쪽으로 스캔하며, 정렬 신호가 "접근 가능한 소스 프런티어(accessible source frontier)" 내에 있는 한 접두사를 수용합니다. 결정은 다음을 기준으로 합니다:

1. 소스 프런티어 체크: 재구성된 어텐션 행의 argmax가 접근 가능한 소스 단어 수에 마진($b=1$)을 더한 값을 초 exceed(초과)해서는 안 됩니다.
2. 프로비넌스 질량(Provenance Mass): 접근 가능한 소스 토큰으로 향하는 어텐션 질량의 합($\pi^{acc}_t$)을 계산합니다.
3. 안정화: 시스템은 결정을 내리기 전에 정렬 피크를 안정화하기 위해 온라인 접두사 통계(Welford)와 중앙값 필터(median filter)를 적용합니다.

주요 기여

1. 디코더 전용 LLM에 대한 최초의 AlignAtt 적용: 본 논문은 교차 주의가 아닌 자기 주의로부터 정렬 신호를 복구함으로써 AlignAtt를 디코더 전용 아키텍처에 성공적으로 적용할 수 있음을 입증했습니다.
2. 런타임 호환 구현: 저자들은 모델 가중치를 수정하거나 전체 어텐션 행렬을 구체화할 필요 없이, 생산 단계의 퓨즈드 커널 환경(vLLM)에서 어텐션 신호를 캡처하고 재생하는 방법을 제안합니다.
3. 효율적인 헤드 선택: 시스템은 오프라인으로 캘리브레이션된 희소한 어텐션 헤드 세트만으로도 동시 정책을 구동하기에 충분함을 보여주며, 이를 통해 전체 헤드를 사용하는 경우보다 재생 프로세스의 계산 오버헤드를 크게 줄였습니다.

결과
IWSLT 2026 동시 음성 번역 작업(영어-독일어, 이탈리아어, 중국어)에서 평가되었습니다:

• 성능: AlignAtt4LLM은 영어-독일어 및 영어-이탈리아어에 대해 저지연(~2s CU-LongYAAL) 및 고지연(<4s) 영역 모두에서 제공된 노 컨텍스트(no-context) 베이스라인을 능가합니다.
• 중국어 번역: 영어-중국어 결과는 엇갈립니다. chrF 점수는 경쟁력이 있지만, BLEU 및 XCOMET-XL 점수는 베이스라인이 약간 더 우세합니다. 저자들은 이것이 정책 자체보다는 Gemma-4 백본의 중국어 성능이 상대적으로 약하기 때문인 것으로 보고 있습니다.
• 지연 시간 vs 품질: 시스템은 안정적인 저지연 작동 지점을 달성하는 동시에, 번역 품질이 현저히 개선된 고지연 영역을 제공합니다.
• 효율성: 8개의 헤드만을 사용하는 선택적 재생은 이기적(eager) 구현(63.7 ms/token)에 비해 최소한의 오버헤드(중앙값 25.4 ms/token)만을 발생시켜, 이 접근 방식의 실용성을 확인시켜 주었습니다.

의의 및 주장
본 논문은 AlignAtt4LLM이 디코더 전용 LLM에 Align att 정책을 성공적으로 적용한 첫 번째 시스템이라고 주장합니다. 저자들은 이 방법이 특정 Gemma-4 모델에 국한되지 않는다고 주장합니다. 정책은 결정론적인 프롬프트 레이아웃, 캘리브레이션된 어텐션 헤드, 쿼리/키 캡처에만 의존하기 때문에, 비유럽 언어의 성능을 잠재적으로 향상시키기 위해 더 강력한 번역 중심의 디코더 전용 백본(예: HY-MT-1.5, MiLMMT-46)으로 이식될 수 있습니다. 이 연구는 정렬 신호를 자기 주의 기질(substrate)에서 올바르게 추출할 수 있다면, 전용 학습 없이도 고품질의 오프라인 모델을 동시 번역을 위해 효과적으로 재사용할 수 있음을 보여줍니다.