A Pocket Offline Model for Simultaneous Speech Translation as CUNI Submission to IWSLT 2026

기술 요약: 동시 음성 번역을 위한 포켓 오프라인 모델

문제 정의
본 논문은 자원이 제한된 "포켓(pocket)" 기기에 동시 음성 번역(Simultaneous Speech Translation, SST)을 배포하는 데 따르는 과제를 다룹니다. 오프라인 음성-텍스트 번역 모델은 일반적으로 더 우수한 품질, 다국어 지원 및 견고함을 제공하지만, 실시간 증분 처리(incremental processing)를 위해 설계되지는 않았습니다. 반대로, 전용 동시 모델은 계산 비용이 많이 드는 학습이나 특정 아키텍처를 요구하여 확장성을 제한할 수 있습니다. 저자들은 고품질의 경량 오프라인 모델(Canary-1B-v2)을 최첨단 정책을 사용하여 동시 번역용으로 재목적화함으로써, 25개의 소스 언어와 25개의 타겟 언어를 지원할 수 있으면서도 계산 효율적인(1B 파라미터) 시스템을 구축하여 이 간극을 메우고자 합니다.

방법론
제안된 시스템은 다중 작업 음성 전사 및 번역 모델인 Canary-1B-v2를 AlignAtt 정책을 사용하여 동시 운영 방식으로 적응시킵니다. 구현에는 다음과 같은 몇 가지 핵심 기술 구성 요소가 포함됩니다:

1. NeMo에서의 모델 적응: NeMo 프레임워크가 증분 출력 생성에 필요한 "디코더 강제 접두사 주입(decoder forced prefix injection)"을 네이티브로 지원하지 않았기 때문에, 저자들은 NeMo 음성 프레임워크에 수정 사항을 기여했습니다. 이러한 변경 사항을 통해 선택적인 초기 프롬프트(언어 정보 및 강제 접두사 포함)를 디코더에 전달할 수 있습니다. 또한, 결정론적 차원 출력과 올바른 토큰 매핑을 보장하기 위해 빔 디코더 전략의 크로스 어텐션(cross-attention) 출력을 수정하는 버그를 해결했습니다.
2. 동시 정책 (AlignAtt): 시스템은 디코더의 크로스 어텐션 메커니즘을 활용하는 AlignAtt를 사용합니다. 이는 오디오를 증분적으로 처리하며, 첫 번째 토큰이 사전 정의된 프레임 임계값에 도달하면 가설(hypothesis)의 접미사(suffix)를 생략합니다. 이를 통해 모델이 미래의 오디오 청크를 기반으로 텍스트를 생성하는 것을 방지합니다.
3. 처리 파이프라인:
   • VAD: 노이즈와 환각(hallucination)을 줄이기 위해 Silero 음성 활동 감지(VAD)를 사용하여 비음성 구간을 필터링합니다.
   • 버퍼링: 시스템은 소스 오디오 버퍼(최신 30초의 원시 오디오 누적)와 강제 디코딩 타겟 버퍼(가설의 안정적인 부분 포함)를 유지합니다.
   • 증분 디코딩: 새로운 오디오 청크가 도착함에 따라 모델은 타겟 텍xt를 디코딩합니다. 만약 가장 많이 어텐션된 소스 프레임이 현재 청크의 끝 근처에 있다면(단, 청크가 최종 단계가 아닌 경우), 디코딩은 계속됩니다. 만약 단어가 AlignAtt 프레임 임계값 내에 있으면, 향후 수정을 허용하기 위해 출력에서 제거됩니다.
   • 종료(Finalization): 마지막 오디오 청크가 처리되면 AlignAtt가 비활성화되고 전체 생성 시퀀스가 출력됩니다.
4. 평가 프레임워크: 시스템은 SimulStreaming(주요) 및 Simulstream(계산 인지 요구사항용)을 사용하여 평가되었습니다. 하이퍼파라미터(MinChunkSize 및 Frames)는 특정 지연 시간 임계값(저지연을 위한 LongYAAL < 2s, 고지연을 위한 < 4s)을 충족하도록 그리드 서치(grid search)를 통해 튜닝되었습니다.

주요 기여

• Canary의 최초 동시 모드 구현: 본 논문은 이전에 사용되던 슬라이딩 윈도우 접근 방식을 넘어, Canary 모델을 동시 번역에 적용한 첫 사례를 제시합니다.
• NeMo 프레임워크 개선: 저자들은 Canary를 이용한 증분 생성을 위한 강제 접두사 디코딩 및 올바른 크로스 어텐션 처리를 가능하게 하는 특정 코드를 NeMo 생태계에 기여했습니다.
• 효율성 입증: 시스템은 10억 개의 파라미터만으로 고품질 번역을 달ek성하여, 외부 API 없이 온디바이스 배포가 가능한 유망한 후보임을 보여줍니다.
• 다국어 능력: 시스템은 IWSLT 2026 태스크 쌍(체코어-영어, 영어-독어, 영어-이탈리아어)을 포함하여 25개의 소스 및 25개의 타겟 언어 간의 직접 번역을 지원합니다.

결과
시스템은 체코어-영어, 영어-독어, 영어-이탈리아어에 대한 IWSLT 2026 개발 세트에서 평가되었습니다.

• 베이스라인 대비 성능: Canary-AlignAtt 시스템은 고지연 및 저지연 환경 모두에서 모든 지표(BLEU, chrF, XCOMET-XL)에 대해 주최 측의 캐스케이드(cascade) 베이스라인(Qwen3-ASR + Qwen3-MT)보다 우수한 성능을 보였습니다.
  • 영어-독어/이탈리아어: 고지연 환경에서 시스템은 독어의 경우 BLEU를 4점 이상, 이탈리아어의 경우 6점 이상 개선했습니다.
  • 체코어-영어: 시스템은 SimulStreaming Whisper 베이스라인에 비해 BLEU를 고지연 시 거의 8점, 저지연 시 5점 이상 개선했습니다.
• 슬라이딩 윈도우와의 비교: AlignAtt 정책은 Canary의 슬라이딩 윈도우 구현보다 크게 우수했으며, 영어-독어에서 8 BLEU 포인트 이상, 영어-이탈리아어에서 7 BLEU 포인트 이상의 이득을 보였습니다.
• 오프라인 vs. 동시: 동시 방식은 긴 오디오에 대해 표준 오프라인 모드로 모델을 실행하는 것보다 더 나은 결과를 냈으며, 이는 증분 처리 전략이 부분 문장에 대한 환각과 같은 문제를 효과적으로 완화함을 시사합니다.

의의 및 주장
저자들은 강력한 오프라인 모델을 동시 번역용으로 재목적화하는 것이 단순하고 효과적이며 고성능을 내는 전략이라고 결론짓습니다. 그들은 자신들의 시스템이 향후 연구를 위한 강력한 베이스라인 역할을 할 수 있다고 주장하며, 고품질의 다국어 동시 번역이 엣지 기기에 적합한 경량 모델(1B 파라미터)로 달성될 수 있음을 입증했습니다. 결과는 이러한 시스템이 외부 API의 필요성을 제거하면서도 더 큰 서버 측 캐스케이드 파이프라인과 경쟁하거나 능가할 수 있음을 시사합니다. 본 논문은 추가적인 양자화(quantization)를 통해 스마트폰에서 전체 파이프라인 실행이 가능해질 수 있음을 언급하며, 이 연구를 "포켓 디바이스" 배포를 향한 실질적인 단계로 포지셔닝합니다.

한계점
저자들은 디코더 프롬프트를 통해 도메인 내부 컨텍스트를 주입하는 최적의 설정을 찾는 데 어려움을 겪었다고 언급했습니다. 강제 접두사와 컨텍스트를 동시에 사용하려고 시도했을 때 모델이 멈추는 현상이 발생했습니다. 저자들은 이것이 훈련 데이터에 해당 데이터가 부족하기 때문일 수 있다고 가설을 세웠습니다. 또한, 시스템이 계산을 인지하지 못하는 시뮬레이션을 위해 설계되었지만, 제약된 기기를 위한 완전한 양자화는 향후 과제로 남아 있음을 인정했습니다.