Streaming Translation and Transcription Through Speech-to-Text Causal Alignment

1. 문제 정의 (Problem)

기존의 동시 통역 (Simultaneous Machine Translation, SiMT) 시스템은 주로 오프라인 기계 번역 모델에 인간이 설계한 휴리스틱 (예: wait-k, wait-if) 이나 학습된 정책 (Policy) 을 결합하여 사용했습니다. 이러한 접근 방식은 다음과 같은 한계가 있었습니다:

• 구문적 불일치 (Syntactic Divergence): 영어 (SVO) 와 일본어 (SOV) 처럼 문장 구조가 완전히 다른 언어 쌍의 경우, 핵심 동사나 목적어가 문장 끝까지 나오기 전까지는 번역을 시작할 수 없습니다. 고정된 정책은 이러한 문맥을 충분히 기다리지 못해 번역 품질이 떨어지거나, 반대로 너무 오래 기다려 지연 (Latency) 이 심해지는 딜레마에 직면합니다.
• 모듈화 복잡성: 전처리 (음성 인식), 의사결정 (언어 생성 시점), 번역이라는 단계를 분리된 모듈로 구성하면 추론 시 오버헤드가 발생하고 시스템 통합이 복잡해집니다.

2. 제안 방법론 (Methodology)

저자들은 **"Hikari"**라는 이름의 정책이 없는 (Policy-free), 완전 종단 간 (End-to-End) 모델을 제안했습니다. 이 모델은 음성 입력을 직접 받아 실시간으로 번역 및 전사를 수행합니다.

핵심 기술 요소:

1. 확률적 WAIT 토큰 메커니즘 (Probabilistic WAIT Token Mechanism):

   • READ(입력 대기) 와 WRITE(번역 출력) 의 의사결정을 별도의 정책 모듈이 아닌, 모델의 토큰 확률 분포에 내재화했습니다.
   • 모델이 다음 단어를 출력하기 위해 더 많은 문맥을 필요로 할 때, 텍스트 토큰 대신 특수한 <WAIT> 토큰을 높은 확률로 생성합니다.
   • 이를 통해 "무엇을 번역할지 (What)"와 "언제 번역할지 (When)"를 단일 확률적 프레임워크에서 동시에 학습합니다.

2. 디코더 시간 확장 (Decoder Time Dilation, D):

   • 오디오와 텍스트의 시간적 정렬을 효율적으로 만들기 위해 디코더의 시간 축을 확장하는 기법을 도입했습니다.
   • 오디오 임베딩 1 개당 디코더가 생성하는 토큰 수를 조절하여, 학습 데이터에서 WAIT 토큰이 과도하게 우세해지는 문제 (Imbalance) 를 해결하고, 오토레귀시브 (Autoregressive) 오버헤드를 줄입니다.
   • 실험 결과, D=4가 정밀도와 실시간성 (RTF) 사이의 최적 균형을 제공했습니다.

3. 인과적 정렬 (Causal Alignment) 기반 데이터 생성:

   • 실제 동시 통역 데이터가 부족하므로, 기존 텍스트 - 오디오 쌍을 사용하여 인과적 정렬 (Causal Alignment) 알고리즘을 통해 학습 데이터를 합성했습니다.
   • 원문 단어의 종료 시간과 번역 단어의 논리적 시간 간격을 매핑하여, 번역이 원문의 정보보다 앞서 나가지 않도록 (Causality) WAIT 토큰을 삽입하는 방식으로 데이터를 구성했습니다.

4. 지도 미세 조정 (Supervised Fine-Tuning, SFT) 전략:

   • 모델이 학습 중 WAIT 토큰을 과도하게 생성하여 지연이 누적되는 현상을 해결하기 위해, 인위적으로 지연을 만든 시나리오에서 모델이 어떻게 빠르게 복구 (Catch-up) 해야 하는지 학습시켰습니다.
   • 이를 통해 추론 시 지연이 발생하더라도 품질을 유지하면서 빠르게 속도를 내는 능력을 배양했습니다.

3. 주요 기여 (Key Contributions)

• 통합 프레임워크: 외부 정책 없이 음성에서 텍스트로의 번역과 전사를 동시에 학습하는 최초의 정책 기반 (Policy-free) 종단 간 모델 제안.
• 새로운 아키텍처 기법: 디코더 시간 확장 (Decoder Time Dilation) 을 통해 학습 데이터의 불균형 문제를 해결하고 실시간 처리 효율성을 극대화.
• 지연 복구 학습: 지연 상황에서 모델이 스스로 복구할 수 있도록 하는 SFT 전략을 개발하여 품질 - 지연 트레이드오프를 획기적으로 개선.
• SOTA 달성: 영어 - 일본어, 영어 - 독일어, 영어 - 러시아어 동시 번역 작업에서 저지연 및 고지연 구간 모두에서 기존 베이스라인 (IWSLT 2025 참여팀 등) 을 능가하는 BLEU 점수를 기록.
• 오픈 소스: 모델 가중치와 코드베이스를 공개하여 연구 재현성을 지원.

4. 실험 결과 (Results)

• 번역 품질 및 지연 (BLEU & StreamLAAL):
  • 영어 - 일본어 (en-ja): 저지연 구간에서 BLEU 42.17, 고지연 구간에서 BLEU 41.35 를 기록하여 기존 최고 성능 (Seamless Streaming 등) 을 크게 상회했습니다.
  • 영어 - 독일어 (en-de) 및 영어 - 러시아어 (en-ru): 모든 언어 쌍에서 저지연 및 고지연 조건에서 새로운 State-of-the-Art (SOTA) 를 달성했습니다.
  • 품질 - 지연 트레이드오프: SFT 를 적용한 모델은 베이스 모델에 비해 지연 시간 (StreamLAAL) 을 약 1 초 단축하면서도 BLEU 점수는 유지하거나 오히려 개선하는 우월한 파레토 프론티어 (Pareto Frontier) 를 보였습니다.
• 스트리밍 ASR 성능:
  • 주된 목표는 번역이었으나, 보조 작업으로 ASR 도 수행하여 62,300 시간의 데이터로 학습했습니다.
  • TED-LIUM 과 같은 깨끗한 데이터에서는 경쟁력 있는 성능 (WER 8.6%) 을 보였으나, 도메인 불일치가 있는 잡음 데이터에서는 성능이 떨어졌습니다. 이는 데이터 양의 문제이지 아키텍처의 한계가 아님을 시사합니다.
• 모델 크기 및 Ablation Study:
  • 작은 모델 (Hikari-small) 은 성능과 지연 제어 능력이 현저히 떨어졌으며, ASR 작업을 제거한 모델은 번역 품질과 지연 정밀도가 모두 저하되어 ASR 작업이 인과적 정렬에 필수적인 역할을 함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 동시 통역 분야에서 인간이 설계한 복잡한 휴리스틱이나 별도의 제어 모듈 없이, 모델이 스스로 "언제 기다리고 언제 말할지"를 학습하는 완전한 종단 간 (End-to-End) 패러다임을 정립했습니다.

• 실용성: 국제 회의나 교육 현장과 같은 실시간 교차 언어 커뮤니케이션의 장벽을 낮출 수 있는 기술적 토대를 마련했습니다.
• 확장성: 현재 모델은 실시간 (Real-time) 보다 빠른 속도로 동작하며, 더 큰 모델 (Whisper-large 이상) 로 확장 시 성능을 더욱 극대화할 수 있는 잠재력을 가지고 있습니다.
• 미래 방향: 동적 시간 확장 (Dynamic Dilation) 이나 추측적 디코딩 (Speculative Decoding) 등을 통해 지연 제어의 정밀도를 더 높일 수 있으며, 음성 - 음성 번역 (Speech-to-Speech) 으로 확장 가능함을 제시했습니다.

결론적으로 Hikari 는 동시 번역의 핵심 난제인 **지연과 정확도의 상충 관계 (Trade-off)**를 혁신적으로 해결한 획기적인 모델로 평가됩니다.