기술 요약: SpeechLLM 을 활용한 스트리밍 음성-텍스트 번역

문제 제기

현재 다른 언어로 음성을 텍스트로 번역하는 시스템들은 대부분 캐스케이드 아키텍처에 의존합니다. 즉, 음성 인식기가 전사본을 생성한 후, 이를 텍스트-텍스트 번역 시스템에 입력하는 방식입니다. 최근 "SpeechLLM"(음성 오디오에 조건부인 대규모 언어 모델) 이 엔드투엔드 번역을 수행할 수 있게 되었음에도 불구하고, 기존 구현체들은 진정한 실시간 스트리밍 방식으로 작동하지 못합니다.

대부분의 기존 SpeechLLM 은 출력을 생성하기 전에 완전한 발화를 기다리거나, 오디오 청크를 기반으로 고정된 간격으로 토큰을 방출하는 고정 정책 (예: "wait-k") 에 의존합니다. 이러한 고정 정책은 발화 속도, 멈춤, 배경 소음 등이 변하는 실제 시나리오에는 적합하지 않습니다. 구체적으로 다음과 같은 문제가 있습니다:

• 고정 정책: 마이크가 발화 시작 전에 열리거나, 화자가 망설일 경우, 고정 정책은 모델로 하여금 출력을 환각하거나 뒤처지게 만듭니다. 이로 인해 번역 품질이 저하되거나 구절이 누락됩니다.
• 에너지 효율성: 더 많은 오디오를 요청하기 위해 "대기" 토큰을 출력하는 기존 스트리밍 모델들은 종종 엣지 장치에서 높은 에너지 비용을 초래합니다. 이는 대규모 언어 모델 (LLM) 을 빈번하게 전체 평가해야 하기 때문입니다.

방법론

1. "혼합 (Intermixed)" 아키텍처

이 논문은 LLM 자체가 대기 정책을 학습하는 새로운 아키텍처를 제안합니다. 언제 기다릴지 결정하는 별도의 모듈 대신, LLM 이 두 가지 유형의 토큰을 출력하도록 훈련됩니다:

• 텍스트 토큰: 실제 번역 출력.
• 대기 토큰 ($W$): 진행하기 전에 더 많은 오디오가 필요함을 나타내는 신호.

이 "혼합" 모델에서 입력 시퀀스는 음성 인코더에서 나온 인코딩된 음성 벡터와 텍스트 토큰이 교차하며, 출력 시퀀스도 텍스트 토큰과 대기 토큰이 섞여 있습니다. 모델은 지금까지 들어본 부분적 오디오를 기반으로 번역 토큰을 방출할 충분한 정보가 있는지, 아니면 다음 오디오 청크를 기다려야 하는지 결정하는 법을 학습합니다.

2. 훈련을 위한 구절 단위 정렬

스트리밍 시스템을 훈련할 때의 핵심적인 과제는 언제 특정 단어를 방출할지 결정하는 것입니다. 표준 단어 단위 정렬 방법 (예: SimAlign) 은 언어 간 거리가 먼 언어 쌍 (예: 영어와 한국어) 의 경우 개념이 1 대 1 로 매핑되지 않기 때문에 종종 실패합니다.

• 제안된 해결책: 저자들은 퓨샷 프롬프팅을 가진 LLM 을 사용하여 구절 단위 정렬을 생성합니다.
• 메커니즘: 원문과 대상 텍스트를 구절 단위로 정렬합니다. 대상 구절의 모든 단어는 해당 원문 구절의 마지막 단어에 정렬됩니다. 이는 모델이 필요한 원문 오디오를 모두 들은 후에야 대상 단어를 방출하도록 보장하여, 조기에 생성되는 것을 방지합니다.
• 훈련 목표: 모델은 이러한 정렬에서 도출된 단일 최적 단계 시퀀스 (대기와 방출 결정의 혼합) 에 대한 가능도를 최대화하도록 훈련됩니다.

3. 에너지 효율성을 위한 조기 종료 대기 정책

대기 토큰으로 인해 발생하는 빈번한 LLM 호출의 에너지 비용을 해결하기 위해, 저자들은 조기 종료 대기 정책을 도입합니다.

• 메커니즘: LLM 의 처음 몇 층에서 파생된 경량 헤드가 예비 결정을 내립니다: 대기 ($W$) 또는 방출 ($E$).
• 작동 방식:
  • 정책이 대기를 결정하면, 전체 LLM 은 평가되지 않아 상당한 계산 자원이 절약됩니다.
  • 정책이 방출을 결정하면, 0 개 이상의 텍스트 토큰을 생성한 후 대기 토큰을 출력하기 위해 전체 LLM 이 평가됩니다.
• 절충: 이는 번역 품질을 훼손하지 않으면서 지연 시간과 에너지 소비 사이의 조정 가능한 균형을 가능하게 합니다. 전체 LLM 은 더 많은 오디오가 필요하다고 판단할 경우 "방출" 결정을 최종적으로 무효화할 수 있는 권한을 유지하기 때문입니다.

4. 평가 지표

이 논문은 사후 오디오 방출 및 짧은 발화 처리 등의 문제 때문에 스트리밍 음성과의 일관성이 부족하다는 이유로 "평균 지연 (average lagging)"과 같은 표준 지연 시간 지표를 비판합니다. 대신, 토큰이 오디오 지속 시간에 걸쳐 균일하게 생성된다는 이론적 기준선에 상대적인 토큰 방출 평균 시간을 측정하는 **평균 논리적 지연 시간 (Average Logical Latency)**을 제안합니다.

주요 결과

CoLiMu 및 Fleurs 와 같은 데이터셋을 사용하여 영어-프랑스어, 영어-한국어, 영어-독일어 번역 작업에 대해 실험이 수행되었습니다.

• 지연 시간 vs 품질: 혼합 SpeechLLM 은 비스트리밍 오프라인 기준선에 가까운 번역 품질 (COMET 점수) 을 유지하면서 1~2 초의 지연 시간을 달성합니다. 지연 시간 - 품질 절충 측면에서 기존 고정 정책 시스템 (wait-k 를 사용하는 Bestow) 과 동적 정책 (AlignAtt) 을 크게 능가합니다.
• 강건성: 입력에 침묵이나 소음이 포함될 때 (SilFleurs 데이터셋에서 테스트) 치명적인 실패 (환각) 를 겪는 고정 정책 모델과 달리, 혼합 모델은 동적으로 적응하여 일관된 품질을 유지합니다.
• 에너지 효율성: 조기 종료 정책은 LLM 호출 횟수를 줄입니다. 영어 - 한국어의 경우, 대기 페널티를 조정하여 지연 시간을 약 2.3 초로 유지하면서 출력 토큰당 에너지 사용량을 1.55 에서 1.16 토큰으로 줄였습니다.
• 정렬 전략: 제안된 구절 단위 정렬은 단어 단위 정렬 (SimAlign) 보다 크게 우월합니다. 단어 단위 감독은 조기에 생성을 유발하고 품질을 저하시켰으나, 구절 단위 감독은 신뢰할 수 있는 타이밍 레이블을 제공했습니다.

중요성과 주장

이 논문은 SpeechLLM 에 대한 실시간 적응형 스트리밍의 격차를 해소했다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 학습된 대기 정책: 오디오 콘텐츠에 기반하여 언제 기다릴지 학습하는 모델로 이동하여, 고정된 정책에서 벗어나 실제 세계의 발화 변화에 대한 진정한 적응력을 가능하게 합니다.
2. 구절 단위 감독: 다양한 언어 간의 고품질 스트리밍 번역에 필수적인 교차 언어 구절 구조의 복잡성을 처리하는 훈련 데이터 생성 방법입니다.
3. 에너지 인식형 스트리밍: 조기 종료 정책의 도입은 스트리밍 시스템을 엣지 장치에 최적화하여 지연 시간의 이점을 희생하지 않고 에너지 소비를 줄일 수 있음을 보여줍니다.

저자들은 기존 고정 또는 동적 정책과 비교하여 낮은 지연 시간, 높은 번역 품질, 강건성의 우수한 균형을 제공하며, 모바일 번역과 같은 실제 배포에 실행 가능한 후보라고 결론지었습니다.