NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation

기술 요약: NaturalFlow

문제 정의
동시 음성-음성 번역(Simul-S2ST)은 지연 시간을 최소화하여 근실시간 통신을 용이하게 하는 것을 목표로 하며, 고지연의 순차적 번역 패러다임에 대한 대안을 제시한다. 그러나 최소 지연 시간을 추구하는 과정에서 시스템은 종종 경직된 청크 단위 처리 정책을 채택하게 된다. 이는 빈번하고 파괴적인 음성 청크 사이의 휴지(pause)로 특징지어지는 파편화된 출력을 초과래한다. 현재의 연구는 주로 전통적인 번역 품질(예: BLEU 점수)과 지연 시간 지표 사이의 트레이드오프에 집중하고 있으나, 음향적 흐름(acoustic flow)의 최적화는 거의 탐구되지 않았다. 해석학 문헌에서 언급되었듯, 이러한 파편화된 전달 방식은 청자의 인지 부하를 높이고, 의미적 내용은 보존되더라도 인지된 정확도와 명료도에 부정적인 영향을 미친다.

방법론
저자들은 번역의 충실도를 유지하면서 청크 간 침묵을 최소화하도록 설계된 유창성 인식 최적화 프레임워크인 NaturalFlow를 제안한다. 이 접근 방식은 타겟 오디오와 시간적으로 정렬된 텍스트를 공동 생성하는 직접 S2ST 아키텍처인 Hibiki 모델을 기반으로 한다.

방법론의 핵심은 특수하게 구축된 선호 데이터셋에 적용된 **직접 선호 최적화(Direct Preference Optimization, DPO)**이다. 프로세스는 다음과 같은 세 가지 주요 단계로 구성된다:

1. 선호 데이터 구축 (Silver-Medal Preference):

   • 시스템은 주어진 소스 발화에 대해 여러 후보 번역을 샘플링한다.
   • 후보들은 두 가지 차원, 즉 번역 품질(ASR-BLEU로 측정)과 음향 유창성(Silence Ratio, SR로 측정)에 따라 평가된다.
   • 모델이 의미적 충실도를 희생하면서 침묵 감소만을 과도하게 최적화하는 것("유창성 함정")을 방지하기 위해, 저자들은 Silver-Medal Preference 전략을 도입한다. 가장 우수한 후보(가장 낮은 SR)를 "선택된(chosen)" 집단으로 선택하는 대신, 침묵 비율의 **두 번째 상위 티어(상위 20~40%)**에 속하는 후보들을 선택한다.
   • "거절된(rejected)" 집단에는 과도하게 공격적인 저침묵 후보(품질 저하를 초래하는 경우가 많음)와 성능이 낮은 후보들이 모두 포함된다.
   • 엄격한 마진 요구 사항이 적용된다. 선택된 후보는 거절된 상대방보다 특정 번형 품질 마진($\beta$)과 침묵 비율 마진($\gamma$)만큼 더 우수해야 한다.

2. 텍스트 가이드 최적화:

   • 원시 음향 토큰 확률을 직접 최적화하는 것은 계산적으로 불안정하다. 대신, 프레임워크는 DPO 목적 함수를 텍스트 스트림($\pi_\theta(T^y | x, A^y, S^y)$)에 격리한다.
   • 텍스트 정책은 동시 소스 스트림과 생성된 타겟 오디오 모두에 자기회귀적으로 조건화되므로, 음향 흐름과 지연 시간을 본질적으로 내포한다.
   • 저자들은 모델이 지나치게 빠르게 말하여 휴지를 피하려는 극단적인 유창성 함정을 방지하기 위해, 더 긴 의미론적 번역을 처벌하지 않도록 **길이 정규화 DPO(Length-Normalized DPO, DPO-LN)**를 사용한다.

주요 기여

• 유창성 인식 프레임워크: 기존 연구가 주로 품질-지연 시간 트레이드오프에 집중했던 공백을 메우기 위해, Simul-S2ST에서 파괴적인 청크 간 침묵 감소를 명시적으로 목표로 하는 새로운 최적화 프레임워크를 제시한다.
• Silver-Medal Preference 전략: 단일 목적 최적화(즉, 의미를 희생하며 침묵을 최소화하는 것)로 모델이 붕괴되는 것을 방기함으로써 학습을 안정화하는 데이터 구축 방법론이다. "골드 메달"(최저 침묵) 후보가 아닌 "실버 메달" 후보를 선택함으로써 모델은 균형 잡힌 트레이드오프를 학습한다.
• 안정적인 텍스트 가이드 DPO: S2ST에 선호 최적화를 적용하는 방법으로, 직접적인 음향 토큰 최적화의 불안정성을 피하면서 조인트 오디오-텍스트 생성 과정을 위한 안정적인 대리물(proxy)인 텍스트 정책을 정렬한다.

결과
실험은 단문(CVSS-C, VoxPopuli) 및 장문(Audio-NTREX, mTEDx) 음성 번역 작업(프랑스어-영어)을 아우르는 4개의 벤치마크에서 수행되었다.

• 침묵 감소: NaturalFlow는 단문 및 장문 데이터셋 모두에서 비교 대상 베이스라인(SeamlessStreaming, StreamSpeech, Hibiki) 중 가장 낮은 침묵 비율(SR)을 달 기록했다. 예를 들어, VoxPopuli에서 SR은 0.12(Hibiki)에서 0.10으로 감소했다.
• 품질 보존: 침묵 감소에도 불구하고, 번역 품질(ASR-BLEU 및 ASR-COMET)은 베이스라인 모델들과 경쟁할 만한 수준을 유지했다. Silver-Medal 전략을 제거했을 때 관찰된 치명적인 품질 저하는 발생하지 않았다.
• 지연 시간: 지연 시간 지표(Start Offset, End Offset, Length-Adaptive Average Lagging)는 베이스라인과 유사하게 유지되었으며, 이는 유창성 개선이 지연 시간 증가를 통해 이루어진 것이 아님을 나타낸다.
• Ablation 연구: Silver-Medal 전략을 제거했을 때(Ablation 1 및 2), 모델이 공격적으로 침묵을 최소화하여 지나치게 빠른 발화 속도와 심각한 BLEU 점수 하락을 초래하는 "최적화 붕괴"가 발생했다.
• 인간 평가: Amazon Mechanical Turk를 이용한 연구에서, NaturalFlow는 자연스러움과 유창성 측면에서 베이스라인보다 55% 더 높은 선호도를 보였다. Silver-Medal 전략이 없는 절제된(ablated) 모델과 비교했을 때, NaturalFlow는 68%의 경우에서 더 선호되었으며, 이는 제한된 선택이 자연스러운 출력을 생성하는 데 필수적임을 확인시켜 준다.

의의
본 논문은 NaturalFlow가 동시 번역의 저지연 이점과 연속 번역의 자연스러운 흐름 사이의 간극을 성공적으로 메운다고 주장한다. 모델 내부 신호와 새로운 선호 학습 전략을 활용함으로써, 이 프레임워크는 번역 품질을 저해하거나 지연 시간을 증가시키지 않고도 파괴적인 휴지를 줄이는 것이 가능하다는 것을 입증한다. 저자들은 이 연구가 단순한 품질-지연 시간의 이분법을 넘어 음향적 유창성을 주요 최적화 목표로 포함함으로써, S2ST의 전달 자연스러움을 발전시키는 중요한 토대를 마련했다고 상정한다.