기술 요약: 대규모 오디오-언어 모델을 위한 직접 동시 활성화

1. 문제 제기

동시 음성-텍스트 번역 (Simul-S2TT) 은 전체 발화를 기다리는 대신 소스 오디오를 수신하는 동안 실시간으로 텍스트를 출력하여 음성을 번역하는 것을 목표로 합니다. 크로스-링구얼 커뮤니케이션과 라이브 자막에 효과적이지만, Simul-S2TT 는 오프라인 번역과 비교하여 다음과 같은 고유한 도전 과제에 직면합니다:

• 불완전한 입력: 시스템은 완전한 의미 단위나 명확한 언어적 경계가 결여될 수 있는 부분 오디오 세그먼트로부터 번역을 생성해야 합니다.
• 분포 격차: 오프라인 훈련 데이터는 전체 소스 오디오와 전체 대상 텍스트를 정렬합니다. 반면, 동시 추론은 크로스-링구얼 단어 재배열을 처리하기 위해 미래 정보를 "기다리는" 과정을 수반하여, 훈련 (완전 정렬) 과 추론 (불완전 정렬) 간의 분포 변화를 초래합니다.
• 아키텍처의 경직성: 전통적인 Simul-S2TT 방법은 종종 "읽기 - 쓰기" 전략을 구현하기 위해 모델 아키텍처를 수정 (예: 새로운 디코더 - 인코더 구조, 점진적 디코딩 또는 어텐션 제약) 해야 합니다. 이는 일반적으로 오프라인 작업을 위해 설계된 범용 대규모 오디오 - 언어 모델 (LALM) 의 직접적인 배포를 방해합니다.

해결되는 핵심 과제는 아키텍처나 디코딩 전략을 변경하지 않고 베이스 LALM 에서 Simul-S2TT 기능을 활성화하는 방법입니다.

2. 방법론: 동시 자기 증강 (SimulSA)

저자들은 LALM 을 자체 오프라인 기능에서 파생된 합성 동시 데이터로 훈련시켜 분포 격차를 해소하는 데이터 증강 전략인 **동시 자기 증강 (SimulSA)**을 제안합니다. 파이프라인은 세 단계로 구성됩니다:

1 단계: 음성 자르기

표준 오프라인 음성 - 텍스트 지도 미세 조정 (SFT) 데이터셋 $D$에서 작은 부분 집합 $D'$을 선택합니다. 이러한 쌍의 전체 오디오 $x_{1:s}$를 잘라내어 부분 입력 $x_{1:s'}$을 생성합니다.

• 베타 감쇠 분포: 균일한 무작위 자르기 대신, 저자들은 특정 시간 구간 $[l, r]$에 매핑된 베타 분포 ($\alpha=1, \beta=3$) 를 사용합니다. 이는 초기 디코딩이 중요한 현실적인 스트리밍 경계를 시뮬레이션하기 위해 음성 초기 단계의 자르기 지점을 우선시합니다. 이는 정보가 부족한 너무 짧은 세그먼트나 오프라인 번역과 유사한 너무 긴 세그먼트 생성을 방지합니다.

2 단계: 잘린 음성 - 텍스트 추측

잘린 쌍의 수동 주석은 비용이 많이 들기 때문에, 이 방법은 사전 훈련된 LALM 을 활용하여 잘린 오디오 $x_{1:s'}$에 해당하는 대상 텍스트 $y_{1:t'}$를 생성합니다.

• 추측적 생성: 모델은 잘린 오디오와 이전에 생성된 접두사를 기반으로 토큰을 반복적으로 생성합니다.
• 종료 기준: 다음 토큰 $y_{t'+1}$의 확률이 시퀀스 종료 토큰 ($$) 의 확률보다 낮거나, 어휘 내 순위가 임계값$\tau$를 초과하면 생성이 토큰$t'$에서 중단됩니다. 이를 통해 생성된 텍스트$y_{1:t'}$가 잘린 오디오$x_{1:s'}$로 완전히 지원되는 정보만 포함하도록 하여, 동시 번역에 필요한 "기다림" 신호를 효과적으로 포착합니다.

3 단계: 혼합 지도 미세 조정

원본 전체 음성 - 텍스트 쌍과 새로 생성된 잘린 쌍을 혼합하여 베이스 LALM 을 미세 조정합니다.

• 단일 단계 훈련: 저자들은 전체 데이터로 먼저 훈련한 후 스트리밍 데이터로 훈련하는 2 단계 접근법보다 단일 단계 혼합 SFT 가 더 우수한 성능을 보이며, 2 단계 접근법은 성능 저하를 초래했다고 밝혔습니다.
• 데이터 비율: 증강된 데이터는 전체 훈련 코퍼스의 작은 부분 (약 1%) 을 차지합니다.

3. 주요 기여

1. 아키텍처 없는 활성화: 이 논문은 아키텍처 수정이나 디코딩 전략 변경 없이 베이스 LALM(특히 Qwen2-Audio) 에서 Simul-S2TT 기능을 직접 활성화할 수 있음을 보여줍니다.
2. SimulSA 전략: 모델의 자체 확률적 출력과 베타 감쇠 자르기 분포를 사용하여 고품질의 부분 정렬 음성 - 텍스트 쌍을 구축하는 새로운 자기 증강 파이프라인입니다.
3. 효율성: 이 방법은 상당한 성능 향상을 달성하기 위해 SFT 데이터의 약 1% 만 증강하면 되므로, 실시간 기능을 가능하게 하는 저비용 솔루션입니다.

4. 실험 결과

실험은 CoVoST2 데이터셋 (영어 - 중국어) 에서 Qwen2-Audio-7B 모델을 사용하여 수행되었습니다.

• 성능 향상: 약 3,000 개의 증강 샘플을 추가하여 (데이터셋을 232k 에서 235k 로 증가) BLEU 점수를 크게 향상시켰습니다.
  • 낮은 지연 시간 시나리오 (500ms 청크 크기, 롤백 없음) 에서 SimulSA 는 표준 SFT 기준 대비 BLEU 를 5.1 포인트 향상시켰습니다.
  • 향상 효과는 지연 시간이 낮을 때 (작은 청크 크기) 와 롤백 토큰이 적을 때 가장 두드러졌습니다.
• 견고성: 이 방법은 오프라인 번역 성능을 저해하지 않았습니다. 무한한 청크 크기 (오프라인 모드) 에서 BLEU 점수는 SFT 만을 사용한 기준 대비 무작위 변동 범위 내에 유지되었습니다.
• 절대 연구 (Ablation Studies):
  • 데이터 크기: 낮은 지연 시간 설정 (롤백 없음) 에서 성능은 증강 데이터 크기에 비례하여 선형적으로 증가하는 반면, 높은 지연 시간 설정에서는 약 1.3% 증강에서 성능 향상이 정점에 도달했습니다.
  • 자르기 분포: 제안된 베타 감쇠 분포는 균일 자르기, 전체 범위 베타 감쇠, 이산 베타 감쇠보다 우수한 성능을 보여 초기 단계 자르기 지점을 우선시하는 것의 중요성을 확인했습니다.

5. 의미 및 주장

이 논문은 SimulSA 가 실시간 번역 시나리오에서 LALM 을 배포하기 위한 확장 가능하고 실용적인 솔루션을 제공한다고 주장합니다. 아키텍처 변경을 피함으로써 범용 오디오 - 언어 모델이 스트리밍 입력을 직접 처리할 수 있게 합니다. 저자들은 이 접근법이 다음과 같음을 강조합니다:

• 오프라인 훈련과 동시 추론 간의 분포 격차를 효과적으로 해소합니다.
• 최소한의 계산 비용 (추가 데이터 1% 만) 으로 동시 기능을 활성화합니다.
• 다른 작업 및 기존 모델 아키텍처와의 호환성을 유지하여 생산 시스템에 더 쉽게 통합할 수 있습니다.

이 연구는 "기다림" 메커니즘과 불완전한 의미 단위의 처리가 구조적 재설계가 아닌 데이터 증강을 통해 학습될 수 있음을 시사하며, 대규모 오디오 - 언어 모델 시대에 Simul-S2TT 를 접근하는 방식의 전환을 의미합니다.