In-Sync: Adaptation of Speech Aware Large Language Models for ASR with Word Level Timestamp Predictions

[기술 요약] IN-SYNC: 단어 수준 타임스탬프 예측을 위한 음성 인식 언어 모델의 적응

1. 문제 정의 (Problem Statement)

최근 음성 인식(ASR) 분야는 음성 인코더와 대규모 언어 모델(LLM)을 결합한 '음성 인식 언어 모델(Speech-aware LLM)'로 진화하고 있습니다. 하지만 기존 시스템은 텍스트 전사(Transcription)에는 능숙하지만, 자막 생성이나 미디어 검색에 필수적인 **단어 단위의 정밀한 타임스탬프(Word-level Timestamp)**를 예측하는 데는 한계가 있습니다.

기존에는 타임스탬프를 얻기 위해 별도의 강제 정렬(Forced Alignment) 도구(예: MFA, Kaldi)를 사용하거나, 2-pass 방식(텍스트 먼저 생성 후 정렬)을 사용해야 했습니다. 이는 프로세스를 복잡하게 만들고 추가적인 계산 비용을 발생시킵니다. 본 논문은 전사(Transcription)와 타임스탬프 예측을 하나의 모델에서 동시에 수행하는 단일 단계(One-pass) 방식을 목표로 합니다.

2. 핵심 방법론 (Methodology)

연구진은 기존의 Granite-speech-8B 모델을 기반으로, 전사와 타임스탬프 예측을 동시에 수행하는 In-Sync 프레임워크를 제안합니다.

• 모델 구조: 사전 학습된 음성 인코더(Conformer), 태스크 인식 프로젝터(Task-aware Projector), 그리고 LLM(Granite-3.3-8B)으로 구성됩니다.
• 멀티태스크 학습: 모델은 ASR(텍스트만 출력)과 SRWT(텍스트와 타임스탬프를 교차 출력) 태스크를 동시에 학습합니다. 타임스탬프는 10ms 단위의 새로운 토큰(총 6,000개)으로 정의되어 텍스트 사이에 삽입됩니다.
• 태스크 인식 어댑터: 입력 음성 임베딩 앞에 태스크 지시 토큰을 추가하여, 어댑터가 ASR과 SRWT 태스크에 맞는 서로 다른 표현을 생성하도록 유도합니다.

3. 주요 기여 및 학습 전략 (Key Contributions & Strategies)

단순히 두 태스크를 병합할 경우 인식 정확도가 떨어지는 문제를 해결하기 위해 세 가지 혁신적인 학습 전략을 도입했습니다.

1. 음성 길이 증강 (Speech Length Augmentation): 타임스탬프 데이터는 짧은 시간에 치우친 '헤비 테일(Heavy-tailed)' 분포를 보입니다. 이를 해결하기 위해 연속된 음성 샘플을 이어 붙여 긴 타임스탬프 토큰에 대한 모델의 노출 빈도를 높였습니다.
2. 타임스탬프 임베딩 정규화 (Timestamp Embedding Regularization): 타임스탬프는 시간의 흐름에 따라 단조 증가(Monotonic)해야 합니다. 이를 위해 타임스탬프 임베딩 간의 코사인 유사도가 가우시안 커널(Gaussian Kernel) 구조를 따르도록 하는 보조 손실 함수(Auxiliary Loss)를 도입하여 임베딩 공간의 구조적 질서를 부여했습니다.
3. 교사 강요 감소 (Reduced Teacher Forcing): 자기회귀(Autoregressive) 생성 시 이전 타임스탬프의 오류가 다음 예측으로 전이되는 '오류 전파' 문제를 막기 위해, 학습 중 입력 타임스탬프 토큰을 무작위로 오염(Corruption)시켜 모델이 절대적인 위치와 상대적 간격을 모두 학습하도록 하여 강건성(Robustness)을 높였습니다.

4. 실험 결과 (Results)

LibriSpeech, CommonVoice 등 다양한 데이터셋을 통해 실험한 결과는 다음과 같습니다.

• 성능 향상: 제안된 전략들을 적용했을 때, 타임스탬프 정확도(AAS: Accumulated Averaging Shift)가 크게 개선되었습니다.
• ASR 품질 유지: 단순히 멀티태스크 학습만 했을 때는 ASR 성능(WER)이 저하되었으나, 타임스탬프 정규화와 교사 강요 감소 전략을 결합함으로써 타임스탬프 정확도를 높이면서도 ASR 성능 저하를 최소화하거나 오히려 개선했습니다.
• 외부 모델 대비 우위: 기존의 Qwen-Audio나 CrisperWhisper와 비교했을 때, 다양한 노이즈 환경과 데이터셋에서 더 안정적이고 정확한 평균 성능을 보여주었습니다.

5. 의의 (Significance)

본 연구는 음성 인식과 시간적 정렬(Temporal Alignment)을 하나의 통합된 모델로 해결할 수 있음을 입증했습니다. 이는 별도의 정렬 도구 없이도 실시간 자막 생성, 비디오 인덱싱, 멀티모달 동기화와 같은 복잡한 응용 분야에서 매우 효율적이고 강력한 솔루션을 제공할 수 있다는 점에서 기술적 가치가 높습니다.