기술 요약: IWSLT 2026 지시 이행(Instruction-Following) 태스크를 위한 NAVER LABS 시스템 재구현

문제 정의

본 논문은 자동 음성 인식(ASR), 다국어 음성 번역(ST), 그리고 음성 질의응답(SQA)을 포함한 다양한 태스크에 걸쳐 지시 이행이 가능한 통합 멀티모달 음성 거대 언어 모델(LLM) 개발의 과제를 다룹니다. 기존의 NAVER LABS 2025 제출물(Lee et al., 2025)은 경쟁력 있는 성능을 보여주었으나 공개적으로 출시되지 않았습니다. 또한, IWSLT 2026 공유 태스크는 2025년 버전에서 사용된 구성 요소(LLaMA-3.1-8B)를 대신하여 SeamlessM4T-v2-large를 음성 인코더로, Qwen3-4B-Instruct를 LLM 백본으로 사용해야 하는 특정 제약 조건을 도입했습니다. 본 연구의 목표는 이러한 새로운 제약 조건에 맞춰 조정된 이 파이프라인의 첫 번째 오픈 소스 재구현을 제공하고, 합성 데이터 생성 및 하이퍼파라미터 절제 연구(ablation)를 통해 성능을 향상시키는 것입니다.

방법론

아키텍처

시스템은 고정된 음성 인코더를 경량 커넥터를 통해 지시 미세 조정된 LLM과 결합하는 3단계 학습 파이프라인을 따릅니다:

1. 음성 인코더: 고정된 SeamlessM4T-v2-large 인코더가 1024차원의 프레임 표현을 생성합니다.
2. 프로젝터(Projector): 프레임을 3배율로 평균화하여 다운샘플링하고, 4개 층의 트랜스포머 인코더를 통해 처리한 후 출력을 LLM의 은닉 크기(hidden size)로 투영합니다.
3. LLM 백본: LoRA(Low-Rank Adaptation)로 적응된 Qwen3-4B-Instruct 모델입니다. 음성 임베딩은 <|speech|> 플레이스홀더에 전치됩니다.

학습 파이프라인

학습 과정은 세 가지 별도의 단계로 나뉩니다:

• 1단계: 프로젝터 정렬 (Projector Alignment)

  • 인코더와 LLM은 고정되며, 프로젝터만 학습됩니다.
  • 데이터: ASR 및 ST 태스크를 위한 CoVoST 2 및 EuroParlST.
  • 구성: 두 가지 변형을 탐색합니다:
    • A.1: ASR 및 ST(EN→DE, IT, ZH)에 집중합니다.
    • A.2: SQA 태스크를 위해 LibriSQA를 추가합니다.
  • 하이퍼파라미터: 4 에폭(epoch), 상수 학습률($1\times10^{-4}$), AdamW 옵티마이저.

• 2단계: 텍스트 전용 LoRA 사전 학습 (Text-Only LoRA Pre-training)

  • 프로젝터는 고정되며, 오디오 입력 없이 LoRA를 통해 LLM을 적응시킵니다.
  • 데이터: CoVoST 2/EuroParlST(60%) 및 LibriSQA(40%)에서 추출한 기계 번역 스크립트.
  • 절제 연구(Ablation): 랭크($r$), $\alpha$, 학습률, 레이어 선택(attn+FF vs. all-linear)을 변화시키며 세 가지 LoRA 구성(V1, V2, V3)을 테스트합니다.
    • V1: $r=8, \alpha=16, lr=3\times10^{-4}$ (attn+FF).
    • V2: $r=16, \alpha=32, lr=1\times10^{-5}$ (all-linear, 코사인 감쇠).
    • V3: $r=32, \alpha=64, lr=2\times10^{-4}$ (all-linear, 코사인 감쇠).

• 3단계: 멀티모달 병합 (Multimodal Merging)

  • 1단계 프로젝터와 선택된 2단계 LoRA 어댑터를 공동으로 미세 조정하며, 인코더는 고정된 상태를 유지합니다.
  • 데이터: ASR, ST, SQA(영어 및 다국어), 음성 기반 텍스트 요약(NUTSHELL), 오디오 챕터 탐지(YTSeg)의 균형 잡힌 혼합 데이터.
  • 전략: 파괴적 망각(catastrophic forgetting)을 방지하기 위해, 각 음성 배치(batch) 직후에 쌍을 이루는 텍스트 전용 배치를 배치합니다.
  • 하이퍼파라미터: 4개의 H100 GPU에서 2 에폭 수행. 프로젝터는 상수 $lr=1\times10^{-5}$를 사용하며, LoRA는 코사인 감쇠 $lr=3\times10^{-4}$를 사용합니다.

합성 데이터 구축

3단계 미세 조정을 지원하기 위해, 저자들은 오픈 웨이트 모델인 Gemma를 사용하여 10만 개의 합성 지시 이행 예시(태스크당 1만 개)를 구축했습니다:

• 텍스트 기반 태스크 (T1–T7): Gemma-4-31B를 사용하여 참조 스크립트로부터 생성되었습니다. 태스크에는 키워드 추출, 개체명 인식(NER), 핵심 요약(EN, DE, ZH), 주제 라벨링, 수치 QA가 포함됩니다.
• 오디오 기반 태스크 (T8–T10): Gemma-4-E4B-it를 사용하여 오디오로부터 직접 생성되었습니다. 태스크는 영어, 독일어, 중국어로 된 목소리 스타일, 톤, 전달 방식에 대한 설명을 포함합니다.

주요 결과

메인 평가 (MCIF 벤치마크)

IWSLT 2026 공유 태스크의 제약된 짧은 오디오 트랙에 대해 평가되었습니다:

• 음성 번역 (ST): 3단계 모델(A.1 프로젝터 + V1 LoRA)은 EN–ZH에 대해 COMET 점수 0.781을 달립으로써, 베이스 모델인 SeamlessM4T-v2-large(0.638)와 1단계 프로젝터 전용 베이스라인을 능가했습니다.
• 음성 질의응답 (SQA): 모델은 영어 SQA에서 BERTScore-F1 0.346을 달성하였으며, 이는 베이스 모델(0.153) 및 1단계 A.1(0.186) 대비 유의미한 향상입니다.
• ASR: 1단계 A.2가 베이스 모델 대비 단어 오류율(WER)이 저하되었으나, 3단계 모델은 성능을 회복하여 23.49 WER를 기록했으며, 이는 베이스 모델의 21.49를 상회하면서도 파이프라인 맥락 내에서 경쟁력 있는 수준을 유지했습니다.

절제 연구 (Ablation Studies)

• LoRA 구성: 2단계 텍스트 전용 평가에서, **V1 (rank 8)**이 V2(0.650) 및 V3(0.600)보다 더 높은 SQA F1 점수(0.652)를 기록했습니다. 비록 V3가 더 높은 기계 번역 BLEU 점수를 달성했음에도 불구하고, 최종 3단계 병합을 위해 V1이 선택되었습니다.
• 데이터 영향: 1단계에 SQA 데이터를 포함하는 것(A.2)은 영어 SQA 성능을 높였으나 ASR 지표를 저하시켰으며, 이는 최종 3단계 공동 미세 조정을 통해 관리되는 트레이드오프를 보여줍니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 오픈 소스 재현: IWSLT 2026 제약 조건(SeamlessM4T-v2-large 및 Qwen3-4B-Instruct)에 특화되어 조정된 NAVER LABS 지시 이행 파이프라인의 첫 번째 오픈 소스 재구현을 제공합니다.
2. 합성 데이터셋: 향후 미세 조정 및 연구를 용이하게 하기 위해 설계된 10가지 음성 중심 태스크 유형에 걸친 10만 개의 합성 지시 이행 예시를 공개합니다.
3. 경험적 검증: 새로운 모델 백본으로 전환할 때 (프로젝터 정렬, 텍스 전용 LoRA 사전 학습, 멀티모달 병합의) 3단계 접근 방식이 효과적임을 입증하였으며, EN–ZH 번역 및 영어 SQA에서 강력한 성능을 달성했습니다.
4. 미래 활용성: 저자들은 공개된 데이터가 태스크별 보상 및 LLM-as-judge 기준을 사용하는 더 풍부한 3단계 미세 조정이나 미래의 강화 학습 접근법을 위한 토대로 기능할 것이라고 제안합니다.

한계점

저자들은 다음과 같은 제약 사항을 인정합니다:

• 오디오 길이: GPU 메모리 제한으로 인해 15초 이상의 오디오는 제외되었으며, 이는 긴 발화에 대한 성능에 영향을 미칠 수 있습니다.
• 다국어 SQA: 교차 언어 SQA는 기계 번역된 QA 쌍에 의존하며, 이는 노이즈를 유발할 수 있습니다.
• 평가 범위: 2단계 절제 연구 결과는 텍스트 전용 서브셋을 기반으로 하며, 전체 MCIF 벤치마크 결과와 직접 비교할 수는 없습니다.