NAVER LABS Europe Submission to the Instruction-following 2026 Short Track

기술 요약: IWSLT 2026 Short Track에 대한 NAVER LABS Europe의 제출물

문제 정의
본 논문은 제약된 환경 하에서 IWSLT 2026 Instruction-following Speech Processing Short Track의 과제를 다룹니다. 목표는 영어 음성 입력을 중국어, 이탈리아어, 독일어로 변환하는 자동 음성 인식(ASR), 음성 번역(ST), 그리고 음성 질의응답(SQA)을 통합적으로 수행할 수 있는 단일 시스템을 개발하는 것입니다. 주요 제약 사항은 특정 파운데이션 모델인 SeamlessM4T-v2-large 음성 인코더와 Qwen3-4B-Instruct-2507 대규모 언어 모델(LLM)에 의존해야 한다는 점입니다. 또한 시스템은 테스트 시점에만 공개되는 "서프라이즈(surprise)" 지시 이행(instruction-following) 과제를 처리해야 합니다. 저자들은 선택된 LLM 백본인 Qwen3-4B가 이전 연도에 사용된 모델들보다 현저히 작고 약하며, 이는 모델 크기와 계산 요구량을 줄이면서도 성능을 유지해야 하는 과제를 제시한다고 언급했습니다.

방법론
저자들은 구성 요소들을 통합하기 전 병렬로 학습시키는 다단계 학습 파이프라인(그림 1 참조)을 제안합니다.

1. 음성 프로젝터 (SpeechMapper): 표준 트랜스포머 기반 프로젝터 대신, 팀은 업데이트된 SpeechMapper를 사용합니다. 이 모듈은 SeamlessM4T-v2-large 인코더로부터 추출된 평균화된 음성 표현을 동결된(frozen) LLM의 임베딩 공간으로 매핑합니다.

   • 학습 목표: 프로젝터는 다음의 복합 손실 함수를 포함하는 ASR 데이터를 사용하여 학습됩니다:
     • L1 정렬 손실 (L1 Alignment Loss): 음성과 텍스트 임베딩 간의 요소별 거리.
     • 코사인 유사도 손실 (Cosine Similarity Loss): 임베딩 공간에서의 각도 정렬.
     • Softmax 대비 손실 (Softmax Contrastive Loss): 타겟이 아닌 토큰으로부터의 분리.
     • CTC 손실 (CTC Loss): 학습을 안정화하기 위해 중간 레이어에 추가됨.
   • 효율성: 이 방식은 LLM의 토크나이저와 임베딩 레이어만을 필요로 하므로, 프로젝터 학습 중에 전체 LLM 포워드 패스(forward pass)를 피할 수 있어 GPU 메모리와 계산 비용을 절감합니다.

2. 텍스트 LoRA 어댑터: 프로젝터 학습과 병렬로, 동일한 동결된 LLM 백본을 사용하여 텍스트-투-텍스트 데이터(기계 번역 및 질의응답)에 대한 저차원 적응(Low-Rank Adaptation, LoRA) 가중치를 학습합니다.

3. 멀티모달 적응 (Multimodal Adaptation): 학습된 SpeechMapper와 LoRA 어댑터를 다시 로드하여 음성 및 텍스트 과제의 혼합 데이터로 공동 미세 조정(jointly fine-tuned)합니다. 파이프라인은 작업 혼동(ASR vs. ST)을 줄이고 일반화 능력을 향상시키기 위해 지시 사항을 대상 언어의 질문 형태로 구성하는 특정 프롬프트 형식을 활용합니다.

4. 데이터 전략:

   • 합성 데이터 (fakACL): 학습 데이터와 평가 세트(과학 발표) 사이의 도메인 간극을 메우기 위해, 저자들은 과학 강연의 합성 데이터셋인 fakACL을 생성했습니다. 이는 LLM에 프롬프트를 입력하여 발표 스크립트를 생성하고, 이를 세분화한 뒤, SeamlessM4T-v2-large TTS를 통해 음성을 합성하고, 관련 QA 쌍을 생성하는 방식으로 만들어졌습니다.
   • 데이터 증강: 기존 데이터셋(Co‐VoST2, EuroParlST, GigaST, LibriSQA)은 MCQ 답변 확장(단순 알파벳 대신 전체 옵션 텍스트 포함) 및 유사도 기반 및 LLM 기반 방법을 통한 "무효(invalid)" 분할 생성을 포함한 특정 수정을 거쳐 처리되었습니다.

주요 기여

• SpeechMapper 통합: 이전의 트랜스포머 기반 프로젝터를 SpeechMapper로 교체함으로써, LLM의 포워드 패스를 요구하지 않고도 음성-to-LLM 임베딩 학습을 가능하게 하여 하드웨어 요구 사항을 크게 낮추었습니다.
• 도메인 특화 합성 데이터: 학습 분포를 평가 도메인(과학 발표)과 일치시키는 fakACL 데이터셋을 도입하여, 이전 반복에서 나타났던 불일치 문제를 해결했습니다.
• 효율적인 아키텍처: 훨씬 더 약한(파라미터 수가 적은) LLM 백본에 의존하면서도 전년도 최고 성적을 뛰어넘는 시스템을 개발했습니다.

결과
시스템은 ASR (WER), ST/MT (COMET), SQA/QA (LLM-as-a-judge 정확도)에 대해 평가되었습니다.

• 성능: 최종 멀티모달 시스템(Setup 1)은 전체 쇼트 트랙 순위에서 공동 1위를 차지했습니다.
• 비교 분석: 더 큰 백본을 사용한 작년의 최고 시스템(BEST-IWSLT25-IF)에도 불구하고, Qwen3-4B라는 더 작은 백본을 사용하여 해당 성능에 도달하거나 이를 능가했습니다.
• 트레이드오프 (Trade-offs): 저자들은 ASR/ST 성능과 SQA 성능 사이의 트레이드오프를 관찰했습니다. Setup 1은 SQA를 우선시하였고(MCIF SQA에서 0.428 달성), Setup 2는 더 강력한 ASR/ST 결과를 보여주었습니다. 최종 제출물은 SQA를 주요 기준으로 우선시했습니다.
• 베이스라인 관찰: 텍스트 전용 Qwen3-4B 백본은 제로샷 설정에서 특히 이탈리아어에 대해 SeamlessM4T-v2-large 또는 Llama-3.1-8B보다 현저히 낮은 성능을 보였으며, 이는 LoRA 미세 조정과 합성 데이터 업샘플링의 집중적인 사용을 유도했습니다.

의의 및 주장
본 논문은 개선된 음성 투영 메커니즘(SpeechMapper)과 도메인 특화 합성 데이터(fakACL)의 결가, 더 약한 LLM 백본을 가진 모델이 제약된 쇼트 트랙에서 전년도 최첨단(SOTA) 시스템을 능가할 수 있음을 주장합니다. 저자들은 자신들의 접근 방식이 "상당히 더 컴팩트"하며 프로젝터 학습 단계에서 더 적은 계산 자원에 의존한다고 강조합니다. 이 연구는 음성-텍스트 정렬과 도메인 적응이 효율적으로 처리된다면 거대한 LLM 백본 없이도 효과적인 음성 지시 이행이 가능하다는 것을 입증합니다. 시스템은 서프라이즈 과제와 다국어 요구 사항을 성공적으로 처리하여 파이프라인의 견고함을 검증했습니다.