Technische Samenvatting: Re-implementatie van het NAVER LABS-systeem voor de IWSLT 2026 Instruction-Following Taak

Probleemstelling

Het artikel behandelt de uitdaging van het ontwikkelen van uniforme multimodale spraak Large Language Models (LLM's) die in staat zijn tot instructie-opvolging (instruction-following) over diverse taken heen, waaronder Automatische Spraakherkenning (ASR), meertalige Spraakvertaling (ST) en Spoken Question Answering (SQA). Hoewel eerdere systemen zoals de NAVER LABS 2025 inzending (Lee et al., 2025) competitieve prestaties lieten zien, werden deze niet publiekelijk vrijgegeven. Bovendien introduceert de IWSLT 2026 Shared Task specifieke beperkingen die het gebruik van SeamlessM4T-v2-large als spraakencoder en Qwen3-4B-Instruct als LLM-backbone vereisen, ter vervanging van de componenten die in de 2025-iteratie werden gebruikt (LLaMA-3.1-8B). Het doel is om de eerste open-source re-implementatie van deze pipeline te bieden, aangepast aan deze nieuwe beperkingen, en om de prestaties te verbeteren door middel van synthetische datageneratie en hyperparameter-ablatie.

Methodologie

Architectuur

Het systeem volgt een driefasige trainingspipeline, waarbij een bevroren spraakencoder wordt gekoppeld aan een instructie-getunede LLM via een lichtgewicht connector:

1. Spraakencoder: Een bevroren SeamlessM4T-v2-large encoder produceert 1024-dimensionale frame-representaties.
2. Projector: Een trainbare module die frames met een factor 3 downsampled via middeling, ze verwerkt door een 4-laagse Transformer-encoder, en de output projecteert naar de verborgen grootte (hidden size) van de LLM.
3. LLM Backbone: Een Qwen3-4B-Instruct model dat is aangepast met LoRA (Low-Rank Adaptation). Spraak-embeddings worden voorafgevoegd bij een <|speech|> placeholder.

Trainingspipeline

Het trainingsproces is verdeeld in drie afzonderlijke fasen:

• Fase 1: Projector Alignment

  • De encoder en de LLM zijn bevroren; alleen de projector wordt getraind.
  • Data: CoVoST 2 en EuroParlST voor ASR- en ST-taken.
  • Configuraties: Twee varianten worden verkend:
    • A.1: Richt zich op ASR en ST (EN→DE, IT, ZH).
    • A.2: Voegt LibriSQA toe voor SQA-taken.
  • Hyperparameters: 4 epochs, constante leercurve ($1\times10^{-4}$), AdamW optimizer.

• Fase 2: Text-Only LoRA Pre-training

  • De projector is bevroren; de LLM wordt aangepast via LoRA zonder audio-input.
  • Data: Machinaal vertaalde transcripten van CoVoST 2/EuroParlST (60%) en LibriSQA (40%).
  • Ablatie: Drie LoRA-configuraties (V1, V2, V3) worden getest waarbij variatie wordt aangebracht in rank ($r$), $\alpha$, leercurve en laagselectie (attn+FF vs. all-linear).
    • V1: $r=8, \alpha=16, lr=3\times10^{-4}$ (attn+FF).
    • V2: $r=16, \alpha=32, lr=1\times10^{-5}$ (all-linear, cosine decay).
    • V3: $r=32, \alpha=64, lr=2\times10^{-4}$ (all-linear, cosine decay).

• Fase 3: Multimodal Merging

  • Zowel de Stage 1 projector als de geselecteerde Stage 2 LoRA-adapters worden gezamenlijk gefinetuned; de encoder blijft bevroren.
  • Data: Een gebalanceerde mix van ASR, ST, SQA (EN en meertalig), Speech-to-Text Summarization (NUTSHELL), en Audio Chapter Detection (YTSeg).
  • Strategie: Om catastrofale vergetelheid (catastrophic forgetting) te voorkomen, wordt elk spraak-batch direct gevolgd door een gepaard gaande tekst-only batch.
  • Hyperparameters: 2 epochs op 4×H100 GPU's. De projector gebruikt een constante $lr=1\times10^{-5}$; LoRA gebruikt cosine decay $lr=3\times10^{-4}$.

Synthetische Dataconstructie

Om Fase 3 fine-tuning te ondersteunen, hebben de auteurs 100k synthetische instructie-opvolging voorbeelden geconstrueerd (10k per taak) met behulp van open-weight Gemma modellen:

• Tekst-gegronde Taken (T1–T7): Gegenereerd uit referentietranscripten met behulp van Gemma-4-31B. Taken omvatmen keyword extractie, Named Entity Recognition (NER), gist-samenvatting (EN, DE, ZH), topic labeling en numerieke QA.
• Audio-gegronde Taken (T8–T10): Direct gegenereerd uit audio met behulp van Gemma-4-E4B-it. Taken betreffen het beschrijven van vocale stijl, toon en levering in EN, DE en ZH.

Belangrijkste Resultaten

Hoofdevaluatie (MCIF Benchmark)

Geëvalueerd op de beperkte, korte audiotracks van de IWSLT 2026 Shared Task:

• Spraakvertaling (ST): Het Stage 3 model (A.1 Projector + V1 LoRA) behaalde een COMET-score van 0.781 voor EN–ZH, waarmee het de base SeamlessM4T-v2-large (0.638) en de Stage 1 projector-only baselines overtrof.
• Spoken Question Answering (SQA): Het model behaalde een BERTScore-F1 van 0.346 op Engelse SQA, een significante verbetering ten opzichte van het base model (0.153) en Stage 1 A.1 (0.186).
• ASR: Hoewel Stage 1 A.2 een gedegradeerde Word Error Rate (WER) liet zien vergeleken met de base, herstelde Stage 3 de prestaties naar 23.49 WER, wat het base model (21.49) even even competitief maakte binnen de context van de pipeline.

Ablatiestudies

• LoRA Configuratie: In de Stage 2 text-only evaluatie leverde V1 (rank 8) de beste SQA F1-scores (0.652) vergeleken met V2 (0.650) en V3 (0.600), ondanks het feit dat V3 hogere Machine Translation BLEU-scores behaalde. Daarom werd V1 geselecteerd voor de uiteindelijke Stage 3 merge.
• Impact van Data: Het opnemen van SQA-data in Stage 1 (A.2) verhoogde de Engelse SQA-prestaties maar verslechterde de ASR-metrieken, wat wijst op een trade-off die wordt beheerd door de uiteindelijke Stage 3 gezamenlijke fine-tuning.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. Open-Source Reproductie: Het biedt de eerste open-source re-implementatie van de NAVER LABS instructie-opvolging pipeline, specifiek aangepast aan de IWSLT 2026 beperkingen (SeamlessM4T-v2-large en Qwen3-4B-Instruct).
2. Synthetische Dataset: De release van 100k synthetische instructie-opvolging voorbeelden over tien spraak-gecentreerde taaktypen, ontworpen om verdere fine-tuning en toekomstig onderzoek te faciliteren.
3. Empirische Validatie: De studie valideert dat de driefasige aanpak (projector alignment, text-only LoRA pre-training, multimodal merging) effectief blijft bij de overgang naar nieuwe model-backbones, waarbij sterke prestaties worden behaald in EN–ZH vertaling en Engelse SQA.
4. Toekomstig Nut: De auteurs suggereren dat de vrijgegeven data dient als fundament voor rijkere Stage 3 fine-tuning of toekomstige reinforcement learning-benaderingen met taakspecifieke beloningen en LLM-as-judge criteria.

Beperkingen

De auteurs erkennen enkele beperkingen:

• Audiolengte: Audio langer dan 15 seconden werd uitgesloten vanwege GPU-geheugenbeperkingen, wat de prestaties op langere uitingen mogelijk beïnvloedt.
• Meertalige SQA: Cross-linguale SQA vertrouwt op machinaal vertaalde QA-paren, wat ruis kan introduceren.
• Evaluatie Omvang: De Stage 2 ablatieresultaten zijn gebaseerd op text-only subsets en zijn niet direct vergelijkbaar met de volledige MCIF benchmark resultaten.