💬 NLP

NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

Dieses Paper präsentiert eine Reimplementierung der NAVER LABS IWSLT 2025 Instruction-Following-Pipeline für die 2026 Shared Task, welche unter Verwendung der vorgeschriebenen Komponenten SeamlessM4T-v2-large und Qwen3-4B-Instruct angepasst wurde und durch die Einführung von 100k synthetischen Trainingsbeispielen eine starke Leistung bei Benchmarks für maschinelle Übersetzung von Sprache sowie Spoken Question Answering erzielt.

Ursprüngliche Autoren: Anand Kamble, Aniket Tathe

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anand Kamble, Aniket Tathe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Bibliothekar (das LLM, oder Large Language Model), der perfekt schreiben und Fragen beantworten kann. Dieser Bibliothekar ist jedoch „taub“ – er kann keine Audiodateien hören, sondern kann nur Text lesen.

Auf der anderen Seite haben Sie einen spezialisierten Audiorekorder (den Speech Encoder), der exzellent darin ist, Geräusche zu hören und sie in eine digitale „Klangkarte“ umzuwandeln, aber er weiß nicht, wie man spricht oder logisch denkt.

Das Ziel dieses Papers ist es, eine Übersetzer-Brücke zwischen dem tauben Bibliothekar und dem Audiorekorder zu bauen, damit sie als ein einziges Team zusammenarbeiten können. Dieses Team ist darauf ausgelegt, Anweisungen zu befolgen wie „Übersetze diese Sprache“, „Fasse diese Audioaufnahme zusammen“ oder „Beantworte Fragen zu dem, was du gehört hast“.

So haben die Autoren dieses Team aufgebaut, unter Verwendung einfacher Analogien:

1. Die Teammitglieder

Der Bibliothekar (Qwen3-4B): Eine leistungsstarke KI, die bereits weiß, wie man Anweisungen in Textform befolgt.
Der Rekorder (SeamlessM4T-v2-large): Ein hochmoderner Datensatz, der menschliche Sprache in digitale Daten umwandelt.
Die Brücke (Projector): Eine neue, trainierbare Komponente, die die „Klangkarte“ vom Rekorder in eine Sprache übersetzt, die der Bibliothekar verstehen kann.

2. Der dreistufige Trainingsprozess

Die Autoren haben diese beiden nicht einfach nur zusammengeklebt; sie haben sie in drei spezifischen Schritten trainiert, vergleichbar mit der Einarbeitung eines neuen Mitarbeiters:

Stufe 1: Lernen zu hören (Projector Alignment)
- Was geschah: Der Bibliothekar und der Rekorder wurden eingefroren (festgeschrieben). Nur die „Brücke“ wurde trainiert.
- Die Analogie: Stellen Sie sich vor, der Bibliothekar sitzt in einem schallisolierten Raum. Die Brücke lernt, die rohen Schallwellen vom Rekorder zu nehmen und sie in schriftliche Notizen umzuwandeln, die der Bibliothekar lesen kann. Sie übten mit Tausenden von Beispielen für Sprache und Text (wie Transkripten von Reden), damit die Brücke das richtige „Vokabular“ lernt, um Klänge zu beschreiben.
Stufe 2: Das Text-Bootcamp des Bibliothekars (Text-Only LoRA)
- Was geschah: Das Audio wurde ausgeschaltet. Der Bibliothekar wurde mit einer riesigen Menge an Textdaten trainiert, um Fragen zu beantworten und Sprachen zu übersetzen, aber diesmal durfte er kleine, effiziente Anpassungen an seinem „Gehirn“ vornehmen (unter Verwendung einer Technik namens LoRA).
- Die Analogie: Der Bibliothekar befindet sich nun in einer ruhigen Bibliothek und übt seine Übersetzungs- und Beantwortungsfähigkeiten auf Papier. Er hört noch kein Audio; er schärft lediglich seine Logik- und Sprachfertigkeiten, um für die reale Welt bereit zu sein. Die Autoren testeten verschiedene „Anpassungsgrößen“ (Ranks), um zu sehen, welche den Bibliothekar am klügsten macht, ohne sein Gedächtnis zu überlasten.
Stufe 3: Die Generalprobe (Multimodal Merge)
- Was geschah: Das Audio wurde wieder eingeschaltet. Nun übten die Brücke und der Bibliothekar gemeinsam.
- Die Analogie: Der Bibliothekar und der Rekorder sind nun endlich im selben Raum. Sie üben, einer Rede zuzuhören, während die Brücke den Klang übersetzt und der Bibliothekar darauf reagiert. Um sicherzustellen, dass der Bibliothekar seine Textfähigkeiten nicht vergisst, während er lernt zu hören, wechseln sie sich zwischen Hörübungen und textbasierten Übungen ab. Dies stellt sicher, dass er nicht „verwirrt“ wird (ein Problem namens katastrophales Vergessen).

3. Die „fiktiven“ Übungsdaten

Einer der einzigartigen Beiträge des Papers ist die Erstellung von 100.000 synthetischen Beispielen.

Die Analogie: Da echte Daten für jede mögliche Aufgabe (wie „Beschreibe den Tonfall des Sprechers“ oder „Extrahiere Schlüsselwörter“) knapp waren, nutzten die Autoren eine andere KI (Gemma), um 10.000 fiktive Szenarien für 10 verschiedene Aufgabentypen zu erfinden.
Sie erstellten fiktive Transkripte und fiktive Audiobeschreibungen, um das Team für Dinge wie zu trainieren, darunter:
- Schlüsselwortextraktion: Das Herausfiltern der wichtigsten Wörter.
- Stimmbeschreibung: Beschreiben, ob ein Sprecher allein durch das Hören „selbstbewusst“, „langsam“ oder „laut“ klingt.
- Zusammenfassung: Eine lange Rede in einem Satz zusammenfassen.

4. Die Ergebnisse

Als sie das fertige Team auf die offizielle „Prüfung“ (den MCIF-Benchmark) testeten:

Übersetzung: Sie wurden sehr gut darin, Sprache von Englisch nach Chinesisch, Deutsch und Italienisch zu übersetzen.
Beantwortung von Fragen: Sie verbesserten sich signifikant bei der Beantwortung von Fragen basierend auf dem, was sie auf Englisch gehört hatten.
Der Kompromiss (Trade-off): Interessanterweise wurde ihre Fähigkeit, die exakten Worte des Gehörten aufzuschreiben (Transkription), im Vergleich zum reinen Rekorder etwas schlechter. Dies ist ein häufiger Kompromiss, wenn man ein System lehrt, „Bedeutung“ statt nur „Klänge“ zu verstehen.

Zusammenfassung

Das Paper ist im Wesentlichen ein „How-to“-Leitfaden für den Bau eines multilingualen, audio-bewussten KI-Assistenten. Sie nahmen einen tauben Text-Experten und einen hörenden, aber „unwissenden“ Rekorder, bauten eine maßgeschneiderte Brücke zwischen ihnen, trainierten sie in drei sorgfältigen Stufen und fütterten sie mit einer massiven Menge an Übungsdaten (sowohl realen als auch KI-generierten). Das Ergebnis ist ein System, das kurze Audioaufnahmen hören und komplexe Anweisungen befolgen kann, so wie ein Mensch es tun würde.

Erwähnte Einschränkungen:

Das System hat derzeit Schwierigkeiten mit Audioaufnahmen, die länger als 15 Sekunden sind (es geht die „mentale Energie“ oder den Speicher aus).
Für nicht-englische Fragen mussten sie maschinell übersetzte Übungsdaten verwenden, was einige „Rauschanteile“ oder Fehler einführen kann.

Technisches Resümee: Reimplementierung des NAVER LABS Systems für die IWSLT 2026 Instruction-Following Aufgabe

Problemstellung

Die Arbeit befasst sich mit der Herausforderung, einheitliche multimodale Sprach-Large Language Models (LLMs) zu entwickeln, die in der Lage sind, Instruktionen über diverse Aufgaben hinweg zu folgen, einschließlich automatischer Spracherkennung (ASR), multilingualer Sprachtranskription (ST) und gesprochener Beantwortung von Fragen (SQA). Während frühere Systeme wie die NAVER LABS 2025 Einreichung (Lee et al., 2025) wettbewerbsfähige Leistungen zeigten, wurden sie nicht öffentlich veröffentlicht. Darüber hinaus führt die IWSLT 2026 Shared Task spezifische Einschränkungen ein, die die Verwendung von SeamlessM4T-v2-large als Speech-Encoder und Qwen3-4B-Instruct als LLM-Backbone erfordern, was die in der Iteration von 2025 verwendeten Komponenten (LLaMA-3.1-8B) ersetzt. Das Ziel ist es, die erste Open-Source-Reimplementierung dieser Pipeline bereitzustellen, die an diese neuen Einschränkungen angepasst ist, und die Leistung durch synthetische Datengenerierung und Hyperparameter-Ablationsstudien zu steigern.

Methodik

Architektur

Das System folgt einer dreistufigen Trainingspipeline, die einen eingefrorenen Speech-Encoder über einen leichtgewichtigen Connector mit einem instruktionsgesteuerten LLM koppelt:

Speech-Encoder: Ein eingefrorener SeamlessM4T-v2-large Encoder erzeugt 1024-dimensionale Frame-Repräsentationen.
Projector: Ein trainierbares Modul reduziert die Frames durch Mittelwertbildung um den Faktor 3, verarbeitet sie durch einen 4-schichtigen Transformer-Encoder und projiziert das Ergebnis auf die Hidden Size des LLMs.
LLM-Backbone: Ein Qwen3-4B-Instruct Modell, das mittels LoRA (Low-Rank Adaptation) angepasst wurde. Die Speech-Embeddings werden an einem <|speech|> Platzhalter vorangestellt.

Trainingspipeline

Der Trainingsprozess ist in drei distinkte Phasen unterteilt:

Stufe 1: Projector-Alignment
- Der Encoder und das LLM sind eingefroren; nur der Projector wird trainiert.
- Daten: CoVoST 2 und EuroParlST für ASR- und ST-Aufgaben.
- Konfigurationen: Zwei Varianten werden untersucht:
  - A.1: Konzentriert sich auf ASR und ST (EN→DE, IT, ZH).
  - A.2: Fügt LibriSQA für SQA-Aufgaben hinzu.
- Hyperparameter: 4 Epochen, konstante Lernrate ( $1\times10^{-4}$ , AdamW-Optimizer).
Stufe 2: Text-only LoRA Pre-training
- Der Projector ist eingefroren; das LLM wird via LoRA ohne Audio-Input angepasst.
- Daten: Maschinell übersetzte Transkripte aus CoVoST 2/EuroParlST (60%) und LibriSQA (40%).
- Ablation: Drei LoRA-Konfigurationen (V1, V2, V3) werden getestet, wobei Rank ( $r$ $r$ ), $\alpha$ $α$ , Lernrate und Layer-Selektion (attn+FF vs. all-linear) variiert werden.
  - V1: $r=8, \alpha=16, lr=3\times10^{-4}$ (attn+FF).
  - V2: $r=16, \alpha=32, lr=1\times10^{-5}$ (all-linear, Cosinus-Decay).
  - V3: $r=32, \alpha=64, lr=2\times10^{-4}$ (all-linear, Cosinus-Decay).
Stufe 3: Multimodales Merging
- Sowohl der Stufe 1 Projector als auch die ausgewählten Stufe 2 LoRA-Adapter werden gemeinsam feinjustiert; der Encoder bleibt eingefroren.
- Daten: Eine ausgewogene Mischung aus ASR, ST, SQA (EN und multilingual), Speech-to-Text Summarization (NUTSHELL) und Audio Chapter Detection (YTSeg).
- Strategie: Um katastrophales Vergessen (Catastrophic Forgetting) zu verhindern, wird auf jeden Speech-Batch unmittelbar ein gepaarter Text-only Batch gefolgt.
- Hyperparameter: 2 Epochen auf 4×H100 GPUs. Der Projector nutzt eine konstante $lr=1\times10^{-5}$ ; LoRA nutzt Cosinus-Decay mit $lr=3\times10^{-4}$ .

Konstruktion synthetischer Daten

Um die Feinjustierung in Stufe 3 zu unterstützen, haben die Autoren 100.000 synthetische Instruktions-Beispiele (10k pro Aufgabe) unter Verwendung von Open-Weight Gemma-Modellen konstruiert:

Text-gegroundete Aufgaben (T1–T7): Generiert aus Referenz-Transkripten mittels Gemma-4-31B. Die Aufgaben umfassen Keyword-Extraktion, Named Entity Recognition (NER), Gist-Summarization (EN, DE, ZH), Topic Labeling und numerische QA.
Audio-gegroundete Aufgaben (T8–T10): Direkt aus Audio generiert mittels Gemma-4-E4B-it. Die Aufgaben betreffen die Beschreibung von Vokalstil, Tonfall und Darbietung in EN, DE und ZH.

Hauptergebnisse

Hauptbewertung (MCIF Benchmark)

Bewertet auf dem beschränkten, kurzen Audiotrack der IWSLT 2026 Shared Task:

Sprachtranskription (ST): Das Stufe 3 Modell (A.1 Projector + V1 LoRA) erreichte einen COMET-Score von 0.781 für EN–ZH und übertraf damit das Basis-SeamlessM4T-v2-large (0.638) sowie die Stufe 1 Projector-only Baselines.
Gesprochene Beantwortung von Fragen (SQA): Das Modell erreichte einen BERTScore-F1 von 0.346 bei englischer SQA, was eine signifikante Verbesserung gegenüber dem Basismodell (0.153) und Stufe 1 A.1 (0.186) darstellt.
ASR: Während Stufe 1 A.2 eine degradierte Word Error Rate (WER) im Vergleich zum Basismodell zeigte, stellte Stufe 3 die Leistung auf 23.49 WER wieder her, was das Basismodell (21.49) zwar nicht übertrifft, aber im Kontext der Pipeline konkurrenzfähig bleibt.

Ablationsstudien

LoRA-Konfiguration: In der Stufe 2 Text-only Evaluierung lieferte V1 (Rank 8) die besten SQA F1-Scores (0.652) im Vergleich zu V2 (0.650) und V3 (0.600), obwohl V3 höhere Machine Translation BLEU-Scores erreichte. Folglich wurde V1 für das finale Stufe 3 Merging ausgewählt.
Dateneinfluss: Die Einbeziehung von SQA-Daten in Stufe 1 (A.2) steigerte die englische SQA-Leistung, verschlechterte jedoch die ASR-Metriken, was einen Trade-off verdeutlicht, der durch die finale gemeinsame Feinjustierung in Stufe 3 gesteuert wurde.

Bedeutung und Beiträge

Die Arbeit beansprucht folgende Beiträge:

Open-Source-Reproduktion: Sie bietet die erste Open-Source-Reimplementierung der NAVER LABS Instruction-Following Pipeline, angepasst an die spezifischen IWSLT 2026 Constraints (SeamlessM4T-v2-large und Qwen3-4B-Instruct).
Synthetischer Datensatz: Die Veröffentlichung von 100.000 synthetischen Instruction-Following Beispielen über zehn sprachzentrierte Aufgabentypen hinweg, die zur Erleichterung weiterer Feinjustierungen und zukünftiger Forschung konzipiert wurden.
Empirische Validierung: Die Studie validiert, dass der Drei-Stufen-Ansatz (Projector-Alignment, Text-only LoRA Pre-training, Multimodales Merging) effektiv bleibt, wenn man zu neuen Modell-Backbones wechselt, und erzielt starke Leistungen in der EN–ZH Übersetzung und englischen SQA.
Zukünftiger Nutzen: Die Autoren schlagen vor, dass die veröffentlichten Daten als Fundament für reichhaltigere Stufe 3 Feinjustierungen oder zukünftige Reinforcement-Learning-Ansätze unter Verwendung aufgabenspezifischer Belohnungen und LLM-as-judge Kriterien dienen können.

Limitationen

Die Autoren räumen mehrere Einschränkungen ein:

Audiolänge: Audio mit einer Länge von mehr als 15 Sekunden wurde aufgrund von GPU-Speicherbeschränkungen ausgeschlossen, was die Leistung bei längeren Äußerungen potenziell beeinflussen kann.
Multilinguale SQA: Cross-linguale SQA stützt sich auf maschinell übersetzte QA-Paare, was Rauschen einführen kann.
Evaluationsumfang: Die Ergebnisse der Stufe 2 Ablation basieren auf Text-only Subsets und sind nicht direkt mit den vollen MCIF-Benchmark-Ergebnissen vergleichbar.