💬 NLP

NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

Ce document présente une réimplémentation du pipeline de suivi d'instructions de NAVER LABS IWSLT 2025 pour la tâche partagée 2026, en l'adaptant avec les composants imposés SeamlessM4T-v2-large et Qwen3-4B-Instruct tout en introduisant 100 000 exemples d'entraînement synthétiques pour obtenir des performances solides sur les benchmarks de traduction automatique parlée et de réponse aux questions orales.

Auteurs originaux : Anand Kamble, Aniket Tathe

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anand Kamble, Aniket Tathe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire très intelligent et érudit (le LLM, ou Grand Modèle de Langage) qui sait écrire et répondre aux questions parfaitement. Cependant, ce bibliothécaire est « sourd » : il ne peut pas entendre de fichiers audio, il ne peut que lire du texte.

D'un autre côté, vous avez un enregistreur audio spécialisé (l'Encodeur de Parole) qui est excellent pour écouter les sons et les transformer en une « carte sonore » numérique, mais il ne sait ni parler ni raisonner.

L'objectif de cet article est de construire un pont de traduction entre le bibliothécaire sourd et l'enregistreur audio afin qu'ils puissent travailler ensemble comme une seule équipe. Cette équipe est conçue pour suivre des instructions telles que « Traduisez ce discours », « Résumez cet audio » ou « Répondez à des questions sur ce que vous avez entendu ».

Voici comment les auteurs ont construit cette équipe, en utilisant des analogies simples :

1. Les membres de l'équipe

Le Bibliothécaire (Qwen3-4B) : Une IA puissante qui sait déjà suivre des instructions en texte.
L'Enregistreur (SeamlessM4T-v2-large) : Un outil de pointe qui convertit la parole humaine en données numériques.
Le Pont (Projecteur) : Un nouveau composant entraînable qui traduit la « carte sonore » de l'enregistreur en un langage que le bibliothécaire peut comprendre.

2. Le processus d'entraînement en trois étapes

Les auteurs ne se sont pas contentés de coller ces deux éléments ensemble ; ils les ont entraînés en trois étapes spécifiques, comme pour former un nouvel employé :

Étape 1 : Apprendre à écouter (Alignement du Projecteur)
- Ce qui s'est passé : Le bibliothécaire et l'enregistreur étaient gelés (bloqués en place). Seul le « Pont » a été entraîné.
- L'analogie : Imaginez le bibliothécaire assis dans une pièce insonorisée. Le Pont apprend à prendre les ondes sonores brutes de l'enregistreur et à les convertir en notes écrites que le bibliothécaire peut lire. Ils se sont exercés avec des milliers d'exemples de parole et de texte (comme des transcriptions de discours) afin que le Pont apprenne le bon « vocabulaire » pour décrire les sons.
Étape 2 : Le camp d'entraînement textuel du bibliothécaire (LoRA uniquement de texte)
- Ce qui s'est passé : L'audio a été coupé. Le bibliothécaire a reçu une quantité massive de données textuelles pour s'exercer à répondre à des questions et à traduire des langues, mais cette fois, il était autorisé à effectuer de petits ajustements efficaces de son cerveau (en utilisant une technique appelée Lo-RA).
- L'analogie : Le bibliothécaire est maintenant dans une bibliothèque calme, s'exerçant à ses compétences de traduction et de réponse aux questions sur papier. Il n'écoute pas encore d'audio ; il affine simplement sa logique et ses compétences linguistiques afin d'être prêt pour le monde réel. Les auteurs ont testé différentes « tailles d'ajustement » (rangs) pour voir laquelle rendait le bibliothécaire le plus intelligent sans briser sa mémoire.
Étape 3 : La répétition générale (Fusion Multimodale)
- Ce qui s'est passé : L'audio a été rallumé. Maintenant, le Pont et le Bibliothécaire pratiquent ensemble.
- L'analogie : Le bibliothécaire et l'enregistreur sont enfin dans la même pièce. Ils s'exercent à écouter un discours, à laisser le Pont traduire le son, puis le bibliothécaire répond. Pour s'assurer que le bibliothécaire n'oublie pas ses compétences textuelles en apprenant à écouter, ils alternent entre des exercices d'écoute et des exercices de texte uniquement. Cela garantit qu'il ne devient pas « confus » (un problème appelé oubli catastrophique).

3. Les données d'entraînement « fictives »

L'une des contributions uniques de l'article est la création de 100 000 exemples synthétiques.

L'analogie : Comme les données du monde réel pour chaque tâche possible (comme « décrire le ton de la voix du locuteur » ou « extraire des mots-clés ») étaient rares, les auteurs ont utilisé une autre IA (Gemma) pour inventer 10 000 scénarios de pratique fictifs pour 10 types de tâches différents.
Ils ont créé des transcriptions fictives et des descriptions audio fictives pour entraîner l'équipe sur des choses comme :
- Extraction de mots-clés : Extraire les mots les plus importants.
- Description de la voix : Décrire si un locuteur semble « confiant », « lent » ou « fort » juste en l'entendant.
- Résumé : Condenser un long discours en une seule phrase.

4. Les résultats

Lorsqu'ils ont testé leur équipe finale sur l'« examen » officiel (le benchmark MCIF) :

Traduction : Ils sont devenus très bons pour traduire la parole de l'anglais vers le chinois, l'allemand et l'italien.
Réponse aux questions : Ils se sont considérablement améliorés pour répondre à des questions basées sur ce qu'ils ont entendu en anglais.
Le compromis : Curieusement, alors qu'ils sont devenus meilleurs pour comprendre le sens de la parole (traduction et questions), leur capacité à écrire les mots exacts entendus (transcription) a légèrement diminué par rapport à l'enregistreur brut. C'est un compromis courant lorsque l'on enseigne à un système à comprendre le « sens » plutôt que simplement les « sons ».

Résumé

Cet article est essentiellement un « guide pratique » pour construire un assistant IA multilingue et conscient de l'audio. Ils ont pris un expert en texte sourd et un enregistreur capable d'entendre mais dépourvu d'intelligence, ont construit un pont personnalisé entre eux, les ont entraînés en trois étapes méticuleuses et les ont nourris d'une énorme quantité de données d'entraînement (réelles et générées par IA). Le résultat est un système capable d'écouter de courts clips audio et de suivre des instructions complexes comme le ferait un humain.

Limites mentionnées :

Le système éprouve actuellement des difficultés avec les audios de plus de 15 secondes (il manque de « l'énergie mentale » ou de la mémoire).
Pour les questions non anglaises, ils ont dû utiliser des données d'entraînement traduites par machine, ce qui peut introduire du « bruit » ou des erreurs.

Résumé technique : Réimplémentation du système NAVER LABS pour la tâche de suivi d'instructions IWSLT 2026

Énoncé du problème

L'article traite du défi consistant à développer des modèles de langage (LLM) multimodaux de parole unifiés, capables de suivre des instructions à travers diverses tâches, notamment la reconnaissance automatique de la parole (ASR), la traduction automatique de la parole (ST) multilingue et le questionnement oral (SQA). Bien que les systèmes précédents, tels que la soumission NAVER LABS 2025 (Lee et al., 2025), aient démontré des performances compétitives, ils n'ont pas été rendus publics. De plus, la tâche partagée IWSLT 2026 introduit des contraintes spécifiques exigeant l'utilisation de SeamlessM4T-v2-large comme encodeur de parole et de Qwen3-4B-Instruct comme squelette LLM, remplaçant les composants utilisés dans l'itération de 2025 (LLaMA-3.1-8B). L'objectif est de fournir la première réimplémentation open-source de ce pipeline adaptée à ces nouvelles contraintes et d'améliorer les performances grâce à la génération de données synthétiques et à l'ablation des hyperparamètres.

Méthodologie

Architecture

Le système suit un pipeline d'entraînement en trois étapes, couplant un encodeur de parole gelé à un LLM ajusté aux instructions via un connecteur léger :

Encodeur de parole : Un encodeur SeamlessM4T-v2-large gelé produit des représentations de trames à 1024 dimensions.
Projecteur : Un module entraînable sous-échantillonne les trames par un facteur de 3 par moyennage, les traite à travers un encodeur Transformer à 4 couches, et projette la sortie vers la taille de dimension cachée du LLM.
Squelette LLM : Un modèle Qwen3-4B-Instruct adapté via LoRA (Low-Rank Adaptation). Les plongements de parole sont prépendés à un marqueur <|speech|>.

Pipeline d'entraînement

Le processus d'entraînement est divisé en trois étapes distinctes :

Étape 1 : Alignement du projecteur
- L'encodeur et le LLM sont gelés ; seul le projecteur est entraîné.
- Données : CoVoST 2 et EuroParlST pour les tâches ASR et ST.
- Configurations : Deux variantes sont explorées :
  - A.1 : Se concentre sur l'ASR et la ST (EN→DE, IT, ZH).
  - A.2 : Ajoute LibriSQA pour les tâches SQA.
- Hyperparamètres : 4 époques, taux d'apprentissage constant ( $1\times10^{-4}$ ), optimiseur AdamW.
Étape 2 : Pré-entraînement LoRA textuel uniquement
- Le projecteur est gelé ; le LLM est adapté via LoRA sans entrée audio.
- Données : Transcriptions traduites par machine de CoVoST 2/EuroParlST (60 %) et LibriSQA (40 %).
- Ablation : Trois configurations LoRA (V1, V2, V3) sont testées, faisant varier le rang ( $r$ $r$ ), $\alpha$ $α$ , le taux d'apprentissage et la sélection des couches (attn+FF vs. all-linear).
  - V1 : $r=8, \alpha=16, lr=3\times10^{-4}$ (attn+FF).
  - V2 : $r=16, \alpha=32, lr=1\times10^{-5}$ (all-linear, décroissance cosinus).
  - V3 : $r=32, \alpha=64, lr=2\times10^{-4}$ (all-linear, décroissance cosinus).
Étape 3 : Fusion multimodale
- Le projecteur de l'étape 1 et les adaptateurs LoRA sélectionnés de l'étape 2 sont affinés conjointement ; l'encodeur reste gelé.
- Données : Un mélange équilibré d'ASR, ST, SQA (EN et multilingue), de résumé texte-parole (NUTSHELL) et de détection de chapitres audio (YTSeg).
- Stratégie : Pour éviter l'oubli catastrophique, chaque lot de parole est immédiatement suivi d'un lot textuel apparié.
- Hyperparamètres : 2 époques sur 4×H100 GPU. Le projecteur utilise un $lr$ constant de $1\times10^{-5}$ ; LoRA utilise une décroissance cosinus $lr=3\times10^{-4}$ .

Construction de données synthétiques

Pour soutenir l'affinage de l'étape 3, les auteurs ont construit 100k exemples de suivi d'instructions synthétiques (10k par tâche) en utilisant des modèles Gemma en open-weight :

Tâches ancrées sur le texte (T1–T7) : Générées à partir de transcriptions de référence via Gemma-4-31B. Les tâches incluent l'extraction de mots-clés, la reconnaissance d'entités nommées (NER), le résumé de l'essentiel (EN, DE, ZH), l'étiquetage de sujets et le QA numérique.
Tâches ancrées sur l'audio (T8–T10) : Générées directement à partir de l'audio via Gemma-4-E4B-it. Les tâches impliquent la description du style vocal, du ton et de la diction en EN, DE et ZH.

Résultats clés

Évaluation principale (Benchmark MCIF)

Évalué sur la piste audio courte et contrainte de la tâche partagée IWSLT 2026 :

Traduction de la parole (ST) : Le modèle de l'étape 3 (Projecteur A.1 + LoRA V1) a obtenu un score COMET de 0,781 pour EN–ZH, surpassant le SeamlessM4T-v2-large de base (0,638) et les lignes de base du projecteur seul de l'étape 1.
Questionnement oral (SQA) : Le modèle a obtenu un BERTScore-F1 de 0,346 sur le SQA anglais, une amélioration significative par rapport au modèle de base (0,153) et à l'étape 1 A.1 (0,186).
ASR : Bien que l'étape 1 A.2 ait montré une dégradation du taux d'erreur de mots (WER) par rapport au modèle de base, l'étape 3 a récupéré la performance avec un WER de 23,49, dépassant le modèle de base (21,49) mais restant compétitif dans le contexte du pipeline.

Études d'ablation

Configuration LoRA : Dans l'évaluation textuelle de l'étape 2, V1 (rang 8) a produit les meilleurs scores SQA F1 (0,652) par rapport à V2 (0,650) et V3 (0,600), malgré le fait que V3 ait obtenu des scores BLEU de traduction automatique plus élevés. Par conséquent, V1 a été sélectionné pour la fusion finale de l'étape 3.
Impact des données : L'incorporation de données SQA dans l'étape 1 (A.2) a boosté les performances SQA en anglais mais a dégradé les métriques ASR, soulignant un compromis géré par le réglage fin conjoint de l'étape 3.

Signification et contributions

L'article revendique les contributions suivantes :

Reproduction Open-Source : Il fournit la première réimplémentation open-source du pipeline de suivi d'instructions de NAVER LABS, adaptée spécifiquement aux contraintes de l'IWSLT 2026 (SeamlessM4T-v2-large et Qwen3-4B-Instruct).
Jeu de données synthétique : La publication de 100k exemples de suivi d'instructions synthétiques à travers dix types de tâches centrées sur la parole, conçus pour faciliter l'affinage ultérieur et la recherche future.
Validation empirique : L'étude valide que l'approche en trois étapes (alignement du projecteur, pré-entraînement LoRA textuel uniquement, fusion multimodale) reste efficace lors de la transition vers de nouveaux squelettes de modèles, atteissant de fortes performances en traduction EN–ZH et en SQA anglais.
Utilité future : Les auteurs suggèrent que les données publiées servent de fondation pour un enrichissement de l'étape 3 ou pour de futures approches d'apprentissage par renforcement utilisant des récompenses spécifiques aux tâches et des critères de type "LLM-as-judge".

Limites

Les auteurs reconnaissent plusieurs contraintes :

Longueur de l'audio : Les audios de plus de 15 secondes ont été exclus en raison des limitations de mémoire GPU, ce qui peut affecter les performances sur les énoncés longs.
SQA multilingue : Le SQA translingue repose sur des paires de questions-réponses traduites par machine, ce qui peut introduire du bruit.
Portée de l'évaluation : Les résultats d'ablation de l'étape 2 sont basés sur des sous-ensembles textuels uniquement et ne sont pas directement comparables aux résultats complets du benchmark MCIF.