Sintesi Tecnica: Re-implementazione del Sistema NAVER LABS per il Task di Instruction-Following dell'IWSLT 2026

Definizione del Problema

Il documento affronta la sfida di sviluppare modelli linguistici di grandi dimensioni (LLM) multimodali unificati, capaci di seguire istruzioni attraverso diversi task, tra cui il Riconoscimento Automatico del Parlato (ASR), la Traduzione Parlata (ST) multilingue e le Domande e Risposte Parlate (SQA). Sebbene i sistemi precedenti, come la sottomissione NAVER LABS 2025 (Lee et al., 2025), abbiano dimostrato prestazioni competitive, non sono stati rilasciati pubblicamente. Inoltre, l'IWSLT 2026 Shared Task introduce vincoli specifici che richiedono l'uso di SeamlessM4T-v2-large come encoder per lo speech e Qwen3-4B-Instruct come backbone dell'LLM, sostituendo i componenti utilizzati nell'iterazione del 2025 (LLaMA-3.1-8B). L'obiettivo è fornire la prima re-implementazione open-source di questa pipeline adattata a questi nuovi vincoli e migliorare le prestazioni attraverso la generazione di dati sintetici e l'ablation study degli iperparametri.

Metodologia

Architettura

Il sistema segue una pipeline di addestramento in tre fasi, accoppiando un encoder per lo speech congelato con un LLM sottoposto a instruction-tuning tramite un connettore leggero:

1. Encoder per lo Speech: Un encoder SeamlessM4T-v2-large congelato produce rappresentazioni frame a 1024 dimensioni.
2. Projector: Un modulo addestinabile sottocampiona i frame con un fattore di 3 tramite mediazione, li elabora attraverso un encoder Transformer a 4 strati e proietta l'output alla dimensione nascosta dell'LLM.
3. LLM Backbone: Un modello Qwen3-4B-Instruct adattato tramite LoRA (Low-Rank Adaptation). Gli embedding dello speech sono preposti a un segnaposto <|speech|>.

Pipeline di Addestramento

Il processo di addestramento è diviso in tre fasi distinte:

• Fase 1: Allineamento del Projector

  • L'encoder e l'LLM sono congelati; viene addestrato solo il projector.
  • Dati: CoVoST 2 ed EuroParlST per i task ASR e ST.
  • Configurazioni: Sono esplorate due varianti:
    • A.1: Si concentra su ASR e ST (EN→DE, IT, ZH).
    • A.2: Aggiunge LibriSQA per i task SQA.
  • Iperparametri: 4 epoche, learning rate costante ($1\times10^{-4}$), ottimizzatore AdamW.

• Fase 2: Pre-addestramento LoRA Solo-Testuale

  • Il projector è congelato; l'LLM è adattato tramite LoRA senza input audio.
  • Dati: Trascrizioni tradotte automaticamente da CoVoST 2/EuroParlST (60%) e LibriSQA (40%).
  • Ablation: Vengono testate tre configurazioni LoRA (V1, V2, V3) variando rank ($r$), $\alpha$, learning rate e selezione dello strato (attn+FF vs. all-linear).
    • V1: $r=8, \alpha=16, lr=3\times10^{-4}$ (attn+FF).
    • V2: $r=16, \alpha=32, lr=1\times10^{-5}$ (all-linear, cosine decay).
    • V3: $r=32, \alpha=64, lr=2\times10^{-4}$ (all-linear, cosine decay).

• Fase 3: Fusione Multimodale

  • Sia il projector della Fase 1 che i selezionati adapter LoRA della Fase 2 vengono co-addestrati; l'encoder rimane congelato.
  • Dati: Un mix bilanciato di ASR, ST, SQA (EN e multilingue), Speech-to-Text Summarization (NUTSHELL) e Audio Chapter Detection (YTSeg).
  • Strategia: Per prevenire il catastrofico oblio (catastrophic forgetting), a ogni batch di speech segue immediatamente un batch di testo accoppiato.
  • Iperparametri: 2 epoche su 4 GPU H100. Il projector utilizza un $lr$ costante di $1\times10^{-5}$; LoRA utilizza un cosine decay con $lr=3\times10^{-4}$.

Costruzione dei Dati Sintetici

Per supportare l'addestramento della Fase 3, gli autori hanno costruito 100k esempi sintetici di instruction-following (10k per task) utilizzando modelli Gemma open-weight:

• Task Grounded sul Testo (T1–T7): Generati da trascrizioni di riferimento usando Gemma-4-31B. I task includono estrazione di parole chiave, Named Entity Recognition (NER), riassunto della sostanza (gist summarization) (EN, DE, ZH), etichettatura dell'argomento e QA numerico.
• Task Grounded sull'Audio (T8–T10): Generati direttamente dall'audio usando Gemma-4-E4B-it. I task riguardano la descrizione dello stile vocale, del tono e della consegna in EN, DE e ZH.

Risultati Principali

Valutazione Principale (Benchmark MCIF)

Valutato sulla traccia audio breve e vincolata dell'IWSLT 2026 Shared Task:

• Traduzione Parlata (ST): Il modello della Fase 3 (Projector A.1 + LoRA V1) ha raggiunto un punteggio COMET di 0.781 per EN–ZH, superando il base SeamlessM4T-v2-large (0.638) e le baseline del solo projector della Fase 1.
• Domande e Risposte Parlate (SQA): Il modello ha ottenuto un BERTScore-F1 di 0.346 su SQA in inglese, un miglioramento significativo rispetto al modello base (0.153) e alla Fase 1 A.1 (0.186).
• ASR: Sebbene la Fase 1 A.2 abbia mostrato un degrado del Word Error Rate (WER) rispetto al modello base, la Fase 3 ha recuperato le prestazioni raggiungendo un 23.49 WER, superando il modello base (21.49) ma rimanendo competitivo nel contesto della pipeline.

Studi di Ablation

• Configurazione LoRA: Nella valutazione solo-testuale della Fase 2, V1 (rank 8) ha prodotto i migliori punteggi SQA F1 (0.652) rispetto a V2 (0.650) e V3 (0.600), nonostante V3 avesse ottenuto punteggi Machine Translation BLEU più elevati. Di conseguenza, V1 è stata selezionata per la fusione finale della Fase 3.
• Impatto dei Dati: L'inclusione di dati SQA nella Fase 1 (A.2) ha potenziato le prestazioni SQA in inglese ma ha degradato le metriche ASR, evidenziando un compromesso gestito dal successivo fine-tuning congiunto della Fase 3.

Significato e Contributi

Il documento rivendica i seguenti contributi:

1. Riproduzione Open-Source: Fornisce la prima re-implementazione open-source della pipeline di instruction-following di NAVER LABS, adattata specificamente ai vincoli di IWSLT 2026 (SeamlessM4T-v2-large e Qwen3-4B-Instruct).
2. Dataset Sintetico: Il rilascio di 100k esempi sintetici di instruction-following attraverso dieci tipi di task centrati sullo speech, progettati per facilitare l'ulteriore fine-tuning e la ricerca futura.
3. Validazione Empirica: Lo studio valida che l'approccio in tre fasi (allineamento del projector, pre-addestramento LoRA solo-testuale, fusione multimodale) rimane efficace durante la transizione verso nuovi backbone di modelli, ottenendo prestazioni elevate nella traduzione EN–ZH e nelle SQA in inglese.
4. Utilità Futura: Gli autori suggeriscono che i dati rilasciati servano come fondamento per un più ricco fine-tuning della Fase 3 o per futuri approcci di reinforcement learning utilizzando reward specifici per il task e criteri "LLM-as-judge".

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Lunghezza dell'Audio: Gli audio più lunghi di 15 secondi sono stati esclusi a causa dei limiti di memoria GPU, il che potrebbe influenzare le prestazioni su utterance più lunghe.
• SQA Multilingue: La SQA cross-lingue si basa su coppie QA tradotte tramite machine translation, il che può introdurre rumore.
• Ambito di Valutazione: I risultati dell'ablation della Fase 2 si basano su sottoinsiemi solo-testuali e non sono direttamente confrontabili con i risultati completi del benchmark MCIF.