NAVER LABS Europe Submission to the Instruction-following 2026 Short Track

Sintesi Tecnica: Sottomissione di NAVER LABS Europe alla Short Track IWSLT 2026

Definizione del Problema
Questo articolo affronta le sfide della Short Track IWSLT 2026 per l'Instruction-following nel processamento del parlato sotto un regime di vincoli. L'obiettivo è sviluppare un sistema unificato capace di eseguire congiuntamente il riconoscimento automatico del parlato (ASR), la traduzione del parlato (ST) e il question answering parlato (SQA) da input vocali in inglese verso cinese, italiano e tedesco. Un vincolo chiave è la dipendenza da modelli fondazionali specifici: l'encoder speech SeamlessM4T-v2-large e il Large Language Model (LLM) Qwen3-4B-Instruct-2507. Il sistema deve inoltre gestire un compito di "sorpresa" di instruction-following rivelato solo al momento del test. Gli autori osservano che il backbone LLM scelto (Qwen3-4B) è significativamente più piccolo e debole rispetto ai modelli utilizzati negli anni precedenti, presentando una sfida nel mantenere le prestazioni riducendo al contempo la dimensione del modello e i requisiti computazionali.

Metodologia
Gli autori propongono una pipeline di addestramento multi-stadio (illustrata nella Figura 1) che addestra i componenti in parallelo prima di integrarli:

1. Proiettore Speech (SpeechMapper): Invece di un proiettore standard basato su transformer, il team impiega un SpeechMapper aggiornato. Questo modulo mappa le rappresentazioni medie dello speech dall'encoder SeamlessM4T-v2-large nello spazio di embedding dell'LLM congelato.

   • Obiettivo di Addestramento: Il proiettore è addestrato utilizzando dati ASR con una funzione di perdita composita che comprende:
     • L1 Alignment Loss: Distanza elemento per elemento tra gli embedding di speech e testo.
     • Cosine Similarity Loss: Allineamento angolare nello spazio degli embedding.
     • Softmax Contrastive Loss: Separazione dai token non target.
     • CTC Loss: Aggiunta a uno strato intermedio per stabilizzare l'addestramento.
   • Efficienza: Questo approccio richiede solo il tokenizer e lo strato di embedding dell'LLM, evitando passaggi completi (forward passes) dell'LLM durante l'addestramento del proiettore, riducendo così la memoria GPU e i costi computazionali.

2. Adattatori di Testo LoRA: In parallelo all'addestramento del proiettore, vengono addestrati pesi di Low-Rank Adaptation (LoRA) su dati text-to-text (Traduzione Automatica e Question Answering) utilizzando lo stesso backbone LLM congelato.

3. Adattamento Multimodale: Il modello SpeechMapper e gli adattatori LoRA addestrati vengono ricaricati e sottoposti a fine-tuning congiunto su un mix di compiti speech e text. La pipeline utilizza un formato di prompt specifico in cui le istruzioni sono formulate come domande nella lingua target per ridurre la confusione tra i compiti (AS-ASR vs ST) e migliorare la generalizzazione.

4. Strategia dei Dati:

   • Dati Sintetici (fakACL): Per colmare il divario di dominio tra i dati di addestramento e l'insieme di valutazione (presentazioni scientifiche), gli autori hanno generato fakACL, un dataset sintetico di talk scientifici. Questo è stato creato tramite il prompting dell'LLM per generare script di presentazione, segmentandoli, sintetizzando lo speech tramite il TTS di SeamlessM4T-v2-large e generando le relative coppie QA.
   • Data Augmentation: Gli esistenti dataset (CoVoST2, EuroParlST, GigaST, LibriSQA) sono stati elaborati con modifiche specifiche, inclusa l'espansione delle risposte MCQ (per includere il testo completo delle opzioni anziché solo le lettere) e la creazione di split "invalid" tramite metodi basati sulla similarità e sull'LLM per migliorare la robustezza.

Contributi Chiave

• Integrazione di SpeechMapper: La sostituzione del precedente proiettore basato su transformer con lo SpeechMapper, che consente di apprendere gli embedding speech-to-LLM senza richiedere i forward pass dell'LLM, abbassando significativamente i requisiti hardware.
• Dati Sintetici Specifici di Dominio: L'introduzione del dataset fakACL, che allinea la distribuzione di addestramento con il dominio di valutazione (presentazioni scientifiche), affrontando un disallineamento noto nelle iterazioni precedenti.
• Architettura Efficiente: Lo sviluppo di un sistema che supera la migliore sottomissione dell'anno precedente pur facendo affidamento su un backbone LLM sostanzialmente più debole (minore numero di parametri) ed essendo più compatto.

Risultati
Il sistema è stato valutato su ASR (WER), ST/MT (COMET) e SQA/QA (accuratezza LLM-as-a-judge).

• Prestazioni: Il sistema multimodale finale (Setup 1) ha ottenuto risultati pari al primo posto nella classifica generale della short track.
• Analisi Comparativa: Nonostante l'uso del più piccolo backbone Qwen3-4B, il sistema ha eguagliato o superato le prestazioni del miglior sistema dell'anno scorso (BEST-IWSLT25-IF) che utilizzava un backbone più grande.
• Trade-off: Gli autori hanno osservato un compromesso tra le prestazioni ASR/ST e le prestazioni SQA. Il Setup 1 ha dato priorità a SQA (ottenendo 0.428 su MCIF SQA), mentre il Setup 2 mostrava risultati ASR/ST più forti. La sottomissione finale ha dato priorità a SQA come criterio principale.
• Osservazioni sul Baseline: Il backbone testuale Qwen3-4B ha performato significativamente peggio di SeamlessM4T-v2-large o Llama-3.1-8B in contesti zero-shot, particolarmente per l'italiano, motivando l'uso intensivo del fine-tuning LoRA e dell'up-sampling dei dati sintetici.

Significatività e Rivendicazioni
L'articolo sostiene che la combinazione di un meccanismo di proiezione speech migliorato (SpeechMapper) e di dati sintetici specifici del dominio (fakACL) permette a un modello con un backbone LLM più debole di superare il sistema allo stato dell'arte dell'anno precedente nella short track con vincoli. Gli autori sottolineano che il loro approccio è "considerevolmente più compatto" e si basa su meno risorse computazionali durante la fase di addestramento del proiettore. Il lavoro dimosta che un efficace instruction-following nel processamento del parlato può essere raggiunto senza massicci backbone LLM, se l'allineamento speech-to-text e l'adattamento di dominio sono gestiti efficientemente. Il sistema gestisce con successo il compito di sorpresa e i requisiti multilingue, validando la robustezza della pipeline.