NAVER LABS Europe Submission to the Instruction-following 2026 Short Track

Resumo Técnico: Submissão da NAVER LABS Europe para o IWSLT 2026 Short Track

Definição do Problema
Este artigo aborda os desafios do IWSLT 2026 Instruction-following Speech Processing Short Track sob uma configuração restrita. O objetivo é desenvolver um sistema unificado capaz de realizar conjuntamente o Reconhecimento Automático de Fala (ASR), Tradução de Fala (ST) e Resposta a Perguntas Faladas (SQA) a partir de entrada de fala em inglês para chinês, italiano e alemão. Uma restrição fundamental é a dependência de modelos de base específicos: o codificador de fala SeamlessM4T-v2-large e o Large Language Model (LLM) Qwen3-4B-Instruct-2507. O sistema também deve lidar com uma tarefa de seguimento de instrução "surpresa" revelada apenas no momento do teste. Os autores observam que o backbone de LLM escolhido (Qwen3-4B) é significativamente menor e mais fraco do que os modelos utilizados em anos anteriores, apresentando o desafio de manter o desempenho enquanto se reduz o tamanho do modelo e os requisitos computacionais.

Metodologia
Os autores propõem um pipeline de treinamento em múltiplos estágios (ilustrado na Figura 1) que treina componentes em paralelo antes de integrá-los:

1. Projetor de Fala (SpeechMapper): Em vez de um projetor padrão baseado em transformer, a equipe utiliza um SpeechMapper atualizado. Este módulo mapeia representações de fala médias do codificador SeamlessM4T-v2-large para o espaço de embedding do LLM congelado.

   • Objetivo de Treinamento: O projetor é treinado usando dados de ASR com uma função de perda composta que compreende:
     • Perda de Alinhamento L1: Distância elemento a elemento entre os embeddings de fala e texto.
     • Perda de Similaridade de Cosseno: Alinhamento angular no espaço de embedding.
     • Perda Contrastiva Softmax: Separação de tokens não visados.
     • Perda CTC: Adicionada em uma camada intermediária para estabilizar o treinamento.
   • Eficiência: Esta abordagem requer apenas o tokenizer e a camada de embedding do LLM, evitando passagens completas pelo forward do LLM durante o treinamento do projetor, reduzendo assim a memória GPU e os custos computacionais.

2. Adaptadores LoRA de Texto: Paralelamente ao treinamento do projetor, pesos de Adaptação de Baixo Posto (LoRA) são treinados em dados de texto-para-texto (Tradução Automática e Resposta a Perguntas) utilizando o mesmo backbone de LLM congelado.

3. Adaptação Multimodal: O SpeechMapper treinado e os adaptadores LoRA são recarregados e ajustados conjuntamente em uma mistura de tarefas de fala e texto. O pipeline utiliza um formato de prompt específico onde as instruções são formuladas como perguntas no idioma alvo para reduzir a confusão de tarefas (ASA vs. ST) e melhorar a generalização.

4. Estratégia de Dados:

   • Dados Sintéticos (fakACL): Para preencher a lacuna de domínio entre os dados de treinamento e o conjunto de avaliação (apresentações científicas), os autores geraram o fakACL, um conjunto de dados sintéticos de palestras científicas. Este foi criado solicitando ao LLM a geração de roteiros de apresentação, segmentando-os, sintetizando a fala via SeamlessM4T-v2-large TTS e gerando pares de QA associados.
   • Aumento de Dados: Os conjuntos de dados existentes (CoVoST2, EuroParlST, GigaST, LibriSQA) foram processados com modificações específicas, incluindo a expansão de respostas de múltipla escolha (para incluir o texto completo das opções em vez de apenas letras) e a criação de divisões "inválidas" usando métodos baseados em similaridade e LLM para melhorar a robustez.

Principais Contribuições

• Integração do SpeechMapper: A substituição do anterior projetor baseado em transformer pelo SpeechMapper, que permite aprender embeddings de fala-para-LLM sem exigir passagens de forward do LLM, reduzindo significativamente os requisitos de hardware.
• Dados Sintéticos Específicos de Domínio: A introdução do conjunto de dados fakACL, que alinha a distribuição de treinamento com o domínio de avaliação (apresentações científicas), abordando um descompasso conhecido em iterações anteriores.
• Arquitetura Eficiente: O desenvolvimento de um sistema que supera o melhor envio do ano anterior enquanto depende de um backbone de LLM substancialmente mais fraco (menor contagem de parâmetros) e sendo mais compacto.

Resultados
O sistema foi avaliado em ASR (WER), ST/MT (COMET) e SQA/QA (precisão de LLM-como-juiz).

• Desempenho: O sistema multimodal final (Setup 1) alcançou resultados empatados em primeiro lugar no ranking geral do short track.
• Análise Comparativa: Apesar de usar o backbone menor Qwen3-4B, o sistema igualou ou superou o desempenho do melhor sistema do ano passado (BEST-IWSLT25-IF), que utilizava um backbone maior.
• Compromissos (Trade-offs): Os autores observaram um compromisso entre o desempenho de ASR/ST e o desempenho de SQA. O Setup 1 priorizou o SQA (alcançando 0.428 em MCIF SQA), enquanto o Setup 2 mostrou resultados de ASR/ST mais fortes. O envio final priorizou o SQA como o critério principal.
• Observações de Baseline: O backbone de texto puro Qwen3-4B apresentou desempenho significativamente inferior ao SeamlessM4T-v2-large ou Llama-3.1-8B em configurações zero-shot, particularmente para o italiano, motivando o uso intensivo de fine-tuning LoRA e up-sampling de dados sintéticos.

Significância e Alegações
O artigo alega que a combinação de um mecanismo de projeção de fala melhorado (SpeechMapper) e dados sintéticos específicos de domínio (fakACL) permite que um modelo com um backbone de LLM mais fraco supere o sistema de estado da arte do ano anterior no short track restrito. Os autores enfatizam que sua abordagem é "consideravelmente mais compacta" e depende de menos recursos computacionais durante a fase de treinamento do projetor. O trabalho demonstra que o seguimento de instruções eficaz em processamento de fala pode ser alcançado sem backbones de LLM massivos, se o alinhamento fala-para-texto e a adaptação de domínio forem tratados de forma eficiente. O sistema lida com sucesso com a tarefa surpresa e os requisitos multilíngues, validando a robustez do pipeline.