Resumo Técnico: Reimplementação do Sistema NAVER LABS para a Tarefa de Seguimento de Instruções do IWSLT 2026

Definição do Problema

O artigo aborda o desafio de desenvolver modelos de linguagem de fala (LLMs) multimodais unificados, capazes de seguir instruções em diversas tarefas, incluindo Reconhecimento Automático de Fala (ASR), Tradução de Fala Multilíngue (ST) e Resposta a Perguntas Faladas (SQA). Embora sistemas anteriores, como a submissão da NAVER LABS em 2025 (Lee et al., 2025), tenham demonstrado um desempenho competitivo, eles não foram lançados publicamente. Além disso, a Tarefa Compartilhada IWSLT 2026 introduz restrições específicas que exigem o uso do SeamlessM4T-v2-large como codificador de fala e do Qwen3-4B-Instruct como backbone do LLM, substituindo os componentes utilizados na iteração de 2025 (LLaMA-3.1-8B). O objetivo é fornecer a primeira reimplementação de código aberto deste pipeline adaptado a essas novas restrições e aumentar o desempenho por meio de geração de dados sintéticos e ablação de hiperparâmetros.

Metodologia

Arquitetura

O sistema segue um pipeline de treinamento de três estágios, acoplando um codificador de fala congelado a um LLM ajustado por instrução via um conector leve:

1. Codificador de Fala: Um codificador SeamlessM4T-v2-large congelado produz representações de quadro de 1024 dimensões.
2. Projetor: Um módulo treinável reduz a amostragem dos quadros por um fator de 3 via média, processa-os através de um codificador Transformer de 4 camadas e projeta a saída para o tamanho oculto do LLM.
3. Backbone do LLM: Um modelo Qwen3-4B-Instruct adaptado com LoRA (Low-Rank Adaptation). Os embeddings de fala são prefixados em um marcador <|speech|>.

Pipeline de Treinamento

O processo de treinamento é dividido em três estágios distintos:

• Estágio 1: Alinhamento do Projetor

  • O codificador e o LLM estão congelados; apenas o projetor é treinado.
  • Dados: CoVoST 2 e EuroParlST para tarefas de ASR e ST.
  • Configurações: Duas variantes são exploradas:
    • A.1: Foca em ASR e ST (EN→DE, IT, ZH).
    • A.2: Adiciona LibriSQA para tarefas de SQA.
  • Hiperparâmetros: 4 épocas, taxa de aprendizado constante ($1\times10^{-4}$), otimizador AdamW.

• Estágio 2: Pré-treinamento LoRA Apenas de Texto

  • O projetor está congelado; o LLM é adaptado via LoRA sem entrada de áudio.
  • Dados: Transcrições traduzidas por máquina de CoVoST 2/EuroParlST (60%) e LibriSQA (40%).
  • Ablação: Três configurações de LoRA (V1, V2, V3) são testadas variando o rank ($r$), $\alpha$, taxa de aprendizado e seleção de camada (attn+FF vs. all-linear).
    • V1: $r=8, \alpha=16, lr=3\times10^{-4}$ (attn+FF).
    • V2: $r=16, \alpha=32, lr=1\times10^{-5}$ (all-linear, decaimento de cosseno).
    • V3: $r=32, \alpha=64, lr=2\times10^{-4}$ (all-linear, decaimento de cosseno).

• Estágio 3: Fusão Multimodal

  • Tanto o projetor do Estágio 1 quanto os adaptadores LoRA selecionados do Estágio 2 são ajustados conjuntamente; o codificador permanece congelado.
  • Dados: Uma mistura equilibrada de ASR, ST, SQA (EN e multilíngue), Sumarização de Fala-para-Texto (NUTSHELL) e Detecção de Capítulos de Áudio (YTSeg).
  • Estratégia: Para evitar o esquecimento catastrófico, cada lote de fala é imediatamente seguido por um lote de texto puro correspondente.
  • Hiperparâmetros: 2 épocas em 4×H100 GPUs. O projetor usa $lr=1\times10^{-5}$ constante; o LoRA usa decaimento de cosseno $lr=3\times10^{-4}$.

Construção de Dados Sintéticos

Para apoiar o ajuste fino do Estágio 3, os autores construíram 100k exemplos sintéticos de seguimento de instrução (10k por tarefa) usando modelos Gemma de pesos abertos:

• Tarefas Baseadas em Texto (T1–T7): Geradas a partir de transcrições de referência usando Gemma-4-31B. As tarefas incluem extração de palavras-chave, Reconhecimento de Entidade Nomeada (NER), sumarização de ideia central (EN, DE, ZH), rotulagem de tópicos e QA numérico.
• Tarefas Baseadas em Áudio (T8–T10): Geradas diretamente do áudio usando Gemma-4-E4B-it. As tarefas envolvem a descrição do estilo vocal, tom e entrega em EN, DE e ZH.

Principais Resultados

Avaliação Principal (Benchmark MCIF)

Avaliado na trilha de áudio curta e restrita da Tarefa Compartilhada IWSLT 2026:

• Tradução de Fala (ST): O modelo do Estágio 3 (Projetor A.1 + LoRA V1) alcançou uma pontuação COMET de 0.781 para EN–ZH, superando o SeamlessM4T-v2-large base (0.638) e as linhas de base de apenas projetor do Estágio 1.
• Resposta a Perguntas Faladas (SQA): O modelo alcançou um BERTScore-F1 de 0.346 no SQA em inglês, uma melhoria significativa sobre o modelo base (0.153) e o Estágio 1 A.1 (0.186).
• ASR: Embora o Estágio 1 A.2 tenha mostrado uma Taxa de Erro de Palavras (WER) degradada em comparação ao modelo base, o Estágio 3 recuperou o desempenho para 23.49 WER, superando o modelo base de 21.49, mas permanecendo competitivo dentro do contexto do pipeline.

Estudos de Ablação

• Configuração LoRA: Na avaliação de texto apenas do Estágio 2, o V1 (rank 8) produziu os melhores escores de F1 de SQA (0.652) em comparação com V2 (0.650) e V3 (0.600), apesar de V3 ter alcançado pontuações de BLEU de Tradução Automática mais altas. Consequentemente, o V1 foi selecionado para a fusão final do Estágio 3.
• Impacto dos Dados: A incorporação de dados de SQA no Estágio 1 (A.2) impulsionou o desempenho de SQA em inglês, mas degradou as métricas de ASR, destacando um compromisso (trade-off) gerenciado pelo ajuste fino conjunto final do Estágio 3.

Significância e Contribuições

O artigo reivindica as seguintes contribuições:

1. Reprodução de Código Aberto: Fornece a primeira reimplementação de código aberto do pipeline de seguimento de instruções da NAVER LABS, adaptada especificamente para as restrições do IWSLT 2026 (SeamlessM4T-v2-large e Qwen3-4B-Instruct).
2. Dataset Sintético: O lançamento de 100k exemplos de seguimento de instrução sintética através de dez tipos de tarefas centradas em fala, projetados para facilitar o ajuste fino futuro e pesquisas adicionais.
3. Validação Empírica: O estudo valida que a abordagem de três estágios (alinhamento de projetor, pré-treinamento LoRA apenas de texto, fusão multimodal) permanece eficaz ao transitar para novos backbones de modelo, alcançando um forte desempenho em tradução EN–ZH e SQA em inglês.
4. Utilidade Futura: Os autores sugerem que os dados liberados servem como base para um ajuste fino do Estágio 3 mais rico ou abordagens futuras de aprendizado por reforço usando recompensas específicas de tarefas e critérios de LLM-as-judge.

Limitações

Os autores reconhecem várias restrições:

• Duração do Áudio: Áudios com mais de 15 segundos foram excluídos devido a limitações de memória da GPU, o que pode afetar o desempenho em enunciados mais longos.
• SQA Multilíngue: O SQA cross-lingual depende de pares de QA traduzidos por máquina, o que pode introduzir ruído.
• Escopo de Avaliação: Os resultados de ablação do Estágio 2 baseiam-se em subconjuntos apenas de texto e não são diretamente comparáveis aos resultados completos do benchmark MCIF.