Resumen Técnico: Reimplementación del Sistema NAVER LABS para la Tarea de Seguimiento de Instrucciones de IWSLT 2026

Declaración del Problema

El artículo aborda el desafío de desarrollar modelos de lenguaje de gran tamaño (LLM) multimodales unificados capaces de seguir instrucciones en diversas tareas, incluyendo el Reconocimiento Automático del Habla (ASR), la Traducción de Voz (ST) multilingüe y la Respuesta de Preguntas Orales (SQA). Si bien sistemas anteriores como la entrega de NAVER LABS 2025 (Lee et al., 2025) demostraron un rendimiento competitivo, no fueron liberados públicamente. Además, la Tarea Compartida IWSLT 2026 introduce restricciones específicas que requieren el uso de SeamlessM4T-v2-large como codificador de voz y Qwen3-4B-Instruct como esqueleto (backbone) del LLM, reemplazando los componentes utilizados en la iteración de 2025 (LLaMA-3.1-8B). El objetivo es proporcionar la primera reimplementación de código abierto de este flujo de trabajo adaptado a estas nuevas restricciones y mejorar el rendimiento mediante la generación de datos sintéticos y el estudio de ablación de hiperparámetros.

Metodología

Arquitectura

El sistema sigue un flujo de entrenamiento de tres etapas, acoplando un codificador de voz congelado con un LLM ajustado por instrucciones mediante un conector ligero:

1. Codificador de Voz: Un codificador SeamlessM4T-v2-large congelado produce representaciones de fotogramas de 1024 dimensiones.
2. Proyector: Un módulo entrenable reduce la frecuencia de los fotogramas por un factor de 3 mediante promediado, los procesa a través de un codificador Transformer de 4 capas y proyecta la salida al tamaño oculto del LLM.
3. Esqueleto del LLM (Backbone): Un modelo Qwen3-4B-Instruct adaptado con LoRA (Adaptación de Bajo Rango). Las incrustaciones (embeddings) de voz se anteponen en un marcador de posición <|speech|>.

Flujo de Entrenamiento

El proceso de entrenamiento se divide en tres etapas distintas:

• Etapa 1: Alineación del Proyector

  • El codificador y el LLM están congelados; solo se entrena el proyector.
  • Datos: CoVoST 2 y EuroParlST para las tareas de ASR y ST.
  • Configuraciones: Se exploran dos variantes:
    • A.1: Se enfoca en ASR y ST (EN→DE, IT, ZH).
    • A.2: Añade LibriSQA para tareas de SQA.
  • Hiperparámetros: 4 épocas, tasa de aprendizaje constante ($1\times10^{-4}$), optimizador AdamW.

• Etapa 2: Pre-entrenamiento de Solo Texto con LoRA

  • El proyector está congelado; el LLM se adapta mediante LoRA sin entrada de audio.
  • Datos: Transcripciones traducidas por máquina de CoVoST 2/EuroParlST (60%) y LibriSQA (40%).
  • Ablación: Se prueban tres configuraciones de LoRA (V1, V2, V3) variando el rango ($r$), $\alpha$, la tasa de aprendizaje y la selección de capas (attn+FF vs. all-linear).
    • V1: $r=8, \alpha=16, lr=3\times10^{-4}$ (attn+FF).
    • V2: $r=16, \alpha=32, lr=1\times10^{-5}$ (all-linear, decaimiento de coseno).
    • V3: $r=32, \alpha=64, lr=2\times10^{-4}$ (all-linear, decaimiento de coseno).

• Etapa 3: Fusión Multimodal

  • Se ajustan conjuntamente tanto el proyector de la Etapa 1 como los adaptadores LoRA seleccionados de la Etapa 2; el codificador permanece congelado.
  • Datos: Una mezcla equilibrada de ASR, ST, SQA (EN y multilingüe), Resumen de Voz a Texto (NUTSHELL) y Detección de Capítulos de Audio (YTSeg).
  • Estrategia: Para evitar el olvido catastrófico, cada lote (batch) de voz es seguido inmediatamente por un lote emparejado de solo texto.
  • Hiperparámetros: 2 épocas en 4×H100 GPUs. El proyector usa $lr$ constante de $1\times10^{-5}$; LoRA usa decaimiento de coseno $lr=3\times10^{-4}$.

Construcción de Datos Sintéticos

Para apoyar el ajuste fino de la Etapa 3, los autores construyeron 100k ejemplos sintéticos de seguimiento de instrucciones (10k por tarea) utilizando modelos Gemma de pesos abiertos:

• Tareas Basadas en Texto (T1–T7): Generadas a partir de transcripciones de referencia usando Gemma-4-31B. Las tareas incluyen extracción de palabras clave, Reconocimiento de Entidades Nombradas (NER), resumen de esencia (gist) (EN, DE, ZH), etiquetado de temas y QA numérico.
• Tareas Basadas en Audio (T8–T10): Generadas directamente a partir de audio usando Gemma-4-E4B-it. Las tareas involucran la descripción del estilo vocal, tono y entrega en EN, DE y ZH.

Resultados Clave

Evaluación Principal (Benchmark MCIF)

Evaluado en la pista de audio corta y restringida de la Tarea Compartida IWSLT 2026:

• Traducción de Voz (ST): El modelo de la Etapa 3 (Proyector A.1 + LoRA V1) logró una puntuación COMET de 0.781 para EN–ZH, superando al base SeamlessM4T-v2-large (0.638) y a las líneas base de solo proyector de la Etapa 1.
• Respuesta de Preguntas Orales (SQA): El modelo logró un BERTScore-F1 de 0.346 en SQA en inglés, una mejora significativa sobre el modelo base (0.153) y la Etapa 1 A.1 (0.186).
• ASR: Aunque la Etapa 1 A.2 mostró un error de palabra (WER) degradado en comparación con el modelo base, la Etapa 3 recuperó el rendimiento a 23.49 WER, superando al modelo base de 21.49 pero manteniéndose competitiva dentro del contexto del flujo de trabajo.

Estudios de Ablación

• Configuración de LoRA: En la evaluación de solo texto de la Etapa 2, V1 (rango 8) produjo los mejores puntajes de F1 de SQA (0.652) en comparación con V2 (0.650) y V3 (0.600), a pesar de que V3 logró puntuaciones de BLEU de traducción automática más altas. Por consiguiente, se seleccionó V1 para la fusión final de la Etapa 3.
• Impacto de los Datos: La incorporación de datos de SQA en la Etapa 1 (A.2) aumentó el rendimiento de SQA en inglés pero degradó las métricas de ASR, resaltando un compromiso (trade-off) gestionado por el ajuste fino conjunto de la Etapa 3.

Significancia y Contribuciones

El artículo afirma las siguientes contribuciones:

1. Reproducción de Código Abierto: Proporciona la primera reimplementación de código abierto del flujo de trabajo de seguimiento de instrucciones de NAVER LABS, adaptada específicamente para las restricciones de IWSLT 2026 (SeamlessM4T-v2-large y Qwen3-4B-Instruct).
2. Conjunto de Datos Sintético: El lanzamiento de 100k ejemplos sintéticos de seguimiento de instrucciones a través de diez tipos de tareas centradas en el habla, diseñados para facilitar el ajuste fino posterior y la investigación futura.
3. Validación Empírica: El estudio valida que el enfoque de tres etapas (alineación del proyector, pre-entrenamiento de solo texto con LoRA, fusión multimodal) sigue siendo efectivo al transicionar a nuevos esqueletos de modelo, logrando un sólido rendimiento en la traducción EN–ZH y SQA en inglés.
4. Utilidad Futura: Los autores sugieren que los datos liberados sirven como base para un ajuste fino de la Etapa 3 más rico o futuros enfoques de aprendizaje por refuerzo utilizando recompensas específicas de la tarea y criterios de LLM-como-juez.

Limitaciones

Los autores reconocen varias restricciones:

• Longitud de Audio: Se excluyeron audios de más de 15 segundos debido a limitaciones de memoria de la GPU, lo que podría afectar el rendimiento en enunciados más largos.
• SQA Multilingüe: El SQA translingüe depende de pares de preguntas y respuestas traducidos por máquina, lo que puede introducir ruido.
• Alcance de la Evaluación: Los resultados de la ablación de la Etapa 2 se basan en subconjuntos de solo texto y no son directamente comparables con los resultados completos del benchmark MCIF.