NAVER LABS Europe Submission to the Instruction-following 2026 Short Track

Resumen Técnico: Envío de NAVER LABS Europe al Short Track de Instruction-following 2026

Planteamiento del Problema
Este artículo aborda los desafíos del IWSLT 2026 Instruction-following Speech Processing Short Track bajo un entorno restringido. El objetivo es desarrollar un sistema unificado capaz de realizar conjuntamente el Reconocimiento Automático del Habla (ASR), la Traducción de Voz (ST) y la Respuesta a Preguntas Habladas (SQA) desde una entrada de voz en inglés hacia el chino, italiano y alemán. Una restricción clave es la dependencia de modelos fundacionales específicos: el codificador de voz SeamlessM4T-v2-large y el Modelo de Lenguaje Grande (LLM) Qwen3-4B-Instruct-2507. El sistema también debe manejar una tarea de seguimiento de instrucciones "sorpresa" revelada solo en el momento de la prueba. Los autores señalan que el LLM base elegido (Qwen3-4B) es significativamente más pequeño y débil que los modelos utilizados en años anteriores, lo que presenta el desafío de mantener el rendimiento mientras se reducen el tamaño del modelo y los requisitos computacionales.

Metodología
Los autores proponen un pipeline de entrenamiento de múltiples etapas (ilustrado en la Figura 1) que entrena los componentes en paralelo antes de integrarlos:

1. Proyector de Voz (SpeechMapper): En lugar de un proyector estándar basado en transformadores, el equipo emplea un SpeechMapper actualizado. Este módulo mapea las representaciones de voz promediadas del codificador SeamlessM4T-v2-large al espacio de embeddings del LLM congelado.

   • Objetivo de Entrenamiento: El proyector se entrena utilizando datos de ASR con una función de pérdida compuesta que comprende:
     • Pérdida de Alineación L1: Distancia elemento a elemento entre los embeddings de voz y texto.
     • Pérdida de Similitud de Coseno: Alineación angular en el espacio de embeddings.
     • Pérdida Contrastiva Softmax: Separación de los tokens no objetivo.
     • Pérdida CTC: Añadida en una capa intermedia para estabilizar el entrenamiento.
   • Eficiencia: Este enfoque requiere solo el tokenizador y la capa de embedding del LLM, evitando las pasadas completas (forward passes) del LLM durante el entrenamiento del proyector, reduciendo así la memoria de la GPU y los costos computacionales.

2. Adaptadores de Texto LoRA: Paralelamente al entrenamiento del proyector, se entrenan pesos de Adaptación de Bajo Rango (LoRA) en datos de texto a texto (Traducción Automática y Respuesta a Preguntas) utilizando el mismo LLM base congelado.

3. Adaptación Multimodal: El SpeechMapper y los adaptadores LoRA entrenados se recargan y se ajustan conjuntamente mediante fine-tuning sobre una mezcla de tareas de voz y texto. El pipeline utiliza un formato de prompt específico donde las instrucciones se formulan como preguntas en el idioma objetivo para reducir la confusión de tareas (ASR vs. ST) y mejorar la generalización.

4. Estrategia de Datos:

   • Datos Sintéticos (fakACL): Para cerrar la brecha de dominio entre los datos de entrenamiento y el conjunto de evaluación (presentaciones científicas), los autores generaron fakACL, un conjunto de datos sintéticos de charlas científicas. Esto se creó mediante el uso de prompts al LLM para generar guiones de presentaciones, segmentarlos, sintetizar la voz vía SeamlessM4T-v2-large TTS y generar los pares de QA asociados.
   • Aumento de Datos: Los conjuntos de datos existentes (CoVoST2, EuroParlST, GigaST, LibriSQA) fueron procesados con modificaciones específicas, incluyendo la expansión de respuestas de opción múltiple (MCQ) (para incluir el texto completo de la opción en lugar de solo las letras) y la creación de divisiones "inválidas" utilizando métodos basados en similitud y en LLM para mejorar la robustez.

Contribuciones Clave

• Integración de SpeechMapper: El reemplazo del anterior proyector basado en transformadores por el SpeechMapper, que permite aprender los embeddings de voz a LLM sin requerir pasadas completas del LLM, reduciendo significativamente los requisitos de hardware.
• Datos Sintéticos Específicos de Dominio: La introducción del conjunto de datos fakACL, que alinea la distribución de entrenamiento con el dominio de evaluación (presentaciones científicas), abordando un desajuste conocido en iteraciones anteriores.
• Arquitectura Eficiente: El desarrollo de un sistema que supera al mejor envío del año anterior mientras depende de un LLM base sustancialmente más débil (menor conteo de parámetros) y siendo más compacto.

Resultados
El sistema fue evaluado en ASR (WER), ST/MT (COMET) y SQA/QA (precisión de LLM-as-a-judge).

• Rendimiento: El sistema multimodal final (Configuración 1) logró resultados empatados en el primer lugar en la clasificación general del short track.
• Análisis Comparativo: A pesar de usar el backbone más pequeño Qwen3-4B, el sistema igualó o superó el rendimiento del mejor sistema del año pasado (BEST-IWSLT25-IF) que utilizaba un backbone más grande.
• Compromisos (Trade-offs): Los autores observaron un compromiso entre el rendimiento de ASR/ST y el de SQA. La Configuración 1 priorizó SQA (logrando 0.428 en MCIF SQA), mientras que la Configuración 2 mostró resultados de ASR/ST más fuertes. El envío final priorizó SQA como el criterio principal.
• Observaciones de la Línea Base: El backbone de solo texto Qwen3-4B se desempeñó significativamente peor que SeamlessM4T-v2-large o Llama-3.1-8B en entornos zero-shot, particularmente para el italiano, lo que motivó el uso intensivo de fine-tuning LoRA y el up-sampling de datos sintéticos.

Significancia y Reivindicaciones
El artículo afirma que la combinación de un mecanismo de proyección de voz mejorado (SpeechMapper) y datos sintéticos específicos de dominio (fakACL) permite que un modelo con un LLM más débil supere al sistema de vanguardia del año anterior en el short track restringido. Los autores enfatizan que su enfoque es "considerablemente más compacto" y depende de menos recursos computacionales durante la fase de entrenamiento del proyector. El trabajo demuestra que el seguimiento de instrucciones efectivo en el procesamiento del habla puede lograrse sin backbones de LLM masivos si la alineación de voz a texto y la adaptación de dominio se manejan eficientemente. El sistema maneja con éxito la tarea sorpresa y los requisitos multilingües, validando la robustez del pipeline.