Resumen Técnico: La Propuesta de KIT para IWSLT 2026 sobre Seguimiento de Instrucciones de Habla de Larga Duración

Planteamiento del Problema

El artículo aborda la brecha significativa en los modelos de lenguaje de voz (SLM) actuales con respecto al procesamiento efectivo de audio de larga duración (hasta 15 minutos). Aunque las arquitecturas recientes han integrado codificadores de audio preentrenados con modelos de lenguaje extensos (LLM) o han desarrollado modelos fundacionales multimodales reales, la mayoría dependen de codificadores como Whisper que soportan de forma nativa solo inferencias de 30 segundos. Los modelos más nuevos (por ejemplo, Phi-4, Qwen2.5-Omni) eliminan las restricciones arquitectónicas pero carecen de exposición al audio de larga duración durante el entrenamiento, lo que provoca una degradación del rendimiento incluso en tareas básicas de Reconocimiento Automático del Habla (ASR).

Además, la pista de Seguimiento de Instrucciones de IWSLT 2026 introdujo una "tarea sorpresa" y requisitos de larga duración, desafiando a los modelos a generalizar sin sobreajustarse a tareas conocidas o enunciados cortos. Los conjuntos de datos existentes son predominantemente de corta duración (<30 segundos), lo que crea una escasez de datos para el seguimiento de instrucciones de larga duración en múltiples idiomas (alemán, inglés, italiano, chino) y tareas (ASR, Traducción de Voz, SQA [Preguntas y Respuestas sobre el Habla], Resumen, Capitulado de Audio).

Metodología

1. Marco de Aumento de Datos

Para cerrar la brecha entre los corpus de corta duración y los requisitos de larga duración, KIT empleó un flujo de trabajo de aumento de tres etapas que produjo más de 1 millón de instancias de entrenamiento a través de seis tareas y cuatro idiomas:

• Concatenación de Segmentos: Los enunciados cortos se agruparon por hablante y sesión para construir audio de larga duración (hasta 15 minutos). Las fuentes incluyeron YTSeg, NUTSHELL (charlas de ACL), EuroParl y LibriSpeech.
• Generación de Etiquetas Basada en LLM: Los modelos como gemma-3-12b-it y Qwen3.5-27B generaron etiquetas de tareas, preguntas y resúmenes para los conjuntos de datos que carecían de anotaciones específicas de la tarea (por ejemplo, NUTSHELL para ASR o SQA).
• Traducción Multilingüe: Las referencias de solo inglés fueron traducidas al alemán, italiano y chino utilizando translategemma-12b-it, seleccionado por su calidad superior de traducción sin referencia.
• Preprocesamiento: Se aplicó normalización de texto (eliminación de metadatos no léxicos), truecasing y restauración de puntuación utilizando el modelo basado en BERT de NVIDIA NeMo.

2. Arquitecturas de Modelos

La propuesta evaluó dos sistemas distintos:

• Extremo a Extremo (Primario): Basado en Qwen2.5-Omni-7B, entrenado con LLamaFactory. Este modelo procesa audio y prompts de texto de forma conjunta.
• Cascada (Contrastivo): Un flujo de trabajo de dos etapas que utiliza parakeet-tdi-0.6b-v2 para ASR seguido de Qwen2.5-7B-Instruct para el seguimiento de instrucciones basado en texto. El campo de audio fue reemplazado con un prefijo de transcripción para simular una entrada de solo texto para la segunda etapa.

3. Estrategias de Entrenamiento

• Intercalado de Datos: Para abordar el desequilibrio de clases (por ejemplo, SQA que comprende ~45% de los datos), los autores compararon el muestreo de probabilidad fija frente al muestreo escalado por temperatura. Encontraron que T=2 (muestreo proporcional a la raíz cuadrada del tamaño del conjunto de datos) es la estrategia óptima para el seguimiento de instrucciones de voz multimodal, equilibrando mejor la representación de las tareas que las heurísticas fijas.
• Ingeniería de Prompts: Se utilizó un prompt de sistema fijo para la consistencia global, mientras que las instrucciones específicas de la tarea variaron para evitar la memorización de plantillas.
• Condicionamiento de Cadena de Pensamiento (CoT): Los autores experimentaron con tokens de tarea (por ejemplo, <|asr|>, <|ssum|>) para guiar el enrutamiento de tareas, pero observaron un colapso en la discriminación de tareas, donde el modelo cae por defecto en la tarea de Resumen de Voz estructuralmente similar.

4. Estrategia de Re-clasificación (Re-Ranking)

Un componente crítico de la metodología fue abordar la restricción de "identidad de tarea desconocida" en el tiempo de inferencia. Los autores generaron 17 candidatos por segmento (codicioso, segmentado y muestreado) y evaluaron seis estrategias de re-clasificación.

• Modo de Fallo Identificado: Se encontró que la re-clasificación basada en la verosimilitud (likelihood) degrada sistemáticamente las tareas semánticas (SQA, Resumen) al seleccionar erróneamente candidatos generados mediante el procesamiento de audio segmentado (SHAS) en lugar de una inferencia holística.
• Solución Propuesta: Una estrategia combinada de Verosimilitud + Riesgo de Bayes Mínimo (MBR). El MBR actuó como un regularizador, suprimiendo las selecciones espurias impulsadas por la verosimilitud mientras retenía los beneficios para el ASR. Este enfoque híbrido se aplicó solo a las pistas de inglés y chino, donde produjo mejoras consistentes.

Resultados Clave

Rendimiento en la Pista Larga de MCIF

• Extremo a Extremo vs. Cascada: El sistema en cascada destacó en ASR (5.88% WER) y Traducción de Voz (80.81% COMET), pero se quedó atrás en tareas semánticas (SQA, Resumen) debido a la propagación de errores. El sistema extremo a extremo superó al enfoque de cascada en tareas semánticas, pero tuvo dificultades con el ASR puro en audio de larga duración sin un ajuste fino específico.
• Impacto del Ajuste Fino: El muestreo escalado por temperatura (T=2) superó consistentemente al muestreo de probabilidad fija. La adaptación al dominio en NUTSHELL (charlas científicas) y los datos específicos de italiano mejoraron aún más el rendimiento.
• Fallo de CoT: El enfoque de condicionamiento por token de tarea resultó en una degradación severa (por ejemplo, 79.24% WER para ASR) debido a la incapacidad del modelo para distinguir entre tareas similares, colapsando en un comportamiento de respaldo único.

Resultados de la Re-clasificación

• Verosimilitud + MBR: Esta estrategia combinada logró el mejor equilibrio general. Retuvo mejoras significativas en ASR (reduciendo el WER en ~19 puntos en comparación con el método codicioso/greedy) mientras minimizaba la degradación en SQA y Resumen.
• Sesgo Posicional: Los métodos de re-clasificación por pares secuenciales exhibieron un fuerte sesgo posicional (prefiriendo el primer candidato), lo cual los métodos Round-Robin y Bracket mitigaron pero no resolvieron completamente sin el regularizador MBR.

Resultados Oficiales de IWSLT 2026

• Pista Larga: El sistema contrastivo (en cascada) logró los mejores resultados en Traducción de Voz, Estimación de Calidad (QE) y la tarea sorpresa, y ASR. El sistema primario (extremo a extremo) funcionó mejor en SQA, Resumen y Capitulado de Audio.
• Pista Corta: El sistema primario logró los mejores resultados en ST, SQA y ASR.
• Estimación de Calidad (QE): Surgió una disparidad notable donde la entrega primaria (basada en audio) alcanzó una precisión de QE de 0.0, mientras que la entrega en cascada (basada en transcripción) alcanzó 0.722, resaltando la dificultad de los flujos de trabajo basados en audio en tareas de QE no vistas.

Significancia y Reivindicaciones

El artículo reivindica cinco contribuciones primarias al campo del seguimiento de instrucciones de habla de larga duración:

1. Marco de Datos: Un flujo de trabajo reproducible para convertir corpus de corta duración en más de 1 millón de instancias de larga duración, demostrando que los recursos existentes pueden ser reutilizados mediante concatenación y normalización.
2. Estrategia de Muestreo: Evidencia empírica de que el muestreo escalado por temperatura (T=2) es un valor por defecto robusto para equilibrar las tareas de voz multimodales, extendiendo los hallazgos previos de solo texto a la voz.
3. Resultado Negativo sobre CoT: Una demostración de que el enrutamiento de tareas basado en prefijos falla bajo condiciones de similitud de tareas y desequilibrio, llevando a un colapso en la discriminación de tareas en lugar de una mejora en el rendimiento.
4. Análisis de Re-clasificación: La identificación de un modo de fallo específico donde la re-clasificación basada en la verosimilitud perjudica las tareas semánticas al favorecer candidatos segmentados, y la propuesta de un híbrido de Verosimilitud + MBR para resolver el compromiso entre ASR y semántica.
5. Comparación de Sistemas: Una evaluación sistemática que muestra que, si bien los sistemas en cascada sobresalen en tareas intensivas de transcripción, los modelos extremo a extremo son superiores para el razonamiento semántico, sin que ninguno de los dos enfoques domine consistentemente en todas las tareas.

Los autores concluyen que su código de aumento de datos y sus puntos de control de modelos se liberan para apoyar la investigación futura, enfatizando que el procesamiento efectivo de larga duración requiere un equilibrio cuidadoso entre la distribución de datos, el enrutamiento de tareas y las estrategias de selección de candidatos.