OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion

Resumen Técnico: OmniFusion

1. El Problema

El campo de la traducción automática ha visto avances significativos con los Modelos de Lenguaje (LLMs) de código abierto, los cuales ofrecen una cobertura multilingüe y calidad de traducción superiores. Sin embargo, estos modelos suelen ser unimodales (basados solo en texto), lo que limita su aplicabilidad en escenarios multimodales como la traducción de voz (ST) o la traducción de subtítulos.

Las limitaciones actuales se dividen en dos enfoques principales:

• Cadenas en Cascada (Pipelines): En la traducción de voz simultánea (SimulST), los sistemas actuales suelen encadenar un modelo de Reconocimiento Automático de Voz (ASR) seguido de un modelo de Traducción Automática (MT). Esto introduce latencia adicional (especialmente crítica en tiempo real) y evita que el modelo de traducción utilice el contexto visual (como diapositivas o imágenes) para desambiguar el significado.
• Modelos Fundacionales Multimodales (MMFMs): Aunque estos modelos tienen una fuerte percepción y razonamiento cruzado entre modalidades, carecen de la profundidad multilingüe y el rendimiento de traducción especializado de los LLMs dedicados a la traducción.

Existe una necesidad urgente de un sistema unificado que combine la eficiencia y la calidad de los LLMs de traducción con la capacidad perceptiva de los MMFMs, reduciendo la latencia y mejorando la precisión mediante el uso de contexto visual.

2. Metodología: Arquitectura OmniFusion

Los autores proponen OmniFusion, una arquitectura unificada de extremo a extremo (E2E) que fusiona un MMFM preentrenado con un LLM especializado en traducción mediante un módulo de fusión con puerta (gated fusion).

• Componentes Base:
  • MMFM: Se utiliza Qwen2.5-Omni-7B para procesar entradas de audio e imágenes, extrayendo representaciones perceptuales.
  • LLM de Traducción: Se utiliza Seed-X-PPO-7B como el motor principal de generación multilingüe.
• Módulo de Fusión con Puerta (Gated Fusion):
  • En lugar de concatenar todas las capas del MMFM (lo que triplicaría la longitud de la secuencia), el modelo selecciona representaciones de tres capas específicas del MMFM: la primera, la media y la última.
  • Un mecanismo de puerta (gating) calcula dinámicamente los pesos de estas tres representaciones para cada token, sumándolas y proyectándolas mediante una capa MLP para alinearlas con la dimensión de incrustación del LLM de traducción.
  • Esto permite una integración eficiente de información multimodal sin sobrecargar computacionalmente el modelo.
• Estrategia de Entrenamiento (Multi-tarea y Auto-encadenamiento):
  • El modelo se entrena simultáneamente en tres tareas: Traducción de Voz (ST), Traducción de Voz e Imagen (SIT) y Traducción de Texto e Imagen (TIT).
  • Se introduce una técnica de Auto-encadenamiento (Self-Cascading): durante el entrenamiento, el modelo genera intermedios como transcripciones ASR o texto OCR antes de producir la traducción final. Esto alinea las representaciones de audio e imagen con el espacio semántico del LLM.
  • Se utiliza LoRA (Low-Rank Adaptation) para afinar el LLM de traducción, mientras que el MMFM se mantiene congelado para evitar el olvido catastrófico y reducir costos computacionales.

3. Contribuciones Clave

1. Arquitectura Unificada E2E: Presentación de OmniFusion, un modelo que soporta simultáneamente traducción de voz, voz+imagen y texto+imagen dentro de una sola arquitectura, eliminando la necesidad de pipelines en cascada.
2. Mecanismo de Fusión Eficiente: Introducción de una arquitectura de fusión con puerta que integra selectivamente capas de un MMFM en un LLM, permitiendo un entrenamiento y una inferencia eficientes para traducciones conscientes del contexto.
3. Validación Empírica: Demostración de que OmniFusion reduce la latencia en la traducción simultánea (SimulST) en aproximadamente 1 segundo en comparación con los sistemas en cascada, manteniendo una calidad competitiva y reduciendo errores críticos.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos como MCIF (para traducción simultánea), CoMMuTE (para traducción de subtítulos con imágenes) y FLEURS.

• Traducción de Voz Simultánea (SimulST):
  • OmniFusion logra una reducción de latencia de ~1 segundo frente a los sistemas en cascada (ASR + MT) en todos los tamaños de fragmentos probados.
  • Cuando se proporciona contexto visual (imágenes), el modelo E2E aprovecha mejor esta información, logrando tanto la menor latencia como la mayor calidad, permitiendo compromisos de salida más estables y tempranos.
• Traducción de Voz Offline:
  • Aunque los sistemas en cascada afinados con LoRA obtienen puntuaciones de calidad (XCOMET-XL) ligeramente superiores en condiciones ideales, OmniFusion con inferencia de auto-encadenamiento cierra casi por completo esa brecha (86.57 vs 86.59).
  • Análisis de Errores: OmniFusion produce significativamente menos errores mayores y críticos que los sistemas en cascada, lo que indica una mayor robustez.
• Traducción Texto-Imagen (TIT):
  • En el benchmark CoMMuTE, OmniFusion alcanza resultados de vanguardia (SOTA), superando o igualando a modelos multimodales especializados como TowerVision y ZeroMMT, demostrando una excelente capacidad de desambiguación visual.
• Análisis de Capas:
  • El estudio de ablación revela que las capas primera y media del MMFM son las que aportan la mayor información transferible para la traducción multimodal, mientras que la última capa contribuye marginalmente.

5. Significado e Impacto

OmniFusion representa un avance significativo en la integración de modalidades para la traducción automática. Su principal contribución es demostrar que es posible combinar la percepción multimodal de los modelos fundacionales con la profundidad lingüística de los LLMs de traducción especializados sin incurrir en la latencia excesiva de los pipelines tradicionales.

• Eficiencia Operativa: Al eliminar la latencia de espera entre el ASR y la MT, habilita aplicaciones de traducción simultánea más fluidas y naturales.
• Calidad Contextual: La capacidad de utilizar imágenes (como diapositivas de conferencias) para desambiguar términos (ej. distinguir entre "salida" de vehículo vs. "salida" de persona) mejora drásticamente la precisión en escenarios del mundo real.
• Escalabilidad: La arquitectura modular y el uso de LoRA sugieren que este enfoque es escalable y eficiente en términos de recursos, ofreciendo una alternativa viable a los modelos entrenados desde cero que requieren cantidades masivas de datos.

En conclusión, OmniFusion establece un nuevo paradigma para la traducción multimodal multilingüe, equilibrando calidad, latencia y aprovechamiento del contexto visual en un único modelo unificado.