OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion

1. Il Problema

L'articolo affronta le limitazioni attuali nei sistemi di traduzione automatica, in particolare nel contesto della traduzione simultanea (SimulST) e della traduzione multimodale (che combina audio, testo e immagini).

• Limiti dei Modelli LLM puri: I Large Language Models (LLM) open-source specializzati nella traduzione hanno eccellenti capacità multilingue, ma la loro architettura unimodale (solo testo) li rende inadatti a gestire contesti visivi o audio direttamente. Nei sistemi di traduzione vocale (ST), vengono spesso utilizzati pipeline a cascata (Riconoscimento Vocale Automatico - ASR + Traduzione), che introducono latenza aggiuntiva e impediscono l'uso del contesto visivo per la disambiguazione.
• Limiti dei Modelli Multimodali (MMFM): I modelli fondazione multimodali pre-addestrati (come Qwen-Omni) possiedono forti capacità di percezione e ragionamento cross-modale, ma mancano della profondità linguistica e delle prestazioni di traduzione specifiche dei LLM specializzati, offrendo una copertura linguistica limitata e una qualità di traduzione inferiore.
• Sfida della Simultaneità: L'approccio a cascata è particolarmente inefficiente per la traduzione simultanea, poiché l'output non può iniziare finché l'ASR non ha completato la trascrizione, aumentando la latenza.

2. Metodologia: OmniFusion

Gli autori propongono OmniFusion, un'architettura unificata End-to-End (E2E) che fonde un Modello Fondamentale Multimodale (MMFM) con un LLM specializzato nella traduzione tramite un modulo di fusione leggero.

• Architettura Ibrida:

  • MMFM: Utilizzato come estrattore di rappresentazioni percettive (Qwen2.5-Omni-7B). Gestisce input audio e immagini.
  • Translation LLM: Utilizzato per la comprensione e la generazione multilingue (Seed-X-PPO-7B).
  • Modulo di Fusione a Gate (Gated Fusion): Invece di concatenare semplicemente le rappresentazioni, il sistema estrae stati nascosti specifici dagli strati dell'MMFM (primo, medio e ultimo) e li integra nell'LLM di traduzione. Un layer di "gate" calcola pesi dinamici per combinare selettivamente questi strati, proiettandoli poi nella dimensione di embedding dell'LLM tramite un MLP. Questo evita l'aumento eccessivo della lunghezza della sequenza e permette un adattamento efficiente.

• Strategia di Addestramento:

  • Multi-task Learning: Il modello viene addestrato simultaneamente su tre compiti principali: Traduzione Vocale (ST), Traduzione Vocale-Immagine (SIT) e Traduzione Testo-Immagine (TIT).
  • Self-Cascading (Auto-cascata): Per migliorare l'allineamento semantico, il modello viene addestrato a generare intermadiamente trascrizioni ASR o testi OCR prima della traduzione finale. Questo crea un ponte esplicito tra le rappresentazioni audio/visive e lo spazio semantico dell'LLM.
  • Congelamento e LoRA: L'MMFM viene congelato per preservare le capacità multimodali pre-addestrate, mentre l'LLM di traduzione viene fine-tunato utilizzando LoRA (Low-Rank Adaptation) per ridurre i costi computazionali ed evitare il "catastrophic forgetting".

• Inferenza:

  • Supporta modalità di inferenza sia diretta che con self-cascading (per una qualità superiore a scapito di una latenza leggermente maggiore).
  • Utilizza la politica Local Agreement per la traduzione simultanea, che conferma l'output quando c'è un accordo tra ipotesi consecutive, riducendo la latenza.

3. Contributi Chiave

1. OmniFusion: Un modello E2E che supporta nativamente la traduzione da audio, audio+immagine e testo+immagine in un'unica architettura, superando i limiti delle pipeline a cascata.
2. Architettura di Fusione a Gate: Un meccanismo efficiente che integra selettivamente le rappresentazioni di diversi strati dell'MMFM nell'LLM, permettendo un addestramento e un'inferenza efficienti per traduzioni consapevoli del contesto.
3. Riduzione della Latenza e Qualità: Dimostrazione che l'approccio unificato riduce la latenza nella traduzione simultanea di circa 1 secondo rispetto alle pipeline a cascata, mantenendo o migliorando la qualità della traduzione e riducendo gli errori critici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come MCIF (per la traduzione vocale simultanea e offline) e CoMMuTE (per la traduzione di didascalie immagini).

• Traduzione Vocale Simultanea (SimulST):
  • OmniFusion è risultata ~1 secondo più veloce rispetto alla pipeline a cascata (ASR + MT) su tutte le dimensioni dei chunk testati.
  • Quando viene fornito il contesto visivo (immagini/slides), OmniFusion ottiene sia la latenza più bassa che la qualità più alta, sfruttando meglio il contesto visivo per prendere decisioni di output anticipate e più stabili.
• Traduzione Offline:
  • Sebbene la traduzione diretta E2E sia leggermente inferiore alla migliore pipeline a cascata fine-tunata, l'attivazione della modalità Self-Cascade chiude quasi completamente il divario (86.57 vs 86.59 su XCOMET-XL).
  • Analisi degli Errori: La configurazione migliore di OmniFusion (con Self-Cascade e immagini) produce significativamente meno errori maggiori e critici rispetto ai sistemi a cascata (es. 55.3 errori critici contro 75.0), indicando una maggiore robustezza.
• Traduzione Testo-Immagine (TIT):
  • Su CoMMuTE, OmniFusion raggiunge prestazioni allo stato dell'arte, superando modelli vision-only come ZeroMMT e TowerVision.
  • L'analisi degli strati mostra che gli strati iniziali e intermedi dell'MMFM contribuiscono maggiormente alle rappresentazioni semantiche trasferibili, mentre l'ultimo strato è meno utile.

5. Significato e Implicazioni

Il lavoro dimostra che è possibile combinare efficacemente la percezione multimodale dei modelli fondazione con la competenza linguistica dei modelli di traduzione specializzati all'interno di un'unica architettura.

• Efficienza: Elimina la necessità di pipeline complesse e ad alta latenza, rendendo la traduzione simultanea con contesto visivo più pratica per applicazioni reali (es. conferenze, presentazioni).
• Disambiguazione: La capacità di utilizzare immagini per risolvere ambiguità (es. distinguere "uscita" come via di fuga o come uscita autostradale) è significativamente migliorata rispetto ai sistemi tradizionali.
• Scalabilità: L'approccio modulare (congelamento dell'MMFM + LoRA sull'LLM) offre un percorso efficiente per integrare nuove capacità multimodali senza dover addestrare da zero modelli massicci.

In sintesi, OmniFusion rappresenta un passo avanti verso sistemi di traduzione universali, multilingue e multimodali che sono sia di alta qualità che a bassa latenza.