Sintesi Tecnica: Hermes il Poliglotta

Definizione del Problema

Il sottotitolaggio interlingue consiste nel tradurre i sottotitoli da media visivi (film, serie TV) verso una lingua di destinazione. Sebbene i Large Language Models (LLM) abbiano fatto progressi nella traduzione automatica generale, essi faticano con i vincoli specifici del sottotitolaggio. Il documento identifica quattro sfide primarie:

1. Coerenza Semantica: Gli LLM hanno capacità limitate di token in input, rendendo difficile l'elaborazione di interi programmi in una sola volta. Una segmentazione impropria delle righe di sottotitolo interrompe il contesto, portando a traduzioni incoerenti.
2. Riferimento dei Pronomi: Le differenze culturali e linguistiche nei sistemi di pronomi (ad esempio, gli onorifici in giapponese/coreano o l'omissione dei pronomi) causano errori quando l'identità del parlante è ambigua.
3. Traduzione della Terminologia: I media visivi contengono spesso nomi propri specializzati (nomi, luoghi, oggetti) che richiedono una traduzione accurata, coerente e consapevole del contesto, che gli standard LLM spesso non riescono a mantenere.
4. Espressività della Traduzione: Oltre all'accuratezza, il pubblico richiede traduzioni che siano naturali (conformi alla grammatica/cultura della lingua di destinazione) e vivide (che trasmettano emozione, tono e atmosfera). I modelli standard producono spesso traduzioni letterali e piatte.

Metodologia: Il Framework Hermes

Gli autori propongono Hermes, un framework unificato basato su LLM, progettato per affrontare queste sfide attraverso tre moduli integrati e una specifica strategia di addestramento.

1. Speaker Diarization (SD)

Questo modulo annota i parlanti per ogni riga di sottotitolo per risolvere l'ambiguità dei pronomi e guidare la segmentazione consapevole del contesto.

• Integrazione Multimodale: Combina modalità visive e vocali. Vengono estratte caratteristiche visive (face embeddings tramite CurricularFace) e caratteristiche audio (timbre embeddings tramite ERes2NetV2).
• Clustering e Registrazione: Il clustering visivo funge da ancora per la registrazione del parlante. I cluster audio vengono mappati sui cluster visivi tramite voto per creare prototipi di parlante.
• Supplementazione: Per gestire l'asincronia audio-visiva (dove i parlanti non sono visibili), il sistema confronta gli embedding del timbro delle linee non rilevate rispetto ai prototipi registrati. Una nuova strategia di "supplementazione del parlante" raggruppa le linee adiacenti in base alle soglie di somiglianza; se un gruppo manca di un parlante rilevato, viene registrato come nuovo parlante sulla base dell'embedding medio del timbro.

2. Terminology Identification (TI)

Questo modulo garantisce la traduzione accurata e coerente dei nomi propri.

• Approccio di Knowledge Distillation: Un LLM predefinito (Qwen-Max) viene utilizzato in un setting one-shot per rilevare termini, i loro tipi e le traduzioni da corpora paralleli bilingui.
• Filtraggio e Voto: I risultati candidati grezzi vengono filtrati e sottoposti a voto per determinare il tipo canonico e la traduzione per ogni termine.
• Addestramento Specializzato: Un LLM dedicato alla terminologia ($\pi_{term}$) viene addestrato su un dataset costruito per recuperare e tradurre questi termini durante l'inferenza, garantendo la coerenza in tutto il programma.

3. Expressiveness Enhancement (EE)

Questo modulo ottimizza il modello di traduzione per naturalezza e vividezza utilizzando una nuova tecnica chiamata Segment-wise Adaptive Preference Optimization (SAPO).

• Ottimizzazione della Preferenza Locale: A differenza del normale allineamento delle preferenze (ad esempio, DPO) che tratta l'intera risposta come un'unica unità, SAPO tratta ogni riga di sottotitolo come un segmento. Ciò è necessario perché la traduzione di una riga dipende dal suo specifico contesto all'interno della sequenza.
• Strategia di Campionamento: Per ogni riga sorgente, il modello campiona molteplici traduzioni candidate. Un LLM valutatore (LLM-as-a-Judge) assegna punteggi a questi candidati in base all'espressività.
• Ponderazione Adattiva: La funzione di perdita dell'addestramento applica pesi adattivi ai segmenti. Una funzione di gating esclude i segmenti a bassa diversità o bassa qualità (rumore), mentre un punteggio di importanza privilegia i segmenti con ricche variazioni di traduzione.
• Addestramento: Il modello di traduzione finale ($\pi_{st}$) è addestrato utilizzando una perdita di preferenza (ad esempio, DPO) sulle coppie a livello di segmento, guidata dal processo di campionamento SAPO.

Contributi Chiave

1. Definizione del Task: Il documento definisce formalmente il sottotitolaggio interlingue come un compito di traduzione automatica multimodale, identificando sistematicamente sfide uniche riguardanti coerenza, pronomi, terminologia ed espressività.
2. Framework Unificato: La proposta di Hermes, che integra la diarizzazione dei parlanti audio/visivi, l'identificazione della terminologia tramite knowledge distillation e una tecnica di ottimizzazione delle preferenze per segmento.
3. Framework di Valutazione: La costruzione di un framework di valutazione multidimensionale basato su "LLM-as-a-Judge", che valuta accuratezza (accuratezza dei pronomi, coerenza della terminologia, accuratezza della traduzione) ed espressività (naturalità, vividezza).
4. Performance: I risultati sperimentali dimostrano che Hermes raggiunge prestazioni allo stato dell'arte nella diarizzazione dei parlanti e genera traduzioni più espressive e contestualmente coerenti rispetto ai baseline esistenti.

Risultati Sperimentali

Il framework è stato valutato su un dataset multilingue (piattaforma Youku) che copre direzioni come en$\Rightarrow$de, en$\Rightarrow$fr, en$\Rightarrow$zh, ko$\Rightarrow$zh, zh$\Rightarrow$en e zh$\Rightarrow$th.

• Qualità della Traduzione: Hermes (specificamente il modello da 14B addestrato con SAPO) ha superato significativamente i modelli tradizionali (NLLB, MADLAD, Google Translate) e i baseline competitivi (VideoDubber).
  • Ha ottenuto punteggi più elevati in Accuratezza (Accuratezza dei Pronomi e Coerenza della Terminologia) e Naturalità rispetto ai frontier chat LLM (GPT-4o, Qwen-Max) e ai modelli di ragionamento (DeepSeek-R1, GPT-5).
  • Fondamentalmente, Hermes ha ottenuto i punteggi di Vividezza più alti in tutte le direzioni, superando occasionalmente i frontier LLM, indicando una capacità superiore di trasmettere emozione e tono.
  • Nelle direzioni a basse risorse (ad esempio, ko$\Rightarrow$zh, zh$\Rightarrow$th), Hermes eccelle in tutte le dimensioni.
• Speaker Diarization: Il modulo SD ha ottenuto prestazioni superiori (DER e JER più bassi) rispetto ai baseline audio-only (VBx, Spectral Clustering) e al metodo tri-modale SOTA (E2CP), particolarmente in scenari impegnativi come gli show dialettali.
• Valutazione Umana: I confronti a coppie con riferimenti umani e altri baseline hanno confermato l'affidabilità del framework LLM-as-a-Judge, con Hermes che mostra alti tassi di vittoria in naturalità e vividezza.
• Studi di Ablazione:
  • La funzione di gating adattiva in SAPO è stata identificata come la componente più critica per ridurre il rumore.
  • Modelli con backbone più grandi (14B) hanno performato meglio di quelli più piccoli (8B), sebbene SAPO abbia migliorato tutti i backbone rispetto al SFT standard.
  • DPO è stato trovato come la perdita di allineamento più stabile ed efficace tra quelli testati (DPO, SimPO, GRPO).

Significato

Il documento afferma che Hermes fa progredire la ricerca nel sottotitolaggio interlingue andando oltre la semplice accuratezza della traduzione per affrontare i requisiti olistici della localizzazione. Integrando indizi multimodali (visivi/audio) e impiegando una strategia di ottimizzazione per segmento, il framework riesce a colmare il divario tra i vincoli rigidi dei formati di sottotitoli e la natura sfumata ed espressiva del dialogo umano. Il lavoro dimostra che, con specifiche adattazioni architettoniche e ottimizzazione delle preferenze, gli LLM possono superare sia i sistemi di traduzione automatica tradizionali che i modelli general-purpose di frontiera nel dominio specializzato della localizzazione dei media visivi.