Technische Samenvatting: Hermes de Polyglot

Probleemdefinitie

Interlinguale ondertiteling omvat het vertalen van ondertiteling van visuele media (films, tv-series) naar een doeltaal. Hoewel Large Language Models (LLMs) geavanceerde algemene machinevertaling hebben bereikt, worstelen ze met de specifieke beperkingen van ondertitelvertaling. Het artikel identificeert vier primaire uitdagingen:

1. Semantische Coherentie: LLMs hebben een beperkte input-tokencapaciteit, wat het moeilijk maakt om volledige programma's in één keer te verwerken. Onjuiste segmentatie van ondertitelregels verstoort de context, wat leidt tot incoherente vertalingen.
2. Voornaamwoordreferentie: Culturele en linguïstische verschillen in voornaamwoordensystemen (bijv. honorifics in het Japans/Koreaans of het weglaten van voornaamwoorden) veroorzaken fouten wanneer de identiteit van de spreker ambigu is.
3. Terminologievertaling: Visuele media bevatten vaak gespecialiseerde eigennamen (namen, locaties, objecten) die een nauwkeurige, consistente en contextbewuste vertaling vereisen, die standaard LLMs vaak niet kunnen handhaven.
4. Vertalingsexpressiviteit: Naast nauwkeurigheid vereist het publiek vertalingen die natuurlijk zijn (conform de doeltaal grammatica/cultuur) en levendig (het overbrengen van emotie, toon en atmosfeer). Standaardmodellen produceren vaak letterlijke, vlakke vertalingen.

Methodologie: Het Hermes Framework

De auteurs stellen Hermes voor, een uniform, op LLM gebaseerd framework dat ontworpen is om deze uitdagingen aan te pakken via drie geïntegreerde modules en een specifieke trainingsstrategie.

1. Speaker Diarization (SD)

Deze module annoteert sprekers voor elke ondertitelregel om voornaamwoordelijke ambiguïteit op te lossen en contextbewuste segmentatie te sturen.

• Multimodale Integratie: Het combineert visuele en auditieve modaliteiten. Visuele kenmerken (gezichtsembeddings via CurricularFace) en auditieve kenmerken (timbre-embeddings via ERes2NetV2) worden geëxtraheerd.
• Clustering & Registratie: Visuele clustering dient als de anker voor sprekerregistratie. Auditieve clusters worden via stemming gemapt naar visuele clusters om sprekerprototypes te creëren.
• Supplementatie: Om audiovisuele asynchroniteit te behandelen (wanneer sprekers niet zichtbaar zijn), vergelijkt het systeem de timbre-embeddings van niet-gedetecteerde regels met geregistreerde prototypes. Een nieuwe "speaker supplementation" strategie groepeert aangrenzende regels op basis van gelijkenis-drempelwaarden; als een groep een gedetecteerde spreker mist, wordt deze geregistreerd als een nieuwe spreker op basis van het gemiddelde timbre-embedding.

2. Terminology Identification (TI)

Deze module zorgt voor de nauwkeurige en consistente vertaling van eigennamen.

• Knowledge Distillation Aanpak: Een off-the-shelf LLM (Qwen-Max) wordt gebruikt in een one-shot setting om termen, hun typen en vertalingen te detecteren uit tweetalige parallelle corpora.
• Filtering & Stemming: Ruwe kandidaatresultaten worden gefilterd en onderworpen aan stemming om de canonieke type en vertaling voor elke term te bepalen.
• Gespecialiseerde Training: Een toegewijde Terminology LLM ($\pi_{term}$) wordt getraind op een geconstrueerde dataset om deze termen tijdens inferentie op te halen en te vertalen, wat consistentie door het hele programma waarborgt.

3. Expressiveness Enhancement (EE)

Deze module optimaliseert het vertaalmodel voor natuurlijkheid en levendigheid met behulp van een nieuwe techniek genaamd Segment-wise Adaptive Preference Optimization (SAPO).

• Lokale Preferentieoptimalisatie: In tegen tegenstelling tot standaard preferentie-alignment (bijv. DPO) die de gehele respons als één eenheid behandelt, behandelt SAPO elke ondertitelregel als een segment. Dit is noodzakelijk omdat de vertaling van een regel afhangt van de specifieke context binnen de sequentie.
• Sampling Strategie: Voor elke bronregel samplet het model meerdere kandidaatvertalingen. Een evaluator-LLM (LLM-as-a-Judge) scoort deze kandidaten op expressiviteit.
• Adaptieve Weging: De trainingsverlies past adaptieve gewichten toe op segmenten. Een gating-functie sluit segmenten met lage diversiteit of lage kwaliteit (ruis) uit, terwijl een belangscore segmenten met rijke vertaalvariaties prioriteert.
• Training: Het uiteindelijke vertaalmodel ($\pi_{st}$) wordt getraind met een preferentieverlies (bijv. DPO) op deze segment-niveau paren, geleid door het SAPO samplingproces.

Belangrijkste Bijdragen

1. Taakdefinitie: Het artikel definieert interlinguale ondertiteling formeel als een multimodale machinevertalingstaak, waarbij unieke uitdagingen met betrekking tot coherentie, voornaamwoorden, terminologie en expressiviteit systematisch worden geïdentificeerd.
2. Uniform Framework: Het voorstel van Hermes, dat visuele/auditieve sprekerdiarization, terminologie-identificatie via knowledge distillation en een segment-wijze preferentieoptimalisatietechniek integreert.
3. Evaluatieframework: De constructie van een multidimensionaal evaluatieframework gebaseerd op "LLM-as-a-Judge", dat nauwkeurigheid (voornaamwoordnauwkeurigheid, terminologische consistentie, vertaalnauwkeurigheid) en expressiviteit (natuurlijkheid, levendigheid) beoordeelt.
4. Prestaties: Experimentele resultaten tonen aan dat Hermes state-of-the-art prestaties levert in sprekerdiarization en vertalingen genereert die expressiever en contextueel coherenter zijn dan bestaande baselines.

Experimentele Resultaten

Het framework werd geëvalueerd op een meertalige dataset (Youku platform) die richtingen beslaat zoals en$\Rightarrow$de, en$\Rightarrow$fr, en$\Rightarrow$zh, ko$\Rightarrow$zh, zh$\Rightarrow$en, en zh$\Rightarrow$th.

• Vertalingkwaliteit: Hermes (specifiek het 14B model getraind met SAPO) presteerde significant beter dan traditionele modellen (NLLB, MADLAD, Google Translate) en concurrerende baselines (VideoDubber).
  • Het behaalde hogere scores in Nauwkeurigheid (Voornaamwoordnauwkeurigheid en Terminologische Consistentie) en Natuurlijkheid vergeleken met frontier chat LLMs (GPT-4o, Qwen-Max) en reasoning modellen (DeepSeek-R1, GPT-5).
  • Cruciaal is dat Hermes de hoogste Levendigheid scores behaalde over alle richtingen, waarbij het soms de frontier LLMs overtrof, wat wijst op een superieur vermogen om emotie en toon over te brengen.
  • In low-resource richtingen (bijv. ko$\Rightarrow$zh, zh$\Rightarrow$th) blonk Hermes uit over alle dimensies.
• Speaker Diarization: De SD-module behaalde superieure prestaties (lagere DER en JER) vergeleken met audio-only baselines (VBx, Spectral Clustering) en de tri-modale SOTA methode (E2CP), vooral in uitdagende scenario's zoals dialectale shows.
• Menselijke Evaluatie: Paarvergelijkingen met menselijke referenties en andere baselines bevestigden de betrouwbaarheid van het LLM-as-a-Judge framework, waarbij Hermes een hoge winrate liet zien in natuurlijkheid en levendigheid.
• Ablatiestudies:
  • De adaptieve gating-functie in SAPO werd geïdentificeerd als de meest kritische component voor het verminderen van ruis.
  • Grotere backbone-modellen (14B) presteerden beter dan kleinere (8B), hoewel SAPO alle backbones verbeterde ten opzichte van standaard SFT.
  • DPO werd gevonden als de meest stabiele en effectieve alignment loss onder de geteste opties (DPO, SimPO, GRPO).

Betekenis

Het artikel beweert dat Hermes onderzoek naar interlinguale ondertiteling vooruit helpt door verder te gaan dan eenvoudige vertaalnauwkeurigheid en de holistische vereisten van lokalisatie aan te pakken. Door multimodale cues (visueel/audio) te integreren en een segment-wijze optimalisatiestrategie toe te passen, slaagt het framework erin de kloof te overbruggen tussen de rigide beperkingen van ondertitelformaten en de genuanceerde, expressieve aard van menselijke dialoog. Het werk demonstreert dat LLMs, met specifieke architecturale aanpassingen en preferentieoptimalisatie, zowel traditionele machinevertalingssystemen als algemene frontier-modellen in het gespecialiseerde domein van visuele media-lokalisatie kunnen overtreffen.