Résumé Technique : Hermes le Polyglotte

Définition du Problème

Le sous-titrage interlingual consiste à traduire des sous-titres de supports visuels (films, séries télévisées) vers une langue cible. Bien que les grands modèles de langage (LLM) aient fait progresser la traduction automatique générale, ils peinent face aux contraintes spécifiques de la traduction de sous-titres. L'article identifie quatre défis majeurs :

1. Cohérence sémantique : Les LLM ont une capacité limitée de jetons d'entrée (tokens), ce qui rend difficile le traitement simultané de programmes entiers. Une segmentation inappropriée des lignes de sous-titres perturbe le contexte, entraînant des traductions incohérentes.
2. Référence des pronoms : Les différences culturelles et linguistiques dans les systèmes de pronoms (par exemple, les honorifiques en japonais/coréen ou l'omission des pronoms) provoquent des erreurs lorsque l'identité du locuteur est ambiguë.
3. Traduction de la terminologie : Les médias visuels contiennent souvent des noms propres spécialisés (noms, lieux, objets) qui nécessitent une traduction précise, cohérente et sensible au contexte, ce que les LLM standards échouent souvent à maintenir.
4. Expressivité de la traduction : Au-delà de l'exactitude, les publics exigent des traductions naturelles (conformes à la grammaire/culture de la langue cible) et vivantes (transmettant l'émotion, le ton et l'atmosphère). Les modèles standards produisent souvent des traductions littérales et plates.

Méthodologie : Le Cadre Hermes

Les auteurs proposent Hermes, un cadre unifié basé sur les LLM, conçu pour répondre à ces défis via trois modules intégrés et une stratégie d'entraînement spécifique.

1. Diarisation des Locuteurs (SD - Speaker Diarization)

Ce module annote les locuteurs pour chaque ligne de sous-titre afin de résoudre l'ambiguïté des pronoms et de guider la segmentation sensible au contexte.

• Intégration Multimodale : Il combine les modalités visuelles et vocales. Les caractéristiques visuelles (embeddings de visage via CurricularFace) et les caractéristiques audio (embeddings de timbre via ERes2NetV2) sont extraites.
• Clustering et Enregistrement : Le clustering visuel sert d'ancre pour l'enregistrement des locuteurs. Les clusters audio sont mappés sur les clusters visuels par vote pour créer des prototypes de locuteurs.
• Supplémentation : Pour gérer l'asynchronie audio-visuelle (lorsque les locuteurs ne sont pas visibles), le système compare les embeddings de timbre des lignes non détectées aux prototypes enregistrés. Une nouvelle stratégie de « supplémentation de locuteur » regroupe les lignes adjacentes basées sur des seuils de similarité ; si un groupe manque d'un locuteur détecté, il est enregistré comme un nouveau locuteur basé sur l'embedding de timbre moyen.

2. Identification de la Terminologie (TI - Terminology Identification)

Ce module assure la traduction précise et cohérente des noms propres.

• Approche par Distillation de Connaissances : Un LLM prêt à l'emploi (Qwen-Max) est utilisé dans un cadre "one-shot" pour détecter les termes, leurs types et leurs traductions à partir de corpus parallèles bilingues.
• Filtrage et Vote : Les résultats bruts des candidats sont filtrés et soumis à un vote pour déterminer le type canonique et la traduction de chaque terme.
• Entraînement Spécialisé : Un LLM de terminologie dédié ($\pi_{term}$) est entraîné sur un jeu de données construit pour récupérer et traduire ces termes lors de l'inférence, garantissant la cohérence à travers le programme.

3. Amélioration de l'Expressivité (EE - Expressiveness Enhancement)

Ce module optimise le modèle de traduction pour la naturalité et la vivacité en utilisant une technique novatrice appelée Optimisation de Préférence Adaptative par Segment (SAPO - Segment-wise Adaptive Preference Optimization).

• Optimisation de Préférence Locale : Contrairement à l'alignement de préférence standard (ex: DPO) qui traite l'ensemble de la réponse comme une unité unique, SAPO traite chaque ligne de sous-titre comme un segment. Ceci est nécessaire car la traduction d'une ligne dépend de son contexte spécifique au sein de la séquence.
• Stratégie d'Échantillonnage : Pour chaque ligne source, le modèle échantillonne plusieurs traductions candidates. Un LLM évaluateur (LLM-as-a-Judge) score ces candidats sur l'expressivité.
• Pondération Adaptative : La perte d'entraînement applique des poids adaptatifs aux segments. Une fonction de porte (gating function) exclut les segments à faible diversité ou de faible qualité (bruit), tandis qu'un score d'importance priorise les segments présentant de riches variations de traduction.
• Entraînement : Le modèle de traduction final ($\pi_{st}$) est entraîné en utilisant une perte de préférence (ex: DPO) sur ces paires au niveau du segment, guidée par le processus d'échantillonnage SAPO.

Principales Contributions

1. Définition de la Tâche : L'article définit formellement le sous-titrage interlingual comme une tâche de traduction automatique multimodale, identifiant systématiquement les défis uniques concernant la cohérence, les pronoms, la terminologie et l'expressivité.
2. Cadre Unifié : La proposition de Hermes, qui intègre la diarisation des locuteurs audio-visuelle, l'identification de la terminologie par distillation de connaissances et une technique d'optimisation de préférence par segment.
3. Cadre d'Évaluation : La construction d'un cadre d'évaluation multidimensionnel basé sur le concept de "LLM-as-a-Judge", évaluant l'exactitude (précision des pronoms, cohérence de la terminologie, exactitude de la traduction) et l'expressivité (naturalité, vivacité).
4. Performance : Les résultats expérimentaux démontrent que Hermes atteint des performances de pointe en matière de diarisation des locuteurs et génère des traductions plus expressives et contextuellement cohérentes que les bases existantes.

Résultats Expérimentaux

Le cadre a été évalué sur un jeu de données multilingue (plateforme Youku) couvrant des directions telles que en$\Rightarrow$de, en$\Rightarrow$fr, en$\Rightarrow$zh, ko$\Rightarrow$zh, zh$\Rightarrow$en, et zh$\Rightarrow$th.

• Qualité de la Traduction : Hermes (spécifiquement le modèle 14B entraîné avec SAPO) a nettement surpassé les modèles traditionnels (NLLB, MADLAD, Google Translate) et les bases compétitives (VideoDubber).
  • Il a obtenu des scores plus élevés en Exactitude (Précision des Pronoms et Cohérence de la Terminologie) et en Naturalité par rapport aux LLM de discussion de pointe (GPT-4o, Qwen-Max) et aux modèles de raisonnement (DeepSeek-R1, GPT-5).
  • Crucialement, Hermes a obtenu les scores de Vivacité les plus élevés dans toutes les directions, dépassant occasionnellement les LLM de pointe, indiquant une capacité supérieure à transmettre l'émotion et le ton.
  • Dans les directions à faibles ressources (ex: ko$\Rightarrow$zh, zh$\Rightarrow$th), Hermes a excellé dans toutes les dimensions.
• Diarisation des Locuteurs : Le module SD a obtenu des performances supérieures (DER et JER plus faibles) par rapport aux bases uniquement audio (VBx, Spectral Clustering) et à la méthode SOTA tri-modale (E2CP), particなment dans des scénarios difficiles comme les émissions dialectales.
• Évaluation Humaine : Des comparaisons par paires avec des références humaines et d'autres bases ont confirmé la fiabilité du cadre "LLM-as-a-Judge", Hermes montrant des taux de victoire élevés en naturalité et vivacité.
• Études d'Ablation :
  • La fonction de porte adaptative dans SAPO a été identifiée comme le composant le plus critique pour réduire le bruit.
  • Les modèles de base plus larges (14B) ont mieux performé que les plus petits (8B), bien que SAPO ait amélioré tous les modèles par rapport au SFT standard.
  • Le DPO a été jugé comme la perte d'alignement la plus stable et la plus efficace parmi ceux testés (DPO, SimPO, GRPO).

Signification

L'article affirme que Hermes fait progresser la recherche sur le sous-titrage interlingual en allant au-delà de la simple exactitude de traduction pour traiter les exigences holistiques de la localisation. En intégrant des indices multimodaux (visuels/audio) et en employant une stratégie d'optimisation par segment, le cadre comble avec succès le fossé entre les contraintes rigides des formats de sous-titres et la nature nuancée et expressive du dialogue humain. Ce travail démontre qu'avec des adaptations architecturales spécifiques et une optimisation de préférence, les LLM peuvent surpasser tant les systèmes de traduction automatique traditionnels que les modèles généralistes de pointe dans le domaine spécialisé de la localisation de supports visuels.