💬 NLP

Hermes the Polyglot: A Unified Framework to Enhance Expressiveness for Multimodal Interlingual Subtitling

本論文は、言語間字幕における主要な課題を克服し、一貫性のある表現力豊かな翻訳の生成において最先端の性能を達成するために、話者ダイアリゼーション、用語特定、および表現力強化を統合したLLMベースの統一フレームワークであるHermesを導入するものである。

原著者： Chaoqun Cui, Shijing Wang, Liangbin Huang, Qingqing Gu, Zhaolong Huang, Xiao Zeng, Wenji Mao

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chaoqun Cui, Shijing Wang, Liangbin Huang, Qingqing Gu, Zhaolong Huang, Xiao Zeng, Wenji Mao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、字幕付きの外国映画を観ているところだと想像してください。通常、それらの字幕は単なる逐一的な、言葉通りの翻訳です。それらは「何を」言ったかは教えてくれますが、「どのように」言ったか——皮肉、感情、特定の俗語、あるいはキャラクターが囁いているのか叫んでいるのかといったこと——を見落としがちです。

「Hermes the Polyglot（多言語話者ヘルメス）」という論文は、この問題を解決するために設計された新しいシステムを紹介しています。Hermesを、単なる翻訳機ではなく、映画を観て、俳優の声を聞き、ネイティブスピーカーが書いたかのように感じられる字幕を作成する、非常に賢い映画監督のアシスタントだと考えてください。

Hermesがどのように機能するかを、日常的な例えを用いて3つのシンプルなステップに分解して説明します。

1. 「誰が何を言ったか？」の探偵（話者ダイアリゼーション）

問題点： 映画の中では、キャラクター同士が言葉を被せ合ったり、キャラクターが画面外にいる状態で話したりすることがあります。標準的なコンピュータは、誰が話しているのか混乱することが多く、その結果、実際には「彼女」が言った場面なのに字幕では「彼が言った……」となったり、代名詞が混同されたりします。
Hermesの解決策： Hermesは、2組の目と耳を使う探偵として機能します。

視覚情報： ビデオを見て、誰の顔が動いているかを確認します。
音声情報： 声の独特な「音色」（音の指紋のようなもの）を聞き取ります。
魔法のプロセス： たとえキャラクターが画面外にいても、Hermesはその声を以前見た人物と一致させます。キャラクターの「名簿」を作成することで、翻訳において代名詞（「彼」か「彼女」かなど）が常に正確であることを保証します。

2. 「特殊な言葉の辞書」（用語特定）

問題点： 映画には、特定の名前、場所、造語（スター・ウォーズズの「フォース」や、中国の古代の官職名など）が溢れています。標準的な翻訳機はこれらを直訳してしまうことがあり、すると不自然だったり間違いだったりします。
Hermesの解決策： Hermesは、専門的な司書のように振る舞います。映画全体を翻訳する前に、スクリプトをスキャンして、すべての「固有名詞」（名前、場所、特別なアイテム）を見つけ出します。そして、これらの言葉に対する厳格なルールブックを作成します。

例え： レシピを翻訳することを想像してください。もしレシピに「wok（中華鍋）を使いなさい」と書いてあった場合、質の低い翻訳者は「フライパンを使いなさい」と言うかもしれません。Hermesは「wok」が特定の道具であることを理解しており、その言葉を維持するか、あるいは完璧な文化的対応語を見つけ出すため、映画全体を通して一貫性が保たれます。

3. 「スタイルコーチ」（表現力の強化）

問題点： これが最大の挑戦です。ロボットは「私は怒っている」を正確に翻訳できますが、そのキャラクターが実は「激怒している」のか、「皮肉を言っている」のか、あるいは「打ちひしがれている」のかを見逃す可能性があります。標準的なAIは、しばしばロボット的で平坦な響きになります。
Hermesの解決策： Hermesは、SAPO（Segment-wise Adaptive Preference Optimization：セグメントごとの適応的選好最適化）と呼ばれる手法を使用します。これは、オーディション番組の審査員のようなものです。

プロセス： すべての台詞に対して、Hermesは15通りの異なる翻訳パターンを生成します。
審査員： Hermesは、別の強力なAI（「審査員」）を使用して、これら15通りのバージョンを採点します。審査員はこう問いかけます。「どれが最も自然か？どれが感情を最もよく捉えているか？」
結果： Hermesは審査員のスコアから学びます。単に「正しい」ことを学ぶのではなく、「鮮やかである」ことを学ぶのです。辞書を読み上げているのではなく、人間の俳優が話しているように聞こえる翻訳を選ぶ方法を学習します。

結果：なぜ重要なのか

著者らは、多くの言語（英語から中国語、韓国語から中国語など）を用いて、実際の映画やテレビ番組でHermesをテストしました。

正確性： 事実や名前を正しく捉え、古い翻訳ツールを上回りました。
自然さ： ネイティブスピーカーが書いたかのように流暢でした。
鮮やかさ： こここそがHermesの真骨頂でした。標準的なAIや、特定の低リソース言語における一部の人間による翻訳よりもはるかに優れた、シーンの「ムード」や「スタイル」を捉えることができました。

要約すると：
標準的な翻訳が、映画の乾燥したニュースレポートを読んでいるようなものだとしたら、Hermesは、ジョークや感情、文化的な参照をリアルタイムで説明してくれる友人と一緒に映画を観ているようなものです。顔を見ること、声を聞くこと、そして「スタイルコーチ」から学ぶことを組み合わせることで、まるで命が吹き込まれたかのような字幕を実現しています。

技術要約：Hermes the Polyglot（多言語話者、ヘルメス）

問題定義

言語間字幕翻訳（interlingual subtitling）とは、映像メディア（映画、テレビシリーズ）の字幕をターゲット言語へと翻訳するプロセスである。大規模言語モデル（LLM）は一般的な機械翻訳において進歩を遂げているが、字幕翻訳特有の制約への対応には苦慮している。本論文では、主に以下の4つの課題を特定している。

意味的一貫性（Semantic Coherence）: LLMは入力トークン容量に制限があるため、プログラム全体を一度に処理することが困難である。字幕行の不適切なセグメンテーションは文脈を分断し、一貫性のない翻訳を招く。
代名詞の参照（Pronoun Reference）: 文化や言語による代名詞体系の違い（例：日本語や韓国語における敬称、あるいは代名詞の省略）により、話し手のアイデンティティが曖昧な場合にエラーが発生する。
用語翻訳（Terminology Translation）: 映像メディアには、正確かつ一貫性があり、かつ文脈に応じた翻訳が求められる専門的な固有名詞（名前、場所、アイテムなど）が含まれることが多い。標準的なLLMはこれらを維持することに失敗する場合が多い。
表現力（Translation Expressiveness）: 正確性に加え、視聴者は自然な表現（ターゲット言語の文法や文化に適合していること）や、生き生きとした表現（感情、トーン、雰囲気を伝えること）を求める。標準的なモデルは、しばしば直訳的で平坦な翻訳を生成する。

手法：Hermesフレームワーク

著者らは、3つの統合モジュールと特定の学習戦略を通じてこれらの課題に対処するために設計された、LLMベースの統一フレームワークであるHermesを提案している。

1. 話者ダイアリゼーション（Speaker Diarization: SD）

このモジュールは、各字幕行に対して話者を注釈付けすることで、代名詞の曖昧さを解消し、文脈に応じたセグメンテーションを導く。

マルチモーダル統合: 視覚的および音声的モダリティを組み合わせる。視覚的特徴（CurricularFaceによる顔埋め込み）と音声的特徴（ERes2NetV2による音色埋め込み）を抽出する。
クラスタリングとレジストレーション: 視覚的クラスタリングが話者登録のアンカーとして機能する。音声クラスタは、投票方式によって視覚的クラスタにマッピングされ、話者のプロトタイプを作成する。
補完（Supplementation）: 音声と映像の非同期（話者が映っていない場合）に対処するため、未検出の行の音色埋め込みを登録済みのプロトタイプと比較する。斬新な「話者補完」戦略により、類似度閾値に基づいて隣接する行をグループ化する。検出された話者が欠如しているグループは、平均的な音色埋め込みに基づいて新しい話者として登録される。

2. 用語特定（Terminology Identification: TI）

このモジュールは、固有名詞の正確かつ一貫した翻訳を保証する。

知識蒸留アプローチ: オフザシェルフのLLM（Qwen-Max）を使用し、ワンショット設定で用語、その種類、および対訳コーパスからの翻訳を検出する。
フィルタリングと投票: 生の候補結果をフィルタリングし、投票を行うことで、各用語の標準的な型と翻訳を決定する。
কে
特化型学習: 構築されたデータセット上で訓練された専用の用語LLM（ $\pi_{term}$ ）を用いて、推論中にこれらの用語を検索・翻訳し、プログラム全体を通じた一貫性を確保する。

3. 表現力の強化（Expressiveness Enhancement: EE）

このモジュールは、**セグメント単位適応型選好最適化（Segment-wise Adaptive Preference Optimization: SAPO）**と呼ばれる斬新な手法を用いて、自然さと鮮やかさを最適化する。

ローカル選好最適化: 全体のレスポンスを単一のユニットとして扱う標準的な選好アライメント（例：DPO）とは異なり、SAPOは各字幕行を一つのセグメントとして扱う。これは、ある行の翻訳がシーケンス内の特定の文脈に依存するためである。
サンプリング戦略: 各ソース行に対して、モデルは複数の候補翻訳をサンプリングする。評価用LLM（LLM-as-a-Judge）が、これらの候補の表現力をスコアリングする。
適応型重み付け: 学習損失はセグメントに対して適応的な重みを適用する。ゲーティング関数が低多様性または低品質のセグメント（ノイズ）を除外し、重要度スコアが豊かな翻訳のバリエーションを持つセグメントを優先する。
学習: 最終的な翻訳モデル（ $\pi_{st}$ ）は、SAPOサンプリングプロセスに導かれ、これらのセグメントレベルのペアを用いた選好損失（例：DPO）を用いて訓練される。

主な貢献

タスク定義: 本論文は、インターリンガル字幕翻訳をマルチモーダル機械翻訳タスクとして正式に定義し、一貫性、代名詞、用語、および表現力に関する独自の課題を体系的に特定した。
統一フレームワーク: 視覚/音声による話者ダイアリゼーション、知識蒸留による用語特定、およびセグメント単位の選好最適化技術を統合したHermesを提案した。
評価フレームワーク: 「LLM-as-a-Judge」に基づく多次元評価フレームワークを構築し、正確性（代名詞の正確性、用語の一貫性、翻訳の正確性）と表現力（自然さ、鮮やかさ）を評価する。
パフォーマンス: 実験結果により、Hermesが話者ダイアリゼーションにおいて最先端の性能を達成し、既存のベースラインよりも表現力豊かで文脈的に一貫した翻訳を生成することが示された。

実験結果

本フレームワークは、en $\Rightarrow$ de、en $\Rightarrow$ fr、en $\Rightarrow$ zh、ko $\Rightarrow$ zh、zh $\Rightarrow$ en、および zh $\Rightarrow$ th などの方向をカバーするマルチリンガルデータセット（Youkuプラットフォーム）で評価された。

翻訳の質: Hermes（特にSAPOで訓練された14Bモデル）は、従来のモデル（NLLB, MADLAD, Google Translate）や競争力のあるベースライン（VideoDubber）を大幅に上回った。
- 正確性（代名詞の正確性と用語の一貫性）および自然さにおいて、最先端のチャットLLM（GPT-4o, Qwen-Max）や推論モデル（DeepSeek-R1, GPT-5）と比較して高いスコアを記録した。
- 極めて重要な点として、Hermesはすべての方向において最も高い**鮮やかさ（Vividness）**スコアを獲得し、時には最先端のLLMを凌駕しており、感情やトーンを伝える優れた能力を示した。
- 低リソースの方向（例：ko $\Rightarrow$ zh, zh $\Rightarrow$ th）においても、Hermesはすべての次元で優れていた。
話者ダイアリゼーション: SDモジュールは、方言を含む番組のような困難なシナリオにおいて、音声のみのベースライン（VBx, Spectral Clustering）や三モードSOTA手法（E2CP）と比較して、優れた性能（低いDERおよびJER）を達成した。
人間による評価: 人間のリファレンスおよび他のベースラインとのペア比較により、「LLM-as-a-Judge」フレームワークの信頼性が確認された。Hermesは自然さと鮮やかさにおいて高い勝率を示した。
アブレーション研究:
- SAPOにおける適応型ゲーティング関数が、ノイズを削減するための最も重要なコンポーネントであることが特定された。
- より大きなバックボーンモデル（14B）は、より小さなモデル（8B）よりも優れた性能を示したが、SAPOはすべてのバックボーンにおいて標準的なSFTよりも改善をもたらした。
- DPOは、テストされたアルゴリズム（DPO, SimPO, GRPO）の中で最も安定して効果的なアライメント損失であることが判明した。

意義

本論文は、単純な翻訳の正確性を超えて、ローカライズの包括的な要件に対処することで、インターリンガル字幕翻訳の研究を進展させたと主張している。視覚的/音声的なマルチモーダルな手がかりを統合し、セグメント単位の最適化戦略を採用することで、本フレームワークは字幕形式の厳格な制約と、人間の対話の微妙で表現豊かな性質との間の溝を埋めることに成功している。この研究は、特定のアーキテクチャ上の適応と選好最適化を用いることで、LLMが、視覚メディアのローカライズという専門領域において、従来の機械翻訳システムや汎用的な最先端モデルを凌駕できることを実証している。