技術要約: MAVL および SylAVL-CoT

問題提起

歌詞の翻訳は、「歌唱性（singability）」、すなわち、意味や詩的構造、音楽的リズムを維持しながら、メロディに適合させる能力を優先する特殊な領域である。このタスクは、単なる標準的なテキスト翻訳よりも大幅に複雑である。なぜなら、逐語的な意味と、音楽的な制約（音節数、リズム、韻）とのバランスを取る必要があり、非逐語的な適応（意訳）をしばしば必要とするからである。

この課題は、アニメーション・ミュージカルの文脈においてさらに深刻化する。歌詞は、テキストだけでなく、オーディオ（音声）だけでなく、視覚的な手がかり（キャラクターの動作、シーンの文脈）とも一致しなければならない。既存のアプローチの多くは、テキストベース、あるいはテキストとスコア（楽譜）に基づいた手法に限定されており、自然で歌唱可能な翻訳に必要なフル・マルチモーダルな文脈を捉えることができていない。さらに、従来のデータセットは、複数のモダリティ（テキスト、オーディオ、ビデオ）間でのアライメント（整合性）が不足していることが多く、これらの多様な入力を効果的に統合できるモデルを訓練または評価することを困難にしている。

手法

1. MAVL データセット

著者らは、アニメーション・ミュージカルにおける歌唱可能な歌詞翻訳のために特別に設計された、初の多言語・マルチモーダル・ベンチマークである MAVL (Multilingual Audio-Video Lyrics Benchmark for Animated Song Translation) を導入する。

• 構成: MAVL は、英語、スペイン語、フランス語、韓国語、日本語の5言語にわたって整列された、アニメーション映画（例：『アナと雪の女王』、『トロールズ』、『エンカンto』）からの228曲で構成されている。
• モダリティ: テキストやスコアのみに依存する従来のデータセットとは異なり、MAVL は テキスト、オーディオ、ビデオ を統合している。
• アライメント・パイライン: データセットの構築には、厳格なパイプラインを用いた：
  1. 収集: メタデータとオリジナルの英語歌詞を収集し、次に lyricstranslate などのプラットフォームから公式の吹き替え歌詞を調達した。
  2. 人間によるアライメント: 候補となる歌詞が、オリジナルのオーディオ/ビデオと照らし合わせて、公式の歌唱可能な吹き替えバージョンに対応していることを検証した。歌唱に適さない台詞や、歌詞が重なっている部分は除外した。
  3. オーディオ・ビデオ・歌詞のアライメント: stable-ts（Whisperベース）を使用して安定したタイムスタンプを生成し、特定の歌詞行に一致するようにオーディオとビデオをセグメント化した。

2. SylAVL-CoT モデル

MAVL を活用するために、著者らは SylAVL-CoT (Syllable-Constrained Audio-Video LLM with Chain-of-Thought) を提案する。このアプローチは、既存のマルチモーダル大規模言語モデル（MLLM）、具体的には Gemini 2.0 Flash および Gemini 2.5 Flash を、ファインチューニングなしで利用し、代わりにプロンプトエンジニアリングと思考の連鎖（Chain-of-Thought: CoT）による推論に依存する。

モデルは、3段階の CoT パイプラインを通じて動作する：

1. コア歌詞と音節分割の特定: モデルは提供されたオーディオ・スニペットとテキストを分析し、正確な歌詞セグメントを特定する。オーディオ上の区切りと既知のソースの音節数に基づき、歌詞を音節に分割し、リズムのテンプレートを確立する。
2. ターゲット言語の音節リスト生成（ビデオ文脈）: モデルはビデオからの視覚的な手がかり（例：キャラクターの表情、動き、文化的文脈）を処理して、翻訳を洗練させる。映像表現やムードを捉えつつ、ソースの音節数と一致するターゲット言語の音節リストを作成することを目指す。
3. 反復と洗練: モデルは、翻訳が文化的に適切であり、言語的に一貫しており、かつターゲットの音節数に厳密に従うように、単語の言い換えや並べ替えを反復的に行う。このステップは、異なる文法構造を持つ言語間でリズムを維持するという困難に対処するものである。

3. 評価指標

論文では、3つの原則に焦点を当てた多角的な評価フレームワークを提案している：

• 歌唱性 (Singability): 音節エラー (Syllable Error: SE)、音節数距離 (Syllable Count Distance: SCD)、および エラー率 を通じて測定される。SE は、ペナルティ係数 ($\beta=2.0$) を用いて、参照となる音節数を超える場合に重い罰則を与える。これは、歌唱性に悪影響を与えるためである。
• 意味 (Sense): 翻訳と「オリジナルの英語歌詞」および「人間による翻訳された吹き替え歌詞」の両方との間の、多言語埋め込み（mpnet-base-v2）のコサイン類似性に基づく セマンティック・スコア を用いて測定される。
• 自然さ (Naturalness): 生成された歌詞と参照歌詞の国際音声記号（IPA）転写間の 音素距離（レーベンシュタイン距離）を介して測定される。

主な結果

定量的パフォーマンス

• 歌唱性: SylAVL-CoT は、すべての言語において、テキストのみのベースライン（Google Translate、mBART-50、Qwen2.5-72B、GPT-4o、Gemini 2.0 を含む）を大幅に上回る。最も低い音節エラー、音節距離、およびエラー率を達成している。例えば、英語から韓国語への翻訳において、SylAVL-CoT は音節エラーを約10.3（GPT-4o）から 0.695 に減少させた。
• 意味: テキストのみのモデルは、しばしば オリジナルの 英語歌詞に対して高いセマンティック類似性を示す（これは逐語的な翻訳であることを示す）が、SylAVL-CoT はオリジナルへの類似性は低いものの、人間による翻訳された吹き替え歌詞 に対して高い類似性を維持している。これは、SylAVL-CoT が、逐語的な意味に固執するのではなく、プロの人間が行うような創造的な言い換え戦略を、歌唱性を維持するために採用していることを示唆している。
• 自然さ: SylAVL-CoT は、オリジナルおよび吹き替えの参照の両方と比較して、最も低い音素距離を示しており、その出力がプロの翻訳と同様の調音およびリズム特性を共有していることを示している。

アブレーション研究

• マルチモダリティ: ビデオ入力を削除した場合（T+A）、フル設定（T+A+V）と比較して吹き替え歌詞へのセマンティック類似性が低下した。これは、ビデオの文脈が、文脈に即した言い換えを生成するために極めて重要であることを示唆している。
• CoT ステップ: 「音節リスト」の生成と「洗練」のステージが不可欠であった。これらのステップを削除すると、音節エラーが大幅に増加した。これは、制約を強制するために構造化された推論プロセスが必要であることを裏付けている。
• モデルの選択: GPT-4o や Qwen2.5 は単純な制約下では良好な性能を示したが、Gemini は CoT アプローチを利用した際に優れた性能を示し、推論中に複数の制約を同時に追跡する能力が高いことが浮き彫りになった。

ユーザー調査

ネイティブスピーカーによるユーザー調査（各言語10名）では、翻訳の歌唱性、意味、および全体的な品質を評価した。SylAVL-CoT は、すべての言語において最高の 全体的な品質 スコアを獲得し、特に 歌唱性 において他のモデルを圧倒した。

重要性と主張

本論文は、MAVL と SylAVL-CoT が、テキストのみの限界を超えた歌詞翻訳の決定的なギャップを埋めるものであると主張している。

• 初のマルチモーダル・ベンチマーク: MAVL は、テキスト、オーディオ、ビデオにわたる多言語の歌詞翻訳をサポートする初のデータセットとして提示されており、これらのモダリティを統合するモデルの評価を可能にする。
• 効果的な制約処理: CoT 推論を既存の MLLM で活用することで、リソース集約的なファインチューニングを行うことなく、厳格な音節制約を強制できることを実証している。
• 人間のような適応: セマンティックな適応および音素的な自然さにおいて人間による翻訳された吹き替え歌詞と一致することで、提案されたアプローチは、逐語的な機械翻訳と、プロの楽曲ローカライズにおける創造的・音楽的な要求との間の溝を埋める。

著者らは、自らの研究がより効果的な自動歌詞翻訳システムの道を開くものであると結論づけているが、ジャンルの範囲（アニメーション・ミュージカルに集中していること）、行ごとの処理の制約、および声調言語のための専門的なメカニズムの欠如といった限界についても認めている。