技術要約: DuDi – Cross-Lingual Verbalizerを用いた二重信号蒸留（Dual-Signal Distillation）

問題提起

小規模言語モデル（SLM）は、効率性、スケーラビリティ、およびリソース制約のあるエッジデバイスへのデプロイメントにおいて大きな利点を提供します。しかし、その多言語能力、特に東南アジア（SEA）言語に関する能力は、モデルサイズが数十億パラメータを下回ると著しく低下します。標準的な教師あり微調整（SFT）は、サブビリオン規模のモデル（例：Qwen2.5-0.5B）において、より大規模なモデルと比較して急激な性能低下を招くことがよくあります。知識蒸留（KD）は、より大きな教師モデルから小さな生徒モデルへ知識を転送するための一般的な戦略ですが、既存の多言語KD手法は、タスク固有の設定に限定されているか、あるいはシーケンスレベルとトークンレベルの監督を効果的に統合できていないことが少なくありません。さらに、標準的な蒸留手法は、学習時と推論時のミスマッチや、高品質なトレーニングデータが不足している東南アジア言語特有の言語的多様性に苦慮することがよくあります。

手法: DuDiフレームワーク

著者らは、3つのコアコンポーネントを統合することで多言語SLMを強化するために設計された統一フレームワークであるDuDi（Dual-Signal Distillation with Cross-Lingual Verbalizer）を提案しています。

1. シーケンスレベルの信号

DuDiは、Self-Play Fine-Tuning (SPIN) に着想を得たオンラインのシーケンスレベルの目的関数を組み込んでいます。静的な反復手法とは異なり、DuDiはリアルタイムで応答（$y' \sim \pi_\theta(x)$）をサンプリングします。モデルは、グラウンドトゥルース（正解）の応答に対する相対的な尤度を最大化することで、現在のポリシーとグラウンドトゥルースを区別するように学習されます。これにより、生徒のポリシーを動的にグラウンドトゥルースの方向へと導きます。

2. トークンレベルの信号（Dual-Signal）

生徒が生成したデータや静的なデータセットのみに依存する制限に対処するため、DuDiはトークンレベルの監督のために二重信号アプローチを採用しています。

• オフポリシー信号（Off-Policy Signal）: トレーニングコーパスに由来し、教師が提供するロジットを使用することで、監督信号が厳密にグラディショナル・トゥルースの分布に根ざしていることを保証します。これにより、学習されたポリシーがターゲットのデータ分布から逸脱することを防ぎます。
• オンポリシー信号（On-Policy Signal）: 生徒が生成した応答（$\tilde{y} \sim \pi_\theta(x)$）に由来し、この信号により、教師は生徒の自己生成出力を洗練させ、リアルタイムで間違いを修正することができます。

3. Cross-Lingual Verbalizer（クロス言語バーバライザー）

多言語設定における知識の転移性を向上させるため、DuDiはクロス言語バーバライザーを導入しています。このコンポーネントは、入力プロンプト（$x$）、グラウンドトゥルース（$y$）、ソース言語（$l$）、およびサンプリングされたターゲット言語（$l_z$）を、教師用の構造化されたバーバライズド・プロンプト（$z$）と、生徒用の対応するプロンプト（$p_z$）へと変換します。

• メカニズム: 教師は、デモンストレーションと共にソース言語でのプロンプトを受け取ります。その後、生徒はターゲット言語（トレーニングセットから一様にサンプリングされ、ソース言語を除外し、英語を含む）で応答を生成するよう指示されます。
• 目的: これにより、生徒が言語の境界を越えて教師のガイダンスに従ってオンポリシーの生成を行うことを強制し、より豊かな学習信号を促進します。

統一された学習目的関数

最終的な学習目的関数（$L_{DuDi}$）は、以下の加重和です：

1. シーケンスレベルの整合性（SPINスタイル）。
2. オフポリシーのトークンレベル蒸留（グラウンドトゥルースによる誘導）。
3. オンポリシーのトークンレベル蒸留（クロス言語バーバライザーを介した教師による誘導）。

主な貢献

1. DuDiフレームワーク: シーケンスレベルの目的関数と、二重信号（オフポリシーおよびオンポリシー）のトークンレベル監督を共同で最適化する、汎用的な多言語蒸留フレームワーク。
2. Cross-Lingual Verbalizer: 入力とデモンストレーションを、異なるターゲット言語で応答を生成するように生徒を導くプロンプトに変換することで、教師のフィードバックを洗練させ、転移性を高める新しいメカニズム。
3. 包括的な分析: シーケンスレベルの最適化、トークンレベルの監督、およびクロス言語のバーバライゼーションが、補完的かつ転移可能な学習信号を提供することを確認する、広範なアブレーション研究と分析。

実験結果

著者らは、7つの東南アジア言語（インドネシア語、ベトナム語、タイ語、タミル語、タガログ語、マレー語、ビルマ語）を用いて、SEA-HELMベンチマークでDuDiを評価しました。

• 性能: DuDiは、SFT、DFT、SPIN、SDFT、SeqKD、GKDを含む競争力のあるベースラインを一貫して上回りました。
  • Qwen2.5-0.5Bにおいて、DuDiは平均スコア10.1を達成し、2番目に優れたベースライン（DFTの9.7）およびSPIN（9.5）を統計的に有意に上回りました。
  • DuDiは、異なるモデルファミリー（Qwen2.5、Qwen3、Llama3.2）およびスケール（0.5Bから1.5Bの生徒モデル）にわたって堅牢性を示しました。
  • Qwen3-0.6Bの設定では、強力なGKDベースラインに対して平均性能を**15.6%**向上させました。
• アブレーション研究:
  • オフポリシーKDを除去すると、最大の性能低下（-24.6%）が発生し、ターゲット分布へのモデルの接地におけるその決定的な役割が浮き彫りになりました。
  • オンポリシーKDを除去すると、-6.6%の低下が生じました。
  • バーバライザーを除去すると、-5.0%の低下が生じました。
  • バーバライザーのターゲット言語セットから英語を除外すると、性能が低下し、英語がより良いクロス言語転移を促進することが示唆されました。
• バーバライザーの分析: オーバーラップ比率の分析により、クロス言語バーバライザーがオンポリシーのロールアウト中に教師と生徒のロジット間で最高の合致を実現したことが示され、これが最も情報量の多い監督信号を提供していることが確認されました。
• 初期化: 「コールドスタート」SFT（グラウンドトゥルースデータで微調整されたモデルから初期化すること）が極めて重要であることを研究で確認しました。ベースモデルまたは教師生成の出力から直接初期化すると、性能が著しく低下しました。

意義と主張

本論文は、補完的な学習信号を活用することで、多言語能力のスケーリングダウンという特定の課題に対処できることを主張しています。著者らは以下のように述べています。

• 共同最適化の必要性: 各コンポーネント（シーケンス信号、二重トークン信号、バーバライザー）は独立して効果を発揮するのではなく、多言語SLMにおいて最先端の結果を達成するためには、それらを統合して最適化する必要があります。
• クロス言語転移: クロス言語バーバライザーは、英語のみ、あるいは単一言語のバーバライザーの限界を克服し、教師と生徒の知識転移性を向上させる鍵となる革新的なメカニックです。
• 堅牢性: フレームワークは異なるモデルアーキテクチャやスケールに対して堅牢であり、東南アジアのような多様な低リソース言語環境において、効率的な多言語SLMをデプロイするための実行可能なソリューションとなります。

著者らは、DuDiが多言語環境におけるSLMのための効果的な微調整フレームワークを提供すると結論付けており、オープンな研究のためにすべての成果物（コード、データセット、モデル）を公開するとしています。