技術要約: DiaLLM – 英語方言適応における堅牢性・生成ギャップに関する調査

1. 問題提起

大規模言語モデル（LLM）は、方言的な英語を理解する能力において向上を見せているが、出力は主に標準的な米国英語に偏っている。これは「堅牢性・生成ギャップ（robustness-generation gap）」を生み出している。すなわち、モデルは方言的な入力には耐えうる（堅牢性）が、方言に即した出力を生成することには失敗する（生成）。既存のアプローチ（例：TADA、HyperLoRAなどの方言アダプターや、低ランク適応であるLoRDD）は、主に方言入力下での自然言語理解（NLU）の堅牢性を対象としている。これらは、継続的事前学習（CPT）、教師あり微調整（SFT）、およびアライメントにわたるフルパイプラインの適応を体系的に調査したり、モデルが真に方言的なテキストを生成できるかどうかを明らかにしたりしたことはない。さらに、現在のベンチマークは、入力の堅牢性に焦点を当てており、方言生成のニュアンスを捉えきれていないことが多い。

2. メソドロジー

2.1 ベースモデルとコーパス

本研究では、異なるアーキテクチャとパラメータ範囲を持つ3つのオープンウェイトLLMファミリー、Llama 3.1-8B、Qwen 3-8B、Gemma 3-4B-itを利用する。
これらのモデルに対し、18の英語変種（「インナー・サークル」の英国や米国から、「アウター・サークル」のインドやナイジェリアまでをカバー）を含むInternational Corpus of English (ICE)（約2,000万トークン）を用いて継続的事前学習（CPT）を行う。CPTは、メモリ効率の良いフルパラメータ最適化を行うためにGaLoreを用いて実行される。

2.2 ポストトレーニング・パラダイム

CPTチェックポイントから、著者らは2つの異なる適応スレッドを追求する：

1. 暗黙的適応 (Implicit Adaptation): 一般的な嗜好データ（UltraFeedback）を用いた標準的な指示チューニング（SFT）と、広範なアライメントを適用する。このスレッドでは、SFT中に特定の方言を明示的にターゲットとはしない。
2. 明示的適応 (Explicit Adaptation): Multi-VALUEライブラリとeWAVEの特徴量を用いて、好ましい補完文をターゲットの方言（オーストラリア、インド、北イングランド英語）に変換したデータセットを用いた方言特化型SFT（SFTd）を適用する。その後、変種をターゲットとしたアライメントを行う。

2.3 アライメント戦略

両方のパラダイムにおいて、3つのアライメント手法を比較する：

• Direct Preference Optimisation (DPO): 対照的なペア（方言的 vs 標準的）から直接最適化を行うオフライン手法。
• Group Relative Policy Optimisation (GRPO): プロンプトごとに複数のロールアウトを生成し、グループ平均報酬からベースラインを推定するオンライン手法。
• Group Sequence Policy Optimisation (GSPO): GRPOと同様だが、バイアスを避けるためにトークンレベルの重要度サンプリングではなく、シーケンスレベルの再重み付けを採用する。

2.4 報酬定式化

オンラインアライメント（GRGRO/GSPO）では、以下の複合報酬関数を使用する：
$$R = \lambda \cdot \phi_{dial}(y) + \frac{1-\lambda}{2} \cdot \phi_{comet}(y, \hat{y}) + \frac{1-\lambda}{2} \cdot \phi_{cos}(y, \hat{y})$$

• $\phi_{dial}(y)$: eWAVE類型論データベースから抽出された135の形態音韻論的および語彙的特徴を検出するマルチラベル分類器から得られるログ和報酬。
• $\phi_{comet}$ および $\phi_{cos}$: SFTで選択された補完文に対する意味的忠実度と意味保持を保証する指標。
• $\lambda$ は、方言的特徴を優先するために 0.80 に固定されている。

2.5 評価

評価は標準的なベンチマーク（BBH, GPQA, GLUE, VALUE, BESSTIE）を超え、以下を含む：

• 自動指標: ターゲットの方言を検出するための多様体分類器（DeBERTa-v3-base）。
• 人間による嗜好評価: ネイティブスピーカーによる出力のペア比較または三者比較。
• LLM-as-Judge: 方言的特徴を評価するためにPhi-4を使用。その際、システムプロンプトに明示的なeWAVE特徴リストを含める場合と含まない場合がある。
• 言語学的分析: 訓練報酬信号に依存せずに、表面マーカー（語彙、綴り、形態音韻論）のルールベースの独立した分析を行い、方言の豊かさを検証する。

3. 主な貢献

1. DiaLLMフレームワーク: CPT、SFT、および3つのアライメント手法（DPO, GRPO, GSPO）を2つのパラダイムと3つのモデルファミリーにわたって制御された比較を提供する、フルパイプラインの方言適応フレームワーク。すべてのコード、チェックポイント、および嗜好データセットを公開する。
2. 堅牢性・生成ギャップ: ベンチマーク性能（堅牢性）は主にCPTとSFTによって駆動される一方で、アライメント手法はベンチマークには現れない形で生成スタイルを著しく変化させることを立証した。
3. 報酬・品質ギャップ: 方言的報酬信号の最適化と高品質な方言出力の生成との間の乖離を明らかにした。方言的報酬を最も積極的に最適化する手法（GRPO）は、人間のアノテーターやLLMジャッジから好まれない。また、独立した言語学的分析により、GRPOは他の手法よりも認識可能な表面マーカーが少ないことが確認された。

4. 主な結果

• 堅牢性と生成の解離: ベンチマークはCPTとSFTによって形成される。アライメント（DPO, GRPO, GSPO）はベンチマークのスコアに一貫性のない変化をもたらすが、生成スタイルを大きく変化させる。
• 明示的ターゲット化の優位性: 明示的な変種ターゲット適応（SFTd + 変種ターゲット・アライメント）は、方言として確実に認識される出力を生成し、広範なアライメントよりも人間およびLLMジャッジの両方から好まれた。
• 報酬・品質ギャップ:
  • GRPOは、すべてのモデルファミリーにおいて最高のeWAVE特徴密度（訓練目的関数）を達成した。
  • しかし、GRPOは人間のアノテーターおよびLLMジャッジによる評価において、最も好まれない手法であった。
  • 独立した言語学的分析によれば、GRPOは報酬を最大化しているにもかかわらず、LlamaおよびQwenにおいて、最も表面的な方言マーカーが少なく、特徴の多様性が低いことが判明した。これは、eWAVEベースの報酬信号が、真正で包括的な方角の質ではなく、表面的な特徴密度を助長していることを示唆している。
• 変種ごとのニュアンス:
  • インド英語 (en-IN) と 北イングランド英語 (en-UK) は、明示的な適応を明確に好む傾向がある。
  • オーストラリア英語 (en-AU) は例外であり、アノテーターはベースラインに対してSFTdへの明確な嗜好を示さなかった。これは、オーストラリア英語の特徴の微妙さやレジスターの柔軟性に起因し、カジュアルなプロンプトでは確実に引き出すことが困難であるためと考えられる。
• アライメント手法の性能: すべての条件下で支配的な単一のアライメント手法は存在しない。DPOは、特徴密度のスコアが低いにもかかわらず、知覚される品質においてGRPOよりも優れた性能を示すことが多い。

5. 意義と主張

著者らは、DiaLLMが方言適応に関する重要な経験的記述を提供し、「方言的報酬を最大化することが真正な方言テキストの生成に等しい」という仮定に異議を唱えていると主張している。

• ベンチマークの限界: 本論文は、標準的なベンチマークに依存することは、方角適応に関する不完全で誤解を招く可能性のある描写を与える可能性があると論じている。なぜなら、それらはアライメントによって引き起こされる生成の質的な変化を捉えきれていないからである。
• 報酬設計: これらの知見は、類型論的な特徴目録（eWAVEなど）を生成的な訓練のための報酬信号として用いることの具体的な限界を浮き彫りにしている。これらの目録は、認められた特徴を記録してはいるが、語用論的な条件付け、レジスター、あるいは方言の知覚的な質を考慮しておらず、それが「報酬・品質ギャップ」につながっている。
• 今後の方向性: この研究は、方角のギャップを埋めるためには、単純な特徴密度を超えたより豊かな報酬設計と、方言リソースへの継続的な投資が必要であることを示唆している。DiaLLMは、完成された解決策としてではなく、現在の方言適応の限界と、非標準的な英語の真正な生成における特有の課題を理解するための基礎的なステップとして位置づけられている。

著者らは、目標が単一の「勝利レシピ」を確立することではなく、異なるパイプラインの構成要素がどのように方言適応に寄与し、現在のアライメント手法がどこで躓いているかを経験的に示すことにあると強調している。