技術的概要：BLADE – 多言語バングラ語生成における敬語失敗の修正

1. 問題提起

多言語大規模言語モデル（MLLMs）の進展にもかかわらず、バングラ語のような低リソース言語では、重要な「語用論的ギャップ」が依然として存在する。モデルはしばしば表面的な流暢さを達成するものの、機能的な実用性に必要な深層的な文化的・構造的慣習には従うことができない。具体的には、汎用モデルは以下の点で苦労している：

• 敬語の一貫性欠如： バングラ語は、二層構造の敬語システム（形式的・尊敬を表す「Apni」、非公式を表す「Tumi」）を通じて、文法的に社会的関係を符号化している。ゼロショットモデルは、単一の文書内でこれらの語域を頻繁に混在させ（例：学校長に対して非公式の代名詞を使用するなど）、出力を制度的に受容不可能なものにしている。
• 構造的欠陥： モデルは、日付、件名、挨拶、署名などの必須文書構成要素を欠落させたり、誤った位置に配置したりすることが多く、バングラ語の制度的文書の規範的な順序に従えていない。
• 語域への無関心： 現在の事前学習データは、ウェブ規模のコーパスや機械翻訳された指示から派生することが多く、形式に敏感で文化的に適切な談話マーカーを内面化するために必要な「語域を意識した監督」が欠如している。

著者らは、これは語彙の問題ではなく、制度的文書が文法的に社会的関係を符号化するあらゆる言語に影響を与える構造的限界であると主張している。

2. 手法

BLADE データセット

これらのギャップに対処するため、著者らは BLADE（BangLa Applications and DialoguEs）を導入した。これは、2,008 の固有トピックにわたる 4,196 の高品質なプロンプト - 応答ペアから構成されるキュレーションされた指示微調整データセットである。このデータセットは、教育、専門職、行政、会話の各ドメインを網羅している。

データ取得パイプライン（3 段階）：

1. 制度的教科書（1,972 サンプル）： 政府承認の NCTB 教科書から抽出され、規範的な文書フォーマットの「ゴールドスタンダード」を確立する。
2. 公開ウェブポータル（1,382 サンプル）： 検証済みのバングラ語教育ポータルからキュレーションされ、語域の一貫性欠如や構造的欠陥により約 23% が破棄された。
3. 著者合成例（842 サンプル）： 複雑で過小評価されたシナリオ（例：持続的な敬語の一貫性を必要とする多ターン対話）に対処するために特別に作成され、ネイティブの言語専門家によって相互検証された。

主要な設計原則：

• 語域への意識： 挨拶、代名詞、動詞の形態論、結びの表現の一貫した整合性を強制する。
• 構造的忠実性： 規範的な文書順序（日付→宛先→件名→挨拶→本文→結び→署名）への厳格な準拠。
• トピックの多様性： 一般的なウェブコンテンツではなく、現実世界の制度的文書に焦点を当てる。

実験設定

• ゼロショットベースライン： ギムニティ -2.5-Flash、LLaMA-4-Scout-17B、Kimi-K2-32Bを含む5つの最先端モデルを、微調整なしでBLADE上で評価した。
• 教師あり微調整（SFT）： 4 つのアーキテクチャ（DeepSeek-8B、Qwen2-1.5B、LLaMA-3.2-3B、TigerLLM-1B）を パラメータ効率型微調整（PEFT） を用いて微調整した。
  • 手法： ランク $r=16$、$\alpha=32$ の LoRA（低ランク適応）。
  • 量子化： 4 ビット NormalFloat（NF4）。
  • ハードウェア： デュアル NVIDIA Tesla T4 GPU（32 GB VRAM）。
  • 構成： 2 エポック、2048 トークンのシーケンス長（スライディングウィンドウパッキング付き）、コサイン学習率減衰（$2\times10^{-5}$）、形式認識型プロンプトテンプレート。

評価指標

本研究は、多面的な評価フレームワークを採用している：

1. 自動指標： BLEU、chrF（文字 n-gram F スコア）、ROUGE-L、WER（単語誤り率）、BERTScore。
2. LLM によるジャッジ： GPT-4.1 が、構造的正確性、語域の一貫性、意味的関連性に基づき、450 サンプルを 1〜10 点のスケールで評価した。
3. 人間による評価： 3 人のネイティブバングラ語文献学の専門家が、構造的完全性、流暢さ、文化的整合性について、5 点リッカート尺度で 100 の層化サンプルを評価した。

3. 主要な結果

ゼロショット性能

最も強力なゼロショットベースライン（例：Gemini-2.5-Flash）でさえ、機能的に実用可能なバングラ語文書を生成できず、最大 BLEU スコアはわずか 7.88 であった。

• 失敗モード： 日付や件名の欠落などの体系的な構造的移動、および「Apni」と「Tumi」の間を揺れ動く敬語の不一致。
• 人間によるスコア： ゼロショットベースラインは、構造的完全性において平均 1.85/5 を記録した。

微調整性能

BLADE での微調整は、すべてのモデルで大幅な改善をもたらし、低リソースの語用論的生成においてはモデルの規模よりもデータの品質が重要であることを示した。

• DeepSeek-8B： 最も劇的な改善を示し、BLEU が 22 倍（0.78 → 17.73）増加し、chrF が 9.85 から 45.87 に上昇した。LLM ジャッジスコアは 3.8 から 8.9 に跳ね上がった。
• Qwen2-1.5B： 小規模であるにもかかわらず、SFT 後の WER が最低（0.84）で、BERTScore が最高（0.748）となり、これらの指標においてゼロショットの Gemini-2.5-Flash を上回った。
• 人間による評価： SFT 後のモデルは、すべての次元（構造、流暢さ、文化的整合性）で平均スコアが 4.6/5 を超えた。
• 収束： 自動指標、LLM ジャッジスコア、人間専門家の評価が収束し、表面的な指標の膨張ではなく、機能的実用性の真の改善が確認された。

アブレーション研究

本研究は、成功のためのいくつかの重要な要因を特定した：

• コンテキスト長： 512 トークンから 2048 トークンへの拡張は、長文の構造的完全性を維持する上で決定的であった。
• プロンプト設計： 形式認識型テンプレートと明示的な役割タグは、WER を大幅に減少させ、構造的スコアを向上させた。
• アダプター構成： 注意機構と MLP 層の両方に LoRA を適用することは、注意機構のみの適応よりも優れていた。

4. 意義と主張

本論文は、低リソースの語用論的生成において、指示微調整データの文化的特異性がモデルの規模よりも重要であると主張している。

• 規模よりデータ： 専門家がキュレーションし、語域を意識したデータで微調整されたコンパクトなモデル（Qwen2-1.5B）は、桁違いに大きなゼロショットの最先端モデル（Gemini-2.5-Flash）を上回った。
• 機能的実用性： 主要な貢献は、モデルの出力を「表面的な流暢さ」から「制度的に受容可能な」文書へとシフトさせることである。著者らは、語域を意識した監督がなければ、汎用の事前学習は、バングラ語のような言語に必要な特定の文化的慣習を代替できないと主張している。
• ベンチマーク： BLADE は、低リソースかつ高コンテキスト環境における語用論的ギャップの測定と、微調整戦略の有効性の評価のための厳密なベンチマークとして機能する。

著者らは、BLADE が多言語テキスト生成における語用論的格差を埋める道筋を提供しており、過小評価された言語における将来の進展は、単にパラメータ数を増やすことではなく、高品質でドメイン固有の監督に依存すると結論付けている。