技術要約: NE-BERT

問題提起

現代の自然言語処理（NLP）システムは、高リソース言語と低リソース言語の間で著しい性能格差を示しており、これがデジタルにおける不平等を助長している。mBERTのような汎用的な多言語モデルや、IndicBERT-V2のような地域特化型モデルは幅広いカバー範囲を提供しているものの、インド北東部の先住民族の言語を適切にサポートするには至っていない。この地域は200以上の異なる言語が存在し、極端なリソース不足（一部の言語ではデジタル化された文が1,000文未満）、膠着的な形態構造、そして多様な文字体系（ラテン文字およびベンガル・アッサム文字）という特有の課題に直面している。既存のモデルは、こうした文脈において「語彙の断片化（vocabulary fragmentation）」に苦しむことが多く、希少な単語が最適ではないサブワード単位に分解されることで、推論効率と意味的整合性が著しく低下する。

手法

著者は、ModernBERTアーキテクチャに基づき、インド北東部の9つの言語と2つのアンカー言語（ヒンディー語と英語）向けに特別に設計されたドメイン特化型の多言語エンコーダーモデルであるNE-BERTを提案している。

1. データセットの構築

学習コーパスは約830万文で構成され、以下を網羅している：

• 9つのインド北東部言語: アッサム語、ガロ語、カシ語、メイテイ語、ミゾ語、ナガ語、ニシ語、プナル語、コクロク語。
• 2つのアンカー言語: ヒンディー語および英語。
• ソース: 政府文書、ニュースアーカイブ、教育資料、文化的テキストからデータを収集。ニシ語とコクロク語の特定のパラレルコーパスは、WMT 2025 Shared Taskから取得した。

2. 重み付きサンプリング戦略

極端なデータ不均衡（Pnarの1,002文からヒンディー語の340万文まで）に対処するため、著者はトークナイザーの学習において積極的な重み付きサンプリングを採用した：

• 超低リソース言語（例：Pnar、Kokborok）には、語彙表現を確保し、文字レベルの断片化を防ぐために100倍のアップサンプリングの重みを付与した。
• アンカー言語は、北東部の言語の語彙を優先しつつ、言語間転移能力を維持するためにダウンウェイト（ヒンディー語 0.05倍、英語 0.2倍）した。
• 注記: これらの仮想的なカウントはトークナイザーの学習にのみ適用され、実際のMasked Language Modeling (MLM) 学習では、過学習を防ぐために生の文数を使用している。

3. トークナイゼーション

本論文では、より一般的なByte-Pair Encoding (BPE) ではなく、カスタムのSentencePiece Unigramトークナイザー（50,368トークン）を使用している。

• 根拠: Unigramの確率的アプローチは、BPEの貪欲なマージ戦略と比較して、膠着語の言語構造をより良く保持できるためである。
• 構成: トークナイザーは、低リソース言語の一般的な単語が単一のトークンを形成するように、重み付きの仮想カウントを用いて学習された。これにより、シーケンス長を短縮し、意味的整合性を向上させている。

4. モデルアーキテクチャと学習

• ベース: ModernBERT-base (Warner et al., 2025) を採用。パラメータ数は149M（22レイヤー、7面隠れ層次元、12アテンションヘッド）。
• 特徴: 回転位置埋め込み (RoPE)、Flash Attention 2、およびスループット向上のためのアンパディング（unpadding）を搭載。
• 学習: 15%のマスキング確率と動的マスキングを用いたMLMを用いて、10エポックにわたって学習。
• 効率性: 単一のNVIDIA A40 GPU (48GB VRAM) で約17時間、コストは7.31ドルで学習された。

主要な結果

パープレキシティ性能

NE-BERTは、保持されたテストセット（各言語500文）を用いて、IndicBERT-V2、MuRIL、mBERTと比較評価された。

• 全体的な性能: NE-BERTは、9つの北東部言語全体で平均2.21のパープレキシティを達成し、IndicBERT-V2 (35.29) および MuRIL (16.88) を大幅に上回り、mBERT (2.76) も凌駕した。
• 平均改善率: 9つのインド北東部言語において、NE-BERTはIndicBERT-V2に対して15.97倍、MuRILに対して7.64倍低い平均パープレキシティを達成した。
• 超低リソース言語での利得: 最も劇的な改善は、データが最小限の言語で見られた。Pnar (1,002文) と Nyishi (55,870文) では、NE-BERTはパープレキシティをそれぞれ2.92と4.33まで減少させたが、IndicBERT-V2は致命的な失敗（パープレキシティ 66.92 および 187.20）を示した。
• 高リソース言語の性能: Wikipediaの範囲が広い言語（アッサム語、メイテイ語）では、mBERTも競争力のある数値を示したが、NE-BERTは依然として優れた、あるいは同等の結果を出した。

トークナイゼーション効率

• ファーティリティ（Fertility）: NE-BERTは、北東部言語に対して平均1.68トークン/単語のトークナイゼーション・ファーティリティを達成した。これはIndicBERT-V2 (2.08)、MuRIL (2.14)、mBERT (2.51) と比較して、mBERTに対して1.50倍の改善である。
• 1文字あたりのビット数 (BPC): NE-BERTは平均0.347 BPCを達成し、IndicBERT-V2 (1.497) や MuRIL (1.271) よりも優れた圧縮効率を示した。

ダウンストリーム評価

カシ語、ミゾ語、ナガミーズにおける品詞（POS）タグ付けタスクにおいて：

• NE-BERTは平均**82.4%**の精度を達成し、mBERT (73.3%) を9.1ポイント、IndicBERT-V2 (59.2%) を23.2ポイント上回った。

意義と主張

本論文は、適切なトークナイゼーションを伴うドメイン特化型モデルが、わずか1,000文の学習文であっても、超低リソース言語に効果的に対応できることを実証している。

• 規模よりも語彙の最適化: 結果は、低リソースの性能のためにモデルサイズをスケールさせることだけでは不十分であるという概念に異を唱えている。著者は、これらの特定の言語的文脈においては、生のパラメータ数よりも、慎重な語彙の最適化（重み付きUnigramトークナイゼーションによる）とターゲットを絞った学習データの方が重要であると主張している。
• コスト効率: 競争力のあるモデルを単一のGPUで10ドル未満で学習できたことは、過小評価されている言語のための言語モデルを開発するための実用的なブループリントを提供する。
• デジタル・インクルージョン: 「多言語性の呪い」と語彙の断片化に対処することで、NE-BERTは、主流のNLP研究から大きく取り残されてきたインド北東部コミュニティのNLP研究とデジタル・インクルージョンを支援することを目指している。

著者は、再現性とコミュニティ主導のアプリケーションを促進するため、モデル、トークナイザー、学習コーパス、およびテストセットをCC-BY-4.0ライセンスの下で明示的に公開している。また、エンコーダーのみのアーキテクチャであること（生成タスクには不向きであること）や、多様なタスクおよび全9言語に対するさらなるダウンストリーム評価の必要性といった限界についても認めている。