論文「Pretraining and Benchmarking Modern Encoders for Latvian」の技術的サマリー

本論文は、低リソース言語であるラトビア語に特化したエンコーダー型トランスフォーマーモデルの事前学習と、包括的なベンチマーク評価について報告したものです。著者 Arturs Znotins（ラトビア大学）らは、RoBERTa、DeBERTaV3、ModernBERT のアーキテクチャに基づいた一連のラトビア語専用モデルを構築し、多様な言語的タスクにおいて既存の多言語モデルや以前のラトビア語モデルを上回る性能を達成しました。

以下に、問題設定、手法、主な貢献、結果、および意義について詳細をまとめます。

1. 問題設定 (Problem)

• 低リソース言語の課題: ラトビア語のような低リソース言語は、大規模な多言語モデル（mBERT, XLM-R など）の事前学習コーパスにおいて十分に表現されていません。パラメータや語彙が多数の言語で共有されるため、ラトビア語に対する容量が希薄化し、最適な表現が得られない傾向があります。
• 単言語モデルの不足: 多言語モデルに依存するのではなく、ラトビア語に特化した単言語エンコーダーが存在するものの、その数は限られており、最新のアーキテクチャ（DeBERTaV3 や ModernBERT など）を取り入れたモデルは不足していました。
• 評価基準の断片化: ラトビア語のモデル評価は、構文タグ付けや固有表現認識（NER）に偏っており、統一的なベンチマークやリーダーボードが存在しない状態でした。

2. 手法 (Methodology)

2.1 データセットの構築

• 大規模コーパス: 最終的に64.3 億語（6.43 billion words）のラトビア語テキストで構成されるコーパスを構築しました。
  • ソース: FineWeb2、HPLT-v2（クリーン版）、スクレイピングされたニュース、ツイート、書籍、学術論文、Wikipedia、ラトビア国立コーパスコレクション（LNCC）など。
  • 前処理: 重複除去（MinHash LSH）、品質フィルタリング（KenLM 言語モデルによるパープレキシティスコアリング）、ボイラープレート除去を厳密に行い、精度を重視しました。
  • 長文コンテキスト対応: 最大 8,192 トークンのコンテキストをサポートするため、長文ドキュメントを重点的にサンプリングしたデータセット（25 億トークン）も作成しました。

2.2 トークナイザー

• HPLT-v2 で使用されている GPT-2 スタイルのバイトレベル WordPiece トークナイザー（語彙サイズ 32,768）を使用しました。

2.3 アーキテクチャと事前学習

3 つの異なるアーキテクチャに基づき、公平な比較のために1000 億トークンで事前学習を行いました。

1. RoBERTa ベース: lv-roberta-base。Span ベースのマスク（30%）を使用。
2. DeBERTaV3 ベース: lv-deberta-base。Disentangled Attention と置換トークン検出（RTD）を採用。
3. ModernBERT ベース: lv-mbert-mini/base/large。FlashAttention2、RoPE 位置埋め込み、トークンレベルのアンパディングなど、最新の効率化技術を採用。3 段階の学習（安定フェーズ、コンテキスト拡張フェーズ、コールドダウンフェーズ）を行い、最大 8,192 トークンのコンテキストをサポート。

2.4 評価ベンチマーク

既存のモデルとの比較のため、以下の 3 つのカテゴリーで評価を行いました。

• 軽量診断タスク (EuroEval 風): 少量データでの微調整を想定。感情分析（LTEC）、言語的受容性（ScaLA）、NER（FSNER）、読解問題（WikiQA）、常識推論（COPA）。
• Universal Dependencies (UD): 形態素解析、品詞タグ付け、依存関係解析。
• 単語意味曖昧性解消 (WSD): 著者らが新たに構築・公開した、ラトビア語 WordNet に基づく手動アノテーションデータセット。

3. 主な貢献 (Key Contributions)

1. ラトビア語専用エンコーダーの公開: RoBERTa、DeBERTaV3、ModernBERT の各アーキテクチャに基づき、サイズ別（ミニ、ベース、ラージ）および長文コンテキスト対応版を含む一連の事前学習済みモデルを公開しました。
2. 統合ベンチマークの導入: ラトビア語の事前学習エンコーダーを包括的に評価するための統一的なベンチマークスイート（診断タスク、UD、WSD）を構築し、公開しました。
3. 高性能モデルの確立: 1 億 1100 万パラメータの lv-deberta-base が、5 億 6000 万パラメータの多言語モデル（XLM-R Large）など、はるかに大きなモデルを上回る性能を達成しました。

4. 結果 (Results)

4.1 全体的な性能

• 最優秀モデル: lv-deberta-base（111M パラメータ）が、ほぼすべてのタスクで最高またはそれに準ずる性能を記録しました。
• 多言語モデルとの比較: 多言語モデル（XLM-R, mDeBERTaV3, mmBERT など）や以前のラトビア語モデル（LVBERT, LitLat BERT, HPLT-BERT）を凌駕しました。特に、パラメータ数が 5 分の 1 程度であっても、より優れた性能を示しました。

4.2 具体的なタスクごとの成果

• 常識推論 (COPA): 多言語モデルや以前のモデルが MCC（Matthews 相関係数）20 未満で苦戦する中、lv-deberta-base は52.5という劇的なスコアを達成し、常識推論能力の大幅な向上を示しました。
• 言語的受容性 (ScaLA) と NER (FSNER): 多くのモデルで高い性能が見られましたが、lv-deberta-base は一貫してトップクラスを維持しました。
• 単語意味曖昧性解消 (WSD): 新規ベンチマークにおいて、lv-deberta-base は意味選択精度78.9%、文脈 - 意味マッチング精度**83.6%**を達成し、他モデルを大きく上回りました。
• 依存関係解析 (UD): トークンレベルのタグ付けではほぼ飽和状態でしたが、構造的な予測（LAS, CLAS など）において lv-deberta-base が最も一貫した高い性能を示しました。
• LLM との比較: 大規模な商用 LLM（GPT-5 など）は COPA などの推論タスクでは優れていましたが、診断タスクや NER、読解タスクにおいては、最適化されたエンコーダー（lv-deberta-base）の方が性能が上回る、あるいは同等であることが示されました。

4.3 ModernBERT の評価

• ModernBERT ベースのモデルは、高いスループットと長文コンテキスト処理（最大 8,192 トークン）を実現しましたが、全体的な性能では lv-deberta-base や lv-roberta-base にやや劣る結果となりました。ただし、モデルサイズを大きくする（ミニ→ラージ）ことで性能が向上する傾向が見られました。

5. 意義と結論 (Significance & Conclusion)

• 単言語事前学習の有効性: 低リソース言語であっても、十分な量の単言語データを用いた事前学習は、多言語モデルに依存するよりも高品質な表現を獲得できることを実証しました。
• アーキテクチャの知見: ラトビア語のような低リソース言語の単言語設定において、DeBERTaV3 のアーキテクチャ（Disentangled Attention + RTD）が、RoBERTa や最新の ModernBERT よりも高い性能を発揮する可能性を示唆しました。
• リソースの民主化: 公開されたモデルとベンチマークは、ラトビア語 NLP の研究と実用化（RAG、検索、分類タスクなど）を加速させる基盤となります。
• 限界と今後の課題: モデルはラトビア語単一言語のみで学習されているため、コードスイッチングや多言語混在環境での頑健性は限定的です。また、コーパスにはウェブテキスト特有のバイアスやノイズが含まれており、会話言語や方言の表現が不足している可能性があります。

本論文は、ラトビア語 NLP 分野における重要なマイルストーンであり、低リソース言語向けの高品質な言語モデル構築におけるベストプラクティスを示すものと言えます。