テクニカル・サマリー：Mecellem モデル

問題提起

主に英語中心のデータで学習された大規模言語モデル（LLM）は、非英語圏の言語や高度にフォーマルな領域において性能の低下を示します。トルコの法務ドメインは、その形態論的な豊かさ（膠着語としての構造）、複雑な統語的変異、集中的な専門用語、および厳格な規範的制約 due to 特有の課題を抱えています。既存のトルコ語法務NLPへのアプローチは、主に伝統的な機械学習、トランスフォーマーベースの分類、または小規模モデルのパラメータ効率の高い微調整（PEFT）に依存してきました。しかし、これらの手法は深いドメイン適応には不十分であることが多く、効果的な法的情報の検索および生成に必要な、微細な言語パターンや長文脈の推論を捉えることができません。さらに、標準的な事前学習目的関数（例：Masked Language Modeling loss）は、特に形態論的に豊かな言語において、必ずしもダウンストリームの埋め込み有用性と相関しません。

手法

本論文では、2つの補完的なアプローチを通じて、特化したトルコ語法務言語モデルを開発するためのフレームワークである Mecellem を紹介します。

1. エンコーダーモデル：スクラッチからの事前学習

著者らは、ModernBERT アーキテクチャに基づいた双方向エンコーダーモデルを開発し、精選されたトルコ語主体のコーパスを用いて完全にスクラッチから事前学習を行いました。

• データ: コーパスは、1127億トークンで構成されており、トルコの法的テキスト（最高裁判所、国務院、学術論文）と一般的なウェブデータ（FineWeb2、CulturaX）を組み合わせています。データには、スキャンされた文書に対するVLMベースのOCR抽出（DotsOCR）、意味的重複排除（SemHash）、および接尾辞エントロピーとレマ多様性に基づくトルコ語特有の品質フィルタリングを含む、厳格な前処理が施されました。
• アーキテクチャ: Base (155M パラメータ) と Large (403M パラメータ) の2つのモデルサイズを訓練しました。両者は交互のローカルおよびグローバル・アテンションを利用し、RoPE位置エンコーディングを採用し、最大8,192トークンのシーケンス長をサポートしています。
• 学習戦略:
  • 事前学習: 30%のマスキング率（80-10-10戦略）を用いたMasked Language Modeling (MLM) を使用しました。
  • チェックポイント選択: MLM損失の最小化のみに依存するのではなく、訓練を通じて ダウンストリームの検索性能 を評価する戦略を実装しました。これにより、最適なチェックポイントは、事前学習の損失が最小値に達する 前 に発生することが多いことが明らかになりました。
  • ポスト学習: エンコーダーは、MS MARCO-TRデータセットを用いた対照学習によって埋め込みモデルへと変換されました。これには、標準的なInfoNCE、Qwen3スタイルのInfoNCE、および偽陰性フィルタリングのためのキャッシュされたガイドモデル（BGE-M3、EmbeddingGemma-300M）を用いた GISTEmbed が含まれます。

2. デコーダーモデル：継続的事前学習 (CPT)

著者らは、既存の Qwen3-1.7B および Qwen3-4B デコーダーモデルを、継続的事前学習を通じてトルコの法務ドメインに適応させました。

• 戦略: 1.7Bモデルに対しては、一般的なトルコ語テキストからドメイン固有の法的コンテンツ、長大な規範的文書、そして最終的な拡張ドメイン精緻化へと進む 4フェーズのカリキュラム学習 アプローチを採用しました。4Bモデルは、単一フェーズの大規模なCPTを受けています。
• 破滅的忘却の軽減: カリキュラム構造とリプレイバッファ（フェーズ2においてフェーズ1のデータを再導入すること）を用いることで、法的専門知識を獲得しつつ、一般的な言語能力を保持しました。
• 評価: 性能はEuroHPC-Legalデータセットにおけるパープレキシティを通じて測定され、法定の正確性、法的推論、および引用の質を評価するために訓練されたドメイン特化型の報酬モデルである Muhakim を用いて評価されました。
• デコーダーからエンコーダーへの変換: CPTデコーダーモデルは、言語モデリングヘッドを削除し、双方向アテンションを有効にし、平均プーリングを適用することで、埋め込みモデルへと変換されました。

主な貢献

1. トルコ語法的埋め込みのためのスクラッチ事前学習: 1127億トークンでスクラッチから事前学習されたModernBERTベースのエンコーダーの作成により、ドメイン固有のスクラッチ事前学習がトルコの法的タスクに対して効果的であることを実証しました。
2. ダウンストリームを意識したチェックポイント選択: 形態論的に豊かな言語においては、最適なチェックポイントが必ずしも事前学習の最小損失と一致しないという新しい知見を示しました。中間的なチェックポイントが優れた埋め込み品質をもたらすことが多くあります。
3. 制御された継続的事前学習: カリキュラム学習を用いたQwen3モデルへのCPTの適用に成功し、破滅的忘却を抑制しながら、大幅なパープレキシティの減少（1.7Bモデルで最大43.1%）を達成しました。
4. トルコ特有のデータエンジニアリング: 複雑な文書に対するVLMベースのOCRや、形態論駆動型の品質フィルタ（接尾辞エントロピー、レマ多様性）を含む、トルコの法的データを抽出・クリーニングするための堅牢なパイプラインの開発。
5. 包括的なベンチマーク: MTEBをトルコ特有のタスクと3つのドメイン固有の法的検索ベンチマーク（契約、規制、判例）へと拡張した評価フレームワーク MTEB-Turkish の導入。

結果

• エンコーダーの性能:
  • Mursit-Base-TR-Retrieval (155M) および Mursit-Large-TR-Retrieval (403M) モデルは、トルコ語検索リーダーボードでトップ3に入りました。
  • 最先端のモデル（例：EmbeddingGemma-300M、BGE-M3）よりも大幅に少ないパラメータ数であるにもかかわらず、Mecellemモデルは同等の性能を達成しました。155Mモデルは 55.86 MTEBスコア および 47.52 法務スコア を達成し、より大きな変換済みデコーダーモデルを上回りました。
  • これらのモデルは、SOTAモデルに対して 92.36%の生産効率 を達成し、より少ない計算リソースを必要としながら全体で4位にランクインしました。
• デコーダーの性能:
  • CPTにより、Qwen3-4Bモデルではトルコ語の法的テキストに対して 36.2%、Qwen3-1.7Bモデルでは最大 43.1% のパープレキシティ減少が実現しました。
  • Muhakim報酬モデルによる評価では、CPTモデルは、特に短文脈の制約下において、法的正確性、条文参照、および網羅性の深さにおいてベースモデルを一貫して上回りました。
• アブレーションによる洞察:
  • シーケンス長: シーケンス長を訓練データの分布（例：256トークン）のみに基づいて最適化すると、長いシーケンス（2048トークン）と比較して大幅な性能低下（規制検索において最大23.6%）を招きました。これは、法務ドメインにおける長文脈理解の必要性を強調しています。
  • 偽陰性フィルタリング: ガイドモデルを用いたGISTEmbedの使用により、標準的なInfoNCEと比較して法的検索スコアが 15.9% 向上しました。
  • アーキテクチャ: スクラッチから事前学習された専用のエンコーダーモデルは、パラメータ数が多いにもかかわらず法的検索タスクに苦戦したデコーダーからの変換モデルを上回りました。

意義と主張

本論文は、トルコの独特な言語的複雑さに合わせて訓練戦略を調整すれば、ドメイン固有の事前学習および制御された継続的事前学習を通じて、効果的なトルコ語法務言語モデルを開発できると主張しています。

主な主張は以下の通りです：

• MLM損失は埋め込み品質のプロキシではない: トルコ語のような形態論的に豊かな言語では、事前学習の損失を最小化することが、必ずしも最適なダウンストリームの埋め込み性能を保証するわけではありません。チェックポイントの選択には、ダウンストリームタスクの直接的な評価が不可欠です。
• パラメータ効率: 小規模でドメイン特化型のモデル（155M パラメータ）は、より大規模なマルチステージ・ポストトレーニング済みモデルと同等の性能を達成でき、法務NLPアプリケーションに対するコスト効率の高い代替案となります。
• カリキュラム学習の必要性: 小規模なモデルにとっては、破滅的忘却なしにドメイン適応を成功させるために、構造化されたマルチフェーズのカリキュラム学習が極めて重要ですが、大規模なモデルは単一フェーズの学習にも耐え得ます。
• 限界: 本論文は、広範なマルチステージ訓練インフラストラクチャ（合成データ生成、モデルマージング）なしでのデコーダーからエンコーダーへの変換は、特に専門的な法務ドメインにおいて、埋め込みタスクに対して最適ではない結果をもたらすと控えめに述べています。

著者らは、彼らの研究が、トルコの独自の法的枠組みに合わせたAI駆動型の法的ツール開発を促進するために、オープンソースのモデルとベンチマークを提供することで、これまで手薄であったトルコ語法務NLPの課題に対処するものであると強調しています。