HUKUKBERT: Domain-Specific Language Model for Turkish Law

以下は、提示された論文「HUKUKBERT: DOMAIN-SPECIFIC LANGUAGE MODEL FOR TURKISH LAW（HUKUKBERT：トルコ法に特化したドメイン固有言語モデル）」の技術的概要です。

1. 背景と課題 (Problem)

トルコ語の自然言語処理（NLP）分野において、一般領域のモデル（BERTurk や TabiBERT など）を法律分野に適用する際、以下の重大な課題が存在していました。

• データとモデルの不足: 英語圏では「LEGAL-BERT」のような大規模な法分野特化モデルが存在しますが、トルコ語には同様の高品質なモデルが不足していました。
• 語彙的・意味的乖離（Semantic Shift）: 法律用語は日常語とは異なる専門的な意味を持ちます（例：「miras（相続）」ではなく法的に正確な「tereke（遺産）」という用語が必要）。一般モデルは文脈を誤って解釈し、俗語的な予測をしてしまいます。
• トークン化の断片化: トルコ語は膠着語であり、法律文書には複雑な複合語や古語が含まれます。汎用トークナイザは重要な法用語を意味のないサブワードに分割してしまいます（例：「İçtihadı Birleştirme Kararı」を 7 つの断片に分割）。これにより、意味的一貫性が損なわれ、モデルのコンテキストウィンドウが非効率に消費されます。
• 構文の複雑さ: 裁判所判決文は非常に長く、複雑な条件節や定型文（ボイラープレート）を含んでおり、一般の言語モデルはこれを適切に処理できません。

2. 提案手法と方法論 (Methodology)

著者らは、これらの課題を解決するために「HukukBERT」を開発しました。その核心となる技術的アプローチは以下の通りです。

A. 大規模かつバランスの取れた法コーパスの構築

• データ収集: 最高裁（Yargıtay）、行政裁判所（Danıştay）、憲法裁判所（AYM）の判決、立法、学術論文などから構成される、約 27GB の生データを収集しました。
• 前処理とダブり除去: MinHash LSH アルゴリズムを用いて約 200 万件の類似文書を削除し、24.6GB に削減しました。
• ドメインバランスの調整: 最高裁判決が過剰に含まれていたため、これを 3.51GB に縮小し、学術論文や立法テキストなどの分析的内容を相対的に増やすことで、最終的に**18.93GB（約 230 万件の文書）**のバランスの取れた学習コーパスを完成させました。

B. ドメイン最適化トークナイザの設計

• 48K WordPiece トークナイザ: 一般の 32K や 128K ではなく、法用語を網羅する48,000 語の辞書をゼロから学習しました。
• 初期化戦略: 既存の BERT 埋め込み行列から共通する 76.7% のトークンの重みを転移し、新規の法用語には平均初期化を適用しました。
• 効果: 一般モデルが 1 行あたり平均 6.4〜7.4 のサブワードに分割するのに対し、HukukBERT は4.82に抑え、複雑な法用語を意味のある単位として保持することに成功しました。

C. ハイブリッド・ドメイン適応事前学習（DAPT）戦略

従来のランダムなマスク（MLM）に加え、法分野の特性を考慮した 4 種類のハイブリッド・マスキング戦略を採用しました（全体マスク確率 0.25）：

1. Whole Word Masking (20%): 単語全体のサブトークンを同時にマスク。
2. Token Span Masking (20%): 連続するトークンブロックをマスク（SpanBERT 方式）。
3. Word Span Masking (30%): 連続する単語ブロックをマスク。
4. Keyword Masking (30%): 4 万語以上の法用語リストに基づき、重要な専門用語を意図的にマスク。
   これにより、モデルが表面的な文法パターンではなく、深い法的概念を学習することを強制しました。

3. 主要な貢献 (Key Contributions)

1. 大規模法コーパスの整備: トルコ語法分野初の 21GB 規模（学習後 18.93GB）の精製済みコーパス。
2. 最適化トークナイザ: 法用語の断片化を防ぐ 48K 語の WordPiece トークナイザ。
3. 新しいハイブリッド学習法: 法用語に特化した 4 段階のマスキング戦略を組み合わせた DAPT 手法。
4. 新規ベンチマーク「Hukuki Cloze Testi」: 750 問の法用語予測タスクからなる、トルコ法分野初の厳密な評価ベンチマーク。
5. 最先端性能の確立: 構造化セグメンテーションタスクにおいて、新しい SOTA（State-of-the-Art）を達成。

4. 結果 (Results)

A. 内在的評価（Hukuki Cloze Test）

• Top-1 精度: 84.40%（95% 信頼区間: 81.63%–86.82%）。
• 比較: 既存の法分野モデル（BERTurk-Legal: 75.47%）を8.93 ポイント上回り、一般モデル（TabiBERT: 68.13%）とは大きな差をつけました。
• 意味的乖離の解消: 「相続」に関する文脈で、一般モデルが「miras（相続）」と予測するのに対し、HukukBERT は法的に正確な「tereke（遺産）」を高精度で予測しました。

B. 外在的評価（裁判所判決の構造化セグメンテーション）

• タスク: 判決文を「 header, formal, claim, defense, reasoning, ruling, footer, dissent」の 8 つのセクションに分割する BIO タスク。
• Document Pass Rate: 92.8%（1 つでも境界線が間違えば不合格とする厳格な指標）。
• 比較: 一般モデル（BERTurk-128k: 84.3%）や既存法モデル（BERTurk-Legal: 81.9%）を大幅に上回りました。
• 境界精度: 99.0% を達成。

5. 意義と将来展望 (Significance & Future Directions)

• 法テック・エコシステムの基盤: トルコ語の法 NLP 研究において、大規模な事前学習済みエンコーダーとカスタムトークナイザをオープンソース化することで、計算リソースの壁を越え、研究者や開発者が法推論や文書分析に集中できる環境を提供しました。
• ドメイン適応の重要性の実証: 単にデータ量を増やす（スケーリング）だけでは法分野の課題は解決せず、**「ドメイン固有のトークナイザ」と「ターゲットを絞った事前学習」**が不可欠であることを実証しました。
• 今後の展開:
  • アーキテクチャの進化: 512 トークンの制限を克服するため、ModernBERT や ColBERT などのアーキテクチャへの移行（8,192 トークンまでのコンテキスト対応）を計画。
  • タスクの拡大: 命名実体認識（NER）、判決予測、多ラベル分類などへの適用。
  • 生成能力の欠如: 現時点ではエンコーダのみのため、契約書作成などの生成タスクには対応していないが、検索や抽出パイプラインの中核として機能します。

結論として、HukukBERT はトルコ語法分野における NLP 技術の新たな基準（SOTA）を確立し、法的文書の自動処理や分析における実用性を飛躍的に向上させた画期的な研究です。