LegalMidm: Use-Case-Driven Legal Domain Specialization for Korean Large Language Model

以下は、論文「LEGALMIDM: USE-CASE-DRIVEN LEGAL DOMAIN SPECIALIZATION FOR KOREAN LARGE LANGUAGE MODEL」の詳細な技術的サマリーです。

1. 問題提起

オープンソースの大型言語モデル（LLM）の急速な普及により、ドメイン固有の専門モデルを作成する取り組みが進んでいます。しかし、既存のドメイン特化型 LLM（特に法分野におけるもの）は、以下の決定的な乖離に苦しんでいます。

• 現実のニーズとの不一致: 多くのモデルは、実際の法的ワークフローの微妙で重大な要件ではなく、実用性に関する単純な仮定に基づいたデータセットやプロトコルで訓練されています。
• 厳密性の欠如: 現在の手法は、法的タスクに内在する曖昧さに対処したり、データ構成や入出力形式を正当化したりすることに失敗することが多いです。
• 破滅的忘却: 汎用モデルを特定ドメインに適応させる際、汎用タスクのパフォーマンスが低下したり、モデルのアイデンティティ（例：「あなたは誰ですか？」への回答）を維持できなくなるリスクがあります。
• 文脈: 韓国の法分野において AI への需要は高いものの、オープン LLM を韓国法に特化させるための体系的なフレームワークは不足しています。

2. 手法

著者は、115 億パラメータの韓国語・英語バイリンガルモデルであるMi:dm-2.0-Baseを基盤とした、韓国法分野向けの垂直型 LLMLEGALMIDMを提案します。この手法は、使用事例駆動型のエンドツーエンド・フレームワークであり、以下の 4 つの主要な柱から構成されます。

A. 要件調査とタスク選定

一般的な訓練ではなく、著者は米国と韓国の 20 の運用中のリーガルテック・サービスを分析し、実務弁護士に相談しました。その結果、以下の 6 つの需要の高いタスクを特定しました。

1. 文書要約 (DS)
2. 文書ベースの質問応答 (DQA)
3. オープン質問応答 (Open QA)
4. 訴状作成 (DD)
5. 申立書作成 (DD)
6. 多肢選択 QA (MC)

B. データキュレーションと構築

• 人間によるキュレーションデータ: 法学専攻者、業界専門家、弁護士がチームを組んで高品質なデータセットを構築しました。これには、タスクごとに 100 個のホールドアウトテストサンプルが含まれます。
• 自動合成データ生成: データ量を増やすため、韓国立法情報センターの法令を活用しました。GPT-4o を用いて、モデルに特定の法令条文を引用するよう指示した QA ペアを生成しました。
  • 検証: 文字列一致による検証ステップにより、引用された参照が元の法令の実際の部分文字列であることを確認し、事実の裏付けを確保しました。
• 汎用ドメインの維持: 破滅的忘却を防ぐため、著者は ChatKoAlpaca からの実際のユーザークエリを分析し、一般的なアイデンティティに関する質問（例：「あなたは誰ですか？」）を特定し、訓練ミックスに汎用ドメインデータ（KoAlpaca, KOpen-HQ）を含めました。

C. 訓練パイプライン

訓練プロセスは、最適な戦略を決定するための特定のアブレーション研究を伴う 2 つの段階からなります。

1. 継続的事前学習 (CPT): ベースモデルを法分野に適応させる段階。
2. インストラクションチューニング (IT): 特定タスク向けにモデルを洗練させる段階。

主要な設計判断（アブレーションによる検証）:

• データ構成: 法データのみで訓練するのではなく、CPT および IT の両段階で汎用ドメインデータを統合（一般：法 = 7:3 の比率）することで、法特化性を高めつつ汎用能力を維持し、法データのみで訓練した場合よりも優れた性能が得られました。
• 合成データのフォーマット: 著者は、法的参照 ($R$) に関する 3 つのフォーマットをテストしました。
  1. $M(Q) \to A$（参照なし）
  2. $M(Q) \to A + R$（出力に参照を含む）
  3. $M(Q + R) \to A$（入力に参照を含む）
  • 知見: 出力に参照を生成する方法は文書タスクでは機能しましたが、多肢選択問題では不安定さを招きました。最適な戦略は、すべてのタスクで法的参照を入力に配置する（$Q + R$）ことでした。
• システムプロンプトの最適化: 著者は、システムプロンプト（モデルを「Mi:dm」と定義）あり・なしで訓練をテストしました。
  • 知見: システムプロンプトなしで訓練することが、最高の法的性能をもたらしました。システムプロンプトは、モデルがタスク固有の推論を損なうことなく自己を正しく識別できるようにするため、推論時のみ適用すべきです。

3. 主要な貢献

1. 使用事例駆動型フレームワーク: 理論的な仮定ではなく、実際の業界要件に基づき、オープン LLM を法専門家へと変換するための体系的なレシピ。
2. LEGALMIDM モデル: 韓国法ベンチマークにおいて、はるかに大規模なモデル（例：Llama-3.3-70B, Qwen2.5-32B）を大幅に上回る性能を発揮する、特化された 115 億パラメータの韓国法 LLM の公開。
3. 訓練戦略の実証的検証:
   • 汎用ドメインデータの混合が堅牢性を維持するために不可欠であることを実証。
   • 合成データにおいて、参照を生成するよりも入力に含める方が優れていることを特定。
   • システムプロンプトは訓練データから切り離し、推論時のみ適用すべきであることを証明。
4. 高品質データセットの構築: 法専門家と自動検証を組み合わせた厳格なパイプラインにより、事実の裏付けのある法的データセットを作成。

4. 結果

モデルは、6 つの法的タスクと 2 つの汎用ベンチマーク（KMMLU, HAERAE）で評価されました。

• 法的性能: LEGALMIDM（115 億）は、すべての法的タスク（訴状、要約、申立書、QA、MRC、MC）で最高スコアを達成しました。
  • 例: 訴状タスクにおいて、LEGALMIDM は Rouge-L スコア67.67を達成し、Llama-3.3-70B（53.40）や Qwen2.5-32B（58.81）を大幅に上回りました。
  • また、GPT-4o による LLM ジャッジ評価においても、全体的に最高スコアを記録しました。
• 汎用性能: 規模は小さいものの、LEGALMIDM は汎用ベンチマーク（KMMLU, HAERAE）において競争力のある性能を維持し、はるかに大規模なモデルと同等かそれ以上の結果を示しました。これにより、汎用データの組み込みが破滅的忘却を防いでいることが確認されました。
• アブレーションの知見:
  • CPT/ITから汎用データを除去すると、法的タスクの性能が大幅に低下しました。
  • 入力に参照を含める（$Q+R$）ことが、安定性と精度において他のフォーマットよりも一貫して優れていました。

5. 意義

この論文は、「より多くのデータ」から「より良く、使用事例に整合したデータと訓練戦略」へと焦点を移すことで、法分野における AI 展開における重要なギャップを埋めています。

• 実用的有用性: このフレームワークは、理論的に可能であるだけでなく、訴状や申立書の作成といった重大なタスクに実用的に役立つ垂直型 LLM を開発するための再現可能な道筋を提供します。
• 効率性: 訓練パイプラインを特定ドメインの制約に合わせて最適化すれば、大規模な基盤モデル（700 億以上）よりも、小さく適切にチューニングされたモデル（115 億）が特化ドメインにおいて優位に立てることを実証しました。
• 韓国法 AI: 韓国法と文化的文脈に基づいて訓練されたモデルを提供することで、韓国リーガルテック・ランドスケープにおける特定の空白を埋め、その管轄区域における正確な法的推論に不可欠なものを提供します。

結論として、LEGALMIDM はドメイン特化の新たな基準を確立し、厳格なデータキュレーション、戦略的なデータ混合、および入力ベースの参照のような特定のアーキテクチャ選択が、単にモデルサイズをスケーリングすることよりもはるかに影響力があることを証明しました。