技術的概要：裁判所見生成のための軽量大規模言語モデルの探求

問題定義

刑事裁判所見生成（CVG）は、事件事実に基づいて最終判決を正当化する「裁判所見」（司法的推論）を自動的に生成する、法分野人工知能（Legal AI）における重要なタスクである。このタスクは、法の透明性と解釈可能性を確保するために不可欠である。しかし、法律言語の複雑さ、論理的整合性の必要性、法令知識および事実詳細の正確な組み込みの要件により、CVG は依然として困難を伴う。

深層ニューラルネットワーク（DNN）は CVG に適用されてきたが、複雑な法的推論や長距離依存関係においてしばしば困難に直面する。一方、大規模言語モデル（LLM）は優れた生成能力と推論能力を提供する。それにもかかわらず、20 億パラメータ未満の軽量 LLM（特に 20 億パラメータ未満のモデル）の法分野における体系的な研究は欠如している。主要なギャップには、異なるアーキテクチャとモデルサイズが CVG の品質と下流の罪名予測にどのように影響するかを理解すること、軽量 LLM と従来の DNN を比較すること、そして罪名予測を直接行う場合と比較して、罪名予測前に裁判所見を生成することが精度を向上させるかどうかを評価することが含まれる。

手法

著者らは、CVGEvalKitという新たに開発された評価フレームワークを用いた体系的な研究を実施した。このフレームワークは、C3VG、LCVG、CCVGの 3 つの公開データセットをサポートする。手法は以下の構成要素を含んだ：

1. モデル選択: 本研究では、異なるアーキテクチャ（Qwen、Llama、Gemma、InternLM）とサイズ（0.5B から 1.8B パラメータの範囲）にわたる各種オープンソースの軽量 LLM を評価した。これらは、従来の DNN ベースライン（AttS2S、Transformer、C3VG、LeGen）と比較された。
2. トレーニング戦略: すべてのモデルは、3 つのデータセットから派生した混合トレーニングセットを用いてファインチューニングされた。LLM については、パラメータ効率的なファインチューニングのために低ランク適応（LoRA）を採用し、元の重みを固定して低ランク更新行列のみをトレーニングした。
3. タスクパラダイム: 罪名予測のための 2 つのパラダイムが調査された：
   • CVG First: モデルがまず裁判所見を生成し、その後、その生成された見解に基づいて罪名を予測する。
   • Directly: モデルは中間生成ステップを経ずに、事件事実から直接罪名を予測する。
4. 評価指標:
   • 裁判所見生成: ROUGE-1、ROUGE-2、ROUGE-L、および BLEU スコアを用いて測定された。
   • 罪名予測: 精度（Acc）および Macro-F1（MF1）を用いて測定された。生成された裁判所見に正しい罪名ラベルが含まれている場合、その予測は正しいとみなされた。

主要な貢献

本論文は、4 つの主要な貢献を行っている：

1. アーキテクチャ分析: 法テキスト生成の文脈における、さまざまな軽量 LLM アーキテクチャ（例：Qwen、Llama、Gemma、InternLM）間の性能差の体系的な分析。
2. スケーリング効果: モデルサイズ（2B 未満の範囲内）が CVG の品質と罪名予測の精度にどのように影響するかを調査。
3. DNN と LLM の比較: 司法タスクにおける、軽量 LLM の従来の DNN に対する利点と限界を示す比較分析。
4. タスク統合評価: 「CVG First」戦略と直接罪名予測との影響を評価し、中間推論ステップが下流の精度にどのように影響するかを明らかにする。

実験結果

実験により、いくつかの重要な知見が得られた：

• アーキテクチャの影響: モデルアーキテクチャは性能に大きく影響する。Qwen3-1.7Bは、指示追従設計に起因して、ROUGE および BLEU 指標において他のゼロショットモデル（Llama、InternLM）を概して上回った。InternLM2.5-1.8B-Chatはファインチューニング後に最高性能を達成した（ROUGE-L: 68.63）が、ゼロショット設定では苦労した。
• モデルサイズ: ゼロショット設定では、より大きなモデル（1.7B）は、より小さなモデル（0.6B）に比べて CVG で大幅に上回った（ROUGE において約 7 倍の改善）。しかし、ファインチューニング後は性能差が縮小し、ドメイン固有の適応がパラメータサイズを補う可能性を示唆した。罪名予測については、サイズ効果はゼロショットではあまり顕著ではなかったが、ファインチューニング後はより関連性が高まった。注目すべきは、1B 未満の閾値では性能向上が線形ではなく、10 億パラメータを超えてから一貫した改善が見られたことである。
• LLM と DNN の比較: ファインチューニングされた軽量 LLM は、従来の DNN ベースラインを一貫して上回った。例えば、InternLM2.5-1.8B-Chat(FT) は、最も強力な DNN ベースライン（C3VG）に対して、ROUGE-L で約 32%、Macro-F1 で約 36% の向上を達成した。
• CVG First と直接予測: 「CVG First」戦略は混合した結果を示した。10 億パラメータ以下のモデル（例：Qwen3-0.6B、Gemma3-1B-IT）では、まず裁判所見を生成することが罪名予測精度を向上させた。しかし、より大きな軽量モデル（10 億パラメータ超、例：Qwen3-1.7B、InternLM2.5-1.8B-Chat）では、この 2 段階のアプローチはしばしば性能低下を招き、より大きなモデルは明確に定義された単一の予測タスクに集中する方が優れていることを示唆している。

意義と主張

本論文は、軽量 LLM が、特にドメイン固有データでファインチューニングされた場合、司法 AI 応用において重要な可能性を秘めていると主張している。本研究は以下の点を強調している：

• トレーニングパラダイムとアーキテクチャは、軽量範囲内においてモデルサイズ単独よりも性能のより重要な決定要因である。
• ファインチューニングは、軽量 LLM が生成品質と下流タスクの精度の両方で従来の DNN を凌駕するために不可欠である。
• タスク戦略は重要である: 罪名を予測する前に中間推論（裁判所見）を生成するかどうかの決定は、モデルの能力に合わせて調整されるべきである。より小さなモデルは分解の恩恵を受けるが、より大きな軽量モデルは追加の複雑さによって悪影響を受ける可能性がある。

著者らは、生成品質と下流の法的推論の両方を評価するための標準化されたフレームワークを提供し、将来の研究を促進するためにCVGEvalKitを導入した。彼らは限界を認め、その知見は現在、中国の法データセットと軽量モデルに特化したものであり、さらなる調査なしには他の言語、法体系、またはより大きなパラメータ規模に一般化されない可能性があると指摘している。