기술 요약: 법원 견해 생성을 위한 경량 대규모 언어 모델 탐구

문제 정의

형사 법원 견해 생성 (CVG) 은 사건 사실을 기반으로 최종 판결을 정당화하는 '법원 견해' 즉, 사법적 추론을 자동으로 생성하는 법적 인공지능 (Legal AI) 의 핵심 과제입니다. 이 작업은 법적 투명성과 해석 가능성을 보장하는 데 필수적입니다. 그러나 법적 언어의 복잡성, 논리적 일관성의 필요성, 그리고 법령 지식과 사실적 세부 사항을 정확하게 반영해야 한다는 요구 사항으로 인해 CVG 는 여전히 도전적인 과제로 남아 있습니다.

심층 신경망 (DNN) 이 CVG 에 적용되어 왔지만, 복잡한 법적 추론과 장거리 의존성 처리에 어려움을 겪는 경우가 많습니다. 반면, 대규모 언어 모델 (LLM) 은 뛰어난 생성 및 추론 능력을 제공합니다. 그럼에도 불구하고, 법적 분야에서 경량 LLM(특히 파라미터 수가 20 억 미만인 모델) 에 관한 체계적인 연구는 부족합니다. 주요 격차는 다양한 아키텍처와 모델 크기가 CVG 품질 및 하류 과목 예측에 미치는 영향 이해, 경량 LLM 과 전통적 DNN 간의 비교, 그리고 직접 예측에 비해 법원 견해를 먼저 생성하는 것이 정확도 향상에 기여하는지 평가하는 데 있습니다.

방법론

저자들은 C3VG, LCVG, CCVG라는 세 가지 공개 데이터셋을 지원하는 newly 개발된 평가 프레임워크인 CVGEvalKit을 사용하여 체계적인 연구를 수행했습니다. 방법론은 다음과 같은 구성 요소를 포함했습니다:

1. 모델 선정: 본 연구는 다양한 아키텍처 (Qwen, Llama, Gemma, InternLM) 와 크기 (0.5B~1.8B 파라미터 범위) 에 걸친 다양한 오픈소스 경량 LLM 을 평가했습니다. 이를 전통적인 DNN 베이스라인 (AttS2S, Transformer, C3VG, LeGen) 과 비교했습니다.
2. 학습 전략: 모든 모델은 세 가지 데이터셋에서 파생된 혼합 학습 세트를 사용하여 미세 조정되었습니다. LLM 의 경우, 파라미터 효율적 미세 조정을 위해 **저랭크 적응 (LoRA)**을 적용하여 원래 가중치는 고정하고 저랭크 업데이트 행렬만 학습했습니다.
3. 작업 패러다임: 과목 예측을 위한 두 가지 패러다임을 조사했습니다:
   • CVG First: 모델이 먼저 법원 견해를 생성한 후, 해당 생성된 견해를 기반으로 과목을 예측합니다.
   • Directly: 모델은 중간 생성 단계 없이 사건 사실로부터 직접 과목을 예측합니다.
4. 평가 지표:
   • 법원 견해 생성: ROUGE-1, ROUGE-2, ROUGE-L 및 BLEU 점수를 사용하여 측정했습니다.
   • 과목 예측: 정확도 (Acc) 와 Macro-F1(MF1) 을 사용하여 측정했습니다. 생성된 법원 견해에 올바른 과목 레이블이 포함되어 있는 경우 예측을 정확하다고 간주했습니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 아키텍처 분석: 법적 텍스트 생성 맥락에서 다양한 경량 LLM 아키텍처 (예: Qwen, Llama, Gemma, InternLM) 간의 성능 차이에 대한 체계적 분석.
2. 확장 효과: 모델 크기 (<2B 범위 내) 가 CVG 품질과 과목 예측 정확도에 미치는 영향에 대한 조사.
3. DNN 대 LLM 비교: 사법 작업을 위해 전통적인 DNN 대비 경량 LLM 의 장점과 한계를 보여주는 비교 분석.
4. 작업 통합 평가: 'CVG First'전략과 직접 과목 예측 간의 영향을 평가하여 중간 추론 단계가 하류 정확도에 어떻게 영향을 미치는지 규명.

실험 결과

실험은 몇 가지 중요한 발견을 도출했습니다:

• 아키텍처 영향: 모델 아키텍처는 성능에 상당한 영향을 미칩니다. Qwen3-1.7B는 지시 따르기 설계로 인해 ROUGE 및 BLEU 지표에서 다른 제로샷 모델 (Llama, InternLM) 보다 일반적으로 우수한 성능을 보였습니다. InternLM2.5-1.8B-Chat은 미세 조정 후 가장 높은 성능 (ROUGE-L: 68.63) 을 달성했으나, 제로샷 설정에서는 어려움을 겪었습니다.
• 모델 크기: 제로샷 설정에서 더 큰 모델 (1.7B) 은 더 작은 모델 (0.6B) 보다 CVG 에서 현저히 우수한 성능을 보였습니다 (ROUGE 개선 약 7 배). 그러나 미세 조정 후 성능 격차는 줄어들어 도메인 특화 적응이 파라미터 크기를 보완할 수 있음을 시사합니다. 과목 예측의 경우, 크기 효과는 제로샷에서는 덜 두드러졌으나 미세 조정 후 더 관련성이 커졌습니다. 주목할 점은 1B 미만에서는 성능 향상이 선형적이지 않았으며, 1B 파라미터를 넘어야 일관된 개선이 나타났다는 것입니다.
• LLM 대 DNN: 미세 조정된 경량 LLM 은 전통적인 DNN 베이스라인보다 일관적으로 우수한 성능을 보였습니다. 예를 들어, InternLM2.5-1.8B-Chat(FT) 은 가장 강력한 DNN 베이스라인 (C3VG) 대비 ROUGE-L 에서 약 32%, Macro-F1 에서 약 36% 의 개선을 달성했습니다.
• CVG First 대 직접 예측: 'CVG First'전략은 혼합된 결과를 보였습니다. ≤1B 파라미터를 가진 모델 (예: Qwen3-0.6B, Gemma3-1B-IT) 의 경우, 먼저 법원 견해를 생성하는 것이 과목 예측 정확도를 향상시켰습니다. 그러나 더 큰 경량 모델 (>1B, 예: Qwen3-1.7B, InternLM2.5-1.8B-Chat) 의 경우, 이 이단계 접근법은 종종 성능 저하로 이어져 더 큰 모델은 단일하고 명확하게 정의된 예측 작업에 집중할 때 더 잘 수행됨을 시사합니다.

중요성과 주장

본 논문은 경량 LLM 이 도메인 특화 데이터로 미세 조정될 때 사법 AI 응용 분야에서 상당한 잠재력을 지닌다고 주장합니다. 연구는 다음을 강조합니다:

• 학습 패러다임과 아키텍처는 경량 범위 내에서 모델 크기 단독보다 성능의 더 중요한 결정 요인입니다.
• 미세 조정은 경량 LLM 이 생성 품질과 하류 작업 정확도 모두에서 전통적인 DNN 을 능가하는 데 필수적입니다.
• 작업 전략의 중요성: 중간 추론 (법원 견해) 을 생성한 후 과목을 예측할지 여부는 모델의 용량에 맞게 조정되어야 합니다. 작은 모델은 분해의 혜택을 받는 반면, 더 큰 경량 모델은 추가적인 복잡성으로 인해 어려움을 겪을 수 있습니다.

저자들은 향후 연구를 촉진하기 위해 CVGEvalKit을 도입하여 생성 품질과 하류 법적 추론을 모두 평가하는 표준화된 프레임워크를 제공합니다. 저자들은 한계를 인정하며, 현재 발견된 바는 중국어 법적 데이터셋과 경량 모델에 국한되어 있으며, 추가 조사 없이는 다른 언어, 법체계, 또는 더 큰 파라미터 규모로 일반화되지 않을 수 있음을 명시합니다.