PoliLegalLM: A Technical Report on a Large Language Model for Political and Legal Affairs

PoliLegalLM: 정치 및 법률 분야를 위한 대규모 언어 모델 기술 보고서 요약

1. 문제 정의 (Problem)

일반적인 대규모 언어 모델 (LLM) 은 다양한 자연어 처리 작업에서 뛰어난 성과를 보이지만, 법률 및 정치 분야에 직접 적용할 때는 다음과 같은 심각한 한계에 직면합니다.

• 할루시네이션 (Hallucination): 존재하지 않는 법률 조항이나 판례를 인용하는 등 사실과 다른 정보를 생성하는 문제.
• 지식 부족: 법률 지식의 불완전한 커버리지 및 최신 정보 부재.
• 약한 구조적 추론: 복잡한 법적 논증과 엄격한 논리적 일관성을 요구하는 사안에서 체계적인 추론 능력이 부족함.
• 실무 적용의 어려움: 기존 모델들은 표면적인 작업 목표에 맞춰지는 경향이 있어, 실제 사법 및 거버넌스 시나리오에서 신뢰할 수 있는 의사결정을 내리지 못함.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 PoliLegalLM이라는 도메인 특화 LLM 을 제안하였으며, 통일된 3 단계 학습 프레임워크와 대규모 고품질 법률 코퍼스 구축을 핵심으로 합니다.

가. 데이터 구축 (Corpus Construction)

• 연속 사전 학습 (CPT) 코퍼스: 1,400 억 토큰 규모의 데이터로 구성됨.
  • 소스: 일반 산업 코퍼스, 법률/정치 뉴스, 사법 판결문, 법률 서적/학술지, 법령 및 사법 해석 등.
  • 처리: 규칙 기반 필터링, LLM 기반 품질 점수화 (0~5 점), 그리고 법률 전문가와 협력하여 법령에 대한 구조화된 추론 주석을 추가하는 증강 과정을 거침.
  • 구성: 중국어 70%, 영어 30% 비율로 구성되며, 도메인 특화 데이터와 일반 데이터의 균형을 유지.
• 후기 학습 (Post-training) 코퍼스: 183 만 4,198 개의 지시 (Instruction) 샘플로 구성됨.
  • 계층적 구조: 일반 대화 (Level 01) → 일반 지시 수행 (Level 02) → 정치/법률 전문 지식 (Level 03, 법령 기억, 업무 태스크, 문서 생성 포함).
  • 강화 학습용 데이터: SFT 데이터 중 어려운 샘플 (Hard Samples) 을 선별하여 선호도 쌍 (Chosen/Rejected) 을 구성.

나. 학습 파이프라인 (Training Pipeline)

1. 연속 사전 학습 (Continued Pretraining, CPT):
   • 일반 LLM 에 법률 및 정치 지식을 주입.
   • 8K 토큰 컨텍스트 (대규모 지식 주입) 와 16K 토큰 컨텍스트 (장문 판결문/법령 적응) 의 2 단계 전략 사용.
2. 점진적 지도 미세 조정 (Progressive Supervised Fine-Tuning, PSFT):
   • 커리큘럼 학습: 먼저 '법적 판결 예측 (Charge Prediction 등)'이라는 핵심 태스크로 학습하여 구조화된 추론 패턴을 확립한 후, 다양한 하위 태스크로 점진적으로 확장.
   • 망각 방지 (Anti-forgetting): 핵심 태스크 데이터를 20% 비율로 섞어 학습하여, 새로운 태스크 적응 중 기존 법률 추론 능력을 유지.
3. 강화 학습 (Reinforcement Learning - HIPO):
   • Hard Sample-aware Iterative Direct Preference Optimization (HIPO): 모델이 성능이 낮은 '어려운 샘플'에 집중하여 반복적으로 학습.
   • 목표 함수: 선호도 최적화 (DPO) 와 함께 선호 답변의 부정 로그 가능도 (NLL) 를 최대화하는 보조 목적 함수를 도입하여 사실적 일관성과 신뢰성을 강화.

3. 주요 기여 (Key Contributions)

• 대규모 고품질 법률 코퍼스: 1,400 억 토큰의 CPT 데이터와 180 만 개의 SFT/RL 데이터를 포함한 포괄적인 데이터셋 구축.
• 통합 학습 프레임워크: 지식 주입 (CPT), 태스크 정렬 (PSFT), 추론 강화 (HIPO) 를 결합한 3 단계 파이프라인 제안. 특히 '점진적 미세 조정'과 '어려운 샘플 인식 강화 학습'을 통해 법률 도메인의 복잡성을 해결.
• 구조화된 추론 증강: 법률 전문가와 협력하여 법령에 구조화된 추론 주석을 추가하고, 이를 모델 학습에 반영하여 추론 능력을 향상시킴.

4. 실험 결과 (Results)

LawBench, LexEval, 그리고 실제 운영 데이터인 PoliLegal 벤치마크에서 평가되었습니다.

• 성능 비교:
  • 소형/중형 모델 대비: 30B-A3B 파라미터 규모의 PoliLegalLM 은 ChatLaw-33B, Qwen3-30B 등 동급 모델들을 압도적으로 상회함.
  • 초대형 모델 대비: Qwen3-235B, DeepSeek-V3.2, GPT-5 등 훨씬 큰 규모의 모델들과도 경쟁력 있는 성능을 보임.
• 벤치마크 점수:
  • LawBench: 평균 60.95 점 (동급 모델 중 1 위, 초대형 모델 대비 우위).
  • LexEval: 평균 62.15 점 (논리적 추론 및 차별화 능력에서 탁월한 성능).
  • PoliLegal (실제 데이터): 87.35 점으로 모든 모델 중 가장 높은 성과를 기록 (2 위 모델보다 6 점 이상 우위).
• Ablation Study: CPT, SFT, RL 각 단계가 순차적으로 성능을 향상시키며, 특히 RL 단계에서 복잡한 추론 태스크의 성능이 크게 개선됨을 확인.

5. 의의 및 결론 (Significance)

• 실무 적용 가능성: 단순한 지식 암기가 아닌, 실제 법률 업무 (판결 예측, 문서 생성, 사건 분석) 에서 높은 정확도와 신뢰성을 입증하여 실제 사법 및 거버넌스 시스템에의 적용 가능성을 높임.
• 효율성: 거대 규모의 파라미터에 의존하지 않고, 도메인 특화된 고품질 데이터와 정교한 학습 전략을 통해 초대형 모델과 경쟁 가능한 성능을 달성함.
• 향후 방향: 복잡한 사례에서의 사실적 일관성 유지, 모델 출력의 해석 가능성 및 검증성 강화, 외부 지식 도구와의 통합 등을 통해 더 신뢰할 수 있는 법률 AI 로 발전할 것임을 시사.

이 보고서는 도메인 특화 LLM 이 일반 목적 모델보다 법률 및 정치 분야에서 더 효과적일 수 있음을 체계적인 데이터 구축과 학습 전략을 통해 입증한 중요한 연구입니다.