기술 요약: LegalOne

문제 정의

대규모 언어 모델(LLM)은 뛰어난 일반적 능력을 보여주지만, 법률 도메인에 직접 적용할 때는 두 가지 주요 한계점에 부딪힙니다:

1. 도메인 지식 부족: 일반 모델은 권위 있는 출처(법령, 사법적 해석, 판례)에 대한 정밀한 근거가 부족하며, 엄격한 다단계 사법적 추론의 복잡성을 처리하는 데 어려움을 겪습니다.
2. 추론 패턴의 불일치: 법률 과업에 적용될 때, 일반 LLM은 유창하지만 법적으로는 유효하지 않은 출력을 생성하는 경우가 많습니다. 이들의 추론 패턴은 실제 법률 실무와 일치하지 않는 경우가 많아, 환각(hallucination)과 출처 일관성 결여를 초래합니다.

기존의 법률 특화 모델들은 일반 목적의 선도적인 모델들에 비해 전반적인 능력이 뒤처지거나, 복잡한 법령 언어와 법리적 논리를 수행하는 데 필요한 심층 추론 능력을 보여주지 못하는 경우가 많습니다.

방법론

저자들은 중국 법률 도메인에 맞춤화된 파운데이션 모델 제품군인 LegalOne을 제시합니다. 이 모델들은 일반적인 능력을 유지하면서 법률적 추론을 마스터하도록 설계된 포괄적인 3단계 학습 파이프라인을 통해 개발되었습니다.

1단계: 가소성 조정 샘플링(PAS)을 통한 미드 트레이닝(Mid-Training)

일반 사전 학습과 도메인 특화 지시 미세 조정(Instruction Tuning) 사이의 간극을 메우기 위해, LegalOne은 미드 트레이닝 단계를 도입합니다.

• 데이터 전략: 코퍼스는 원래의 능력을 망각하는 파괴적 망각(Catastrophic Forgetting)을 방지하기 위해 고품질 일반 데이터(예: FinWeb-Edu, MathPile)와 선별된 법률 코퍼스(판결문, 법령, 학술 논문) 및 합성 데이터를 결합합니다. 합성 데이터에는 언어적 다양성을 높이기 위해 페이만 기법(Feynman Technique)을 통해 생성된 추론 궤적과 재구성된 텍스트가 포함됩니다.
• 가소성 조정 샘플링(PAS): 새로운 법률 지식을 학습하면서 기존 능력을 잃지 않는 문제를 해결하기 위해, 저자들은 퍼플렉서티(Perplexity, PPL) 기반의 데이터 스케줄러를 제안합니다.
  • 메커니즘: PAS는 샘플링 확률을 학습률(Learning Rate)의 함수로 취급합니다. "재-웜업(Re-warmup)" 단계(학습률이 증가하는 구간) 동안, 모델은 원래의 분포와 일치하는 저-퍼플렉서티(Low-PPL) "앵커(Anchor)" 샘플에 편향됩니다. 이는 최적화를 안정화하고 파괴적 망각을 방지합니다. 학습률이 정점에 도달함에 따라, 분포는 고-퍼플렉서티 법률 데이터가 포함되도록 매끄럽게 전환됩니다.
  • 이론적 근거: 이 방법은 수치적 안정성 분석에 근거하며, 저-PPL 데이터가 분포 외(Out-of-distribution) 데이터에 의한 학습률 증가로 발생하는 불안정성에 대항하는 "수치적 댐퍼(Numerical Damper)" 역할을 함을 보여줍니다.

2단계: 법률 에이전트 CoT 증류(LEAD)를 통한 지도 미세 조정(SFT)

일반 목적 LLM으로부터의 단순한 증류는 오류를 전파하고 법률 실무의 엄격한 구조를 결여하기 쉽습니다. LegalOne은 원시 법률 텍스트로부터 명시적 추론을 추출하기 위해 LEAD를 사용합니다.

• 에이전트 워크플로우: 단순한 증류 대신, LEAD는 전문적인 법률 워크플로우를 모사하는 에이전트 시스템을 활용합니다. 이는 복잡한 법률 문제를 사실 확인(Fact Finding), 쟁점 식별(Issue Identification), 규칙 검색(Rule Retrieval), 규칙 연역(Rule Deduction), 결론 도출(Conclusion Derivation)의 구조화된 순서로 분해합니다.
• 인지적 스캐폴딩(Cognitive Scaffolding): 워크플로우는 전문가 프로토콜(Expert Protocols), 외부 법률 지식 베이스(법령 검색용), 이론적 템플릿(예: 법적 삼단논법)을 통합하여 추론 궤적 생성을 가이드합니다.
• 정제(Refinement): 원시 궤적은 지식 내재화(Knowledge Internalization)(명시적인 외부 참조를 제거하여 모델이 논리를 내재화하도록 재작성)와 추론 수렴(Reasoning Convergence)(파편화된 하위 단계를 하나의 일관된 Chain-of-Thought으로 병합) 과정을 거칩니다.
• 품질 관리: 휴리스틱 및 LLM-as-Judge를 이용한 2단계 필터링 프로세스를 통해 최종 데이터셋이 논리적으로 일관되고 사실에 근거한 고품질 추론 샘플만을 포함하도록 보장합니다.

3단계: 다단계 강화 학습(RL)

"법률적 사고방식(Legal Mentality)"을 배양하기 위해, 저자들은 새로운 **토큰 레벨 베이스라인(Token-Level Baseline)**을 갖춘 DAPO 알고리즘을 사용하여 커리큘럼 강화 학습 전략을 구현합니다.

• 커리큘럼 설계: RL 프로세스는 난이도가 높아지는 5단계에 걸쳐 세 가지 핵심 기술을 목표로 합니다:
  1. 법령 암기: 정확한 법령 텍스트 암송 (보상: ROUGE).
  2. 법령 적용: 사실 관계를 적용 가능한 조항에 매핑 (보상: F1 score).
  3. 사례 분석: 복잡한 객관식 문제 답변 (보상: 정확도).
  4. 판결 예측: 사건 사실에 기반한 결과 예측 (보상: 양형 편차를 허용하는 LLM-as-Judge).
  5. 법률 문서 작성: 공소장 또는 판결문 초안 작성 (보상: 루브릭 기반 평가).
• 토큰 레벨 베이스라인: 정책 경사(Policy Gradient) 추정의 분산을 줄이기 위해, 저자들은 시퀀스 길이에 따라 보상을 가중하는 토큰 레벨 베이스라인($b_2$)을 제안하며, 이는 긴 시퀀스의 법률 과업에서 표준 샘플 레벨 베이스라인($b_1$)이 유발하는 편향을 교정합니다.

주요 기여

1. LegalOne 모델 제품군: 중국 법률 추론에서 최첨단 성능을 달나하며 특정 법률 과업에서 훨씬 더 큰 일반 목적 모델(예: Qwen3-235B, GPT-5)을 능가하는 일련의 모델들(1.7B, 4B, 8B).
2. 가소성 조정 샘플링(PAS): 미드 트레이닝 중 지식 습득과 보존을 효과적으로 균형 있게 조절하여, 원래의 사전 학습 데이터에 접근하지 않고도 파괴적 망각을 완화하는 새로운 데이터 스케줄링 메커니즘.
3. 법률 에이전트 CoT 증류(LEAD): 에이전트 워크플로우를 사용하여 암묵적인 사법 논리를 명시적이고 구조화된 추론 궤적으로 변환하는 프레임워크로, 단순 증류보다 높은 사실적 근거와 논리적 엄격성을 제공함.
4. 토큰 레벨 베이스라인을 갖춘 커리큘럼 RL: 모델을 패턴 매칭에서 자율적 추론으로 진화시키는 다단계 RL 전략과, 분산을 줄이는 베이스라인 최적화 기술의 결합.
5. 오픈 리소스: LegalOne 모델 가중치와 법률 도메인 LLM을 위한 포괄적인 평가 툴킷인 LegalKit 공개.

실험 결과

모델들은 JEC-QA(국가 통합 법률 전문 자격 시험)와 LexEval(법률 인지 능력 분류 체계)을 통해 평가되었습니다.

• 성능: LegalOne-8B는 법률 과업 전반에서 우수한 성능을 보이며, 훨씬 더 많은 파라미터를 가진 일반 목적 모델(예: DeepSeek-v3.2, Qwen3-Max)을 능가합니다. 예를 들어, LegalOne-8B는 LexEval 평균 62.36, JEC-QA 평균 62.36을 기록하여 Qwen3-8B(44.61 / 44.61)를 압도하고 훨씬 큰 모델들과 경쟁합니다.
• 파라미터 효율성: LegalOne은 높은 "역량 밀도(Capability Density)"를 보여줍니다. 1.7B 모델이 베이스 Qwen3-1.7B를 크게 앞지르고 8B 일반 모델의 성능에 근접함으로써, 정제된 도메인 데이터가 소형 모델의 격차를 메울 수 있음을 입증했습니다.
• 절제 연구(Ablation Studies):
  • 미드 트레이닝: 작은 모델(1.7B)이 SFT 과정에서 성능 저하를 방지하는 데 필수적이며, 손실 지형(Loss Landscape)의 안정제 역할을 합니다.
  • RL: 특히 더 큰 모델(8B)에서 상당한 이득을 제공하며, 이는 RL 단계 내 법률 추론에 특화된 스케일링 법칙(Scaling Law)이 존재함을 시사합니다.
• 일반 능력: 모델들은 강력한 일반 능력(GSM8K, Math500, C-Eval)을 유지합니다. 특히, RL 단계는 법률 데이터만을 학습했음에도 불구하고 일반적인 논리적 추론을 향상시키는 긍정적 전이(Positive Transfer)를 보여주었습니다.

의의

본 논문은 LegalOne이 고위험 사법 응용 분야를 위한 신뢰할 수 있고 해석 가능한 AI를 개발하는 데 있어 중요한 진전임을 주장합니다. 표면적인 패턴 매칭을 넘어 자율적이고 구조화된 법률 추론으로 나아감으로써, LegalOne은 일반적인 언어적 유창성과 전문적인 법률 표준 사이의 결정적인 간극을 해결합니다. 저자들은 PAS, LEAD, 그리고 커리큘럼 RL의 조합이 다른 전문 분야에서도 견고하고 도메인에 정렬된 파운데이션 모델을 구축하기 위한 청사진을 제공한다고 역설합니다. LegalKit과 모델 가중치의 공개는 미래 연구의 장벽을 낮추고 법률 AI 분야의 재현성을 촉진하는 것을 목표로 합니다.