Luwen: 중국어 법률 분야를 위한 오픈소스 대규모 언어 모델 기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 자연어 처리 분야에서 뛰어난 성능을 보이지만, 법률 분야에 적용할 때는 다음과 같은 고유한 어려움에 직면합니다.

• 전문 용어 및 복잡한 구조: 법률 텍스트는 고도로 전문화된 용어와 엄격한 구조를 가지며, 일반 언어 이해만으로는 도메인 특유의 지식을 파악하기 어렵습니다.
• 복잡한 추론 요구: 법률 작업은 명확한 논리적 추론과 선례, 법리 기반의 판단을 요구합니다.
• 지식의 급속한 변화: 법률 규정과 판례는 지속적으로 업데이트되므로, 모델의 정보 정확성과 시의성을 유지하는 것이 어렵습니다.
• 일반 모델의 한계: 인터넷 데이터로 사전 학습된 일반 목적의 LLM 은 법률 특화 지식과 추론 능력에서 부족함을 보입니다.

2. 방법론 (Methodology)

저자들은 Luwen이라는 중국어 법률 전용 오픈소스 모델을 개발하기 위해 Baichuan1-7B 기반 모델을 다음과 같은 3 단계 기술 스택을 통해 최적화했습니다.

2.1 지속적 사전 학습 (Continual Pre-Training, CPT)

• 목적: 일반 언어 모델이 법률 텍스트의 특수한 언어 패턴과 지식 구조를 이해하도록 함.
• 데이터: 법률 도서, 학술 논문, 법령, 판결문, 계약서 등 200GB 규모의 대규모 중국어 법률 코퍼스.
  • 구성 비율: 법률 텍스트 20% + 일반 텍스트 80% (법률 지식 습득과 일반 능력 유지의 균형 확보).
• 방식: 기존 사전 학습과 유사한 자기지도 학습 (Self-supervised learning) 프레임워크를 사용하여 모델 파라미터를 조정.

2.2 지도 미세 조정 (Supervised Fine-Tuning, SFT)

• 목적: 사용자의 의도를 정확히 파악하고, 구체적인 법률 작업 (질문 응답, 판결 예측 등) 에 맞춰 정교한 추론 능력을 배양.
• 데이터 구성: 총 10 만 개의 지시 - 응답 쌍 (Instruction-Response Pairs) 사용.
  • 법률 도메인 데이터 (30%): 법률 상담, 사법 시험, 상황 기반 Q&A, 유죄/형량 예측, 판결문 요약 추출 등 10 가지 이상의 세부 작업 포함.
  • 일반 도메인 데이터 (70%): Open-Orca, ShareGPT 등 다양한 NLP 작업 데이터.
• 데이터 품질 관리:
  • 필터링: 민감한 단어 제거, 최신 법률 개정 (예: 민법전 시행) 에 따른 용어 매핑 업데이트.
  • 구성: 서술형 법률 텍스트를 Q&A 형식으로 변환하고, 다중 턴 대화와 구조화된 답변 (사실 요약 -> 법조항 인용 -> 결론 도출) 을 포함하여 생성.

2.3 검색 증강 생성 (Retrieval Augmented Generation, RAG)

• 목적: 모델이 '닫힌 책 (Closed-book)' 상태에서 '열린 책 (Open-book)' 상태로 전환하여 최신 법률 정보와 판례를 실시간으로 참조하도록 함.
• 법률 지식베이스 구축: 법령, 판례, 법률 서적, 계약서 템플릿, 사법 시험 기출문제, 법률 Q&A 등 다중 소스 데이터 통합.
• 다중 소스/다중 경로 검색 프로세스:
  1. 의도 인식: 질문의 키워드와 지식베이스를 매칭하여 관련 지식원을 선별.
  2. 지식 검색: 통계적 특징 (키워드 매칭) 과 의미적 특징 (벡터 유사도) 을 결합한 하이브리드 검색 수행.
  3. 지식 융합: 검색된 관련 법조항과 판례를 프롬프트에 주입하여 모델이 더 정확한 답변을 생성하도록 유도.

3. 주요 기여 (Key Contributions)

1. 중국 법률 특화 오픈소스 모델 출시: Baichuan 기반의 Luwen 모델을 공개하여 법률 AI 연구의 접근성을 높임.
2. 3 단계 최적화 프레임워크 제안: CPT(지식 습득), SFT(작업 수행 능력 강화), RAG(지속적 업데이트 및 정확성 보장) 를 결합한 종합적인 법률 모델 구축 방법론 제시.
3. 고품질 법률 데이터셋 구축: 10 만 건 이상의 다양한 법률 작업 (판결 예측, 형량 예측, 판결문 요약 등) 을 아우르는 정제된 지시 - 응답 데이터셋 제작.
4. 실시간 법률 지식 반영: RAG 기술을 통해 모델의 지식 갱신 비용을 줄이면서도 최신 법률 정보에 기반한 정확한 답변 제공 가능.

4. 실험 결과 (Results)

Luwen 은 5 가지 대표 법률 작업 (예측 및 생성 작업) 에서 여러 강력한 베이스라인 모델 (Baichuan2, GLM2, Qwen, InternLM2, GPT-3.5 등) 과 비교 평가되었습니다.

4.1 예측 작업 (Prediction Tasks)

• 법률 판결 예측 (Legal Judgment Prediction): Luwen 은 법령 (0.35), 유죄 (0.31), 형량 (0.41) 예측에서 모든 베이스라인 모델보다 우수한 정확도를 기록했습니다.
• 사법 시험 (Judicial Examination): 정답 일치율 (Exact Match) 에서 0.18 을 기록하며, 특히 Baichuan2(0.00) 보다 월등히 높은 성능을 보였습니다.
• 의미: 법률 도메인에서의 지도 미세 조정 (SFT) 이 모델의 성능을 획기적으로 향상시킴을 입증.

4.2 생성 작업 (Generation Tasks)

• 법률 텍스트 요약: 인간 평가 점수 (71.6) 에서 GPT-3.5(67.3) 와 Baichuan+SFT(47.9) 를 능가했습니다.
• 법조항 질문 응답: Luwen 은 84.0 점으로 GPT-3.5(38.0) 보다 압도적인 성능을 보이며, 높은 수준의 법률 지식이 필요한 작업에서 우위를 점했습니다.
• 사법 결정 추론: 53.7 점으로 베이스라인 대비 가장 높은 점수를 기록했습니다.
• 의미: 지속적 사전 학습 (CPT) 과 RAG 기술이 법률 관련 생성 작업의 유창성과 정확성을 크게 향상시킴.

5. 의의 및 시사점 (Significance)

• 법률 AI 의 실용성 증대: 법률 용어, 복잡한 추론, 지식의 최신성이라는 3 가지 핵심 과제를 해결하여 법원, 로펌, 연구 기관 등에서 실제 활용 가능한 수준의 모델을 제공했습니다.
• 비용 효율적인 업데이트: 모델을 재학습시키지 않고도 외부 지식베이스 (RAG) 를 통해 최신 법률 정보를 반영할 수 있어, 유지보수 비용을 절감하면서도 정확성을 유지하는 방안을 제시했습니다.
• 향후 연구 방향:
  • 작업 분해 능력: 복잡한 법률 작업을 에이전트나 CoT(Chain-of-Thought) 를 통해 자동 분해하는 능력 강화.
  • 검색 능력 고도화: 특정 지식베이스에 최적화된 검색 모델 자동 학습 및 지식 통합 능력 향상.
  • 멀티모달 확장: 텍스트뿐만 아니라 오디오, 이미지, 비디오 등 다양한 법률 데이터 형식 처리 능력 개발.

결론적으로, Luwen 은 일반 목적 LLM 을 법률 도메인에 효과적으로 적응시키기 위한 기술적 프레임워크를 성공적으로 입증한 사례로, 중국어 법률 AI 분야의 중요한 이정표가 될 것으로 기대됩니다.