LegalMidm: Use-Case-Driven Legal Domain Specialization for Korean Large Language Model

다음은 논문 "LEGALMIDM: USE-CASE-DRIVEN LEGAL DOMAIN SPECIALIZATION FOR KOREAN LARGE LANGUAGE MODEL"에 대한 상세한 기술 요약입니다.

1. 문제 제기

오픈 소스 대규모 언어 모델 (LLM) 의 급속한 확산으로 도메인별 전문가 모델 개발 노력이 이루어지고 있습니다. 그러나 기존 도메인 특화 LLM(특히 법률 분야) 은 종종 다음과 같은 치명적인 단절 현상을 겪고 있습니다:

• 실제 필요와의 불일치: 많은 모델이 실제 법률 업무의 미묘하고 고위험적인 요구사항이 아닌, 실용성에 대한 단순한 가정에 기반한 데이터셋과 프로토콜로 훈련됩니다.
• 엄격함의 부재: 현재 접근 방식은 법률 작업에 내재된 모호성을 해결하거나 데이터 구성 및 입력/출력 형식을 정당화하지 못하는 경우가 많습니다.
• 파괴적 망각: 일반 모델을 특정 도메인에 적응시키는 과정에서 일반 작업의 성능이 저하되거나 모델의 정체성 (예: "너는 누구니?"에 대한 답변) 을 유지하지 못할 위험이 있습니다.
• 맥락: 한국 법률 분야에서 AI 에 대한 수요는 높지만, 오픈 LLM 을 한국 법률에 특화시키기 위한 체계적인 프레임워크는 부족합니다.

2. 방법론

저자들은 Mi:dm-2.0-Base(115 억 파라미터 규모의 한영 이중언어 모델) 를 기반으로 한 한국 법률 도메인용 수직형 LLM 인 LEGALMIDM을 제안합니다. 방법론은 실제 사용 사례에 기반한 종단간 (end-to-end) 프레임워크로, 다음 네 가지 핵심 기둥으로 구성됩니다:

A. 요구 사항 조사 및 작업 선정

일반적인 훈련 대신, 저자들은 미국과 한국의 운영 중인 20 개 법률 기술 서비스를 분석하고 현직 변호사들과 상담했습니다. 이를 통해 6 가지 고수요 작업을 식별했습니다:

1. 문서 요약 (DS)
2. 문서 기반 질문 답변 (DQA)
3. 개방형 질문 답변 (Open QA)
4. 소장 작성 (DD)
5. 청구서 작성 (DD)
6. 객관식 질문 답변 (MC)

B. 데이터 큐레이션 및 구축

• 인간 큐레이션 데이터: 법학 전공자, 산업 전문가, 변호사로 구성된 팀이 고품질 데이터셋을 구축했습니다. 여기에는 작업당 100 개의 홀드아웃 테스트 샘플이 포함됩니다.
• 자동 합성 데이터 생성: 데이터 양을 확장하기 위해 한국입법정보센터의 법령을 활용했습니다. GPT-4o 를 사용하여 모델이 특정 법적 조항을 인용하도록 프롬프트를 입력하여 질문 - 답변 쌍을 생성했습니다.
  • 검증: 인용된 참조가 소스 법령의 실제 하위 문자열인지 확인하는 문자열 매칭 검증 단계를 거쳐 사실 기반을 보장했습니다.
• 일반 도메인 보존: 파괴적 망각을 방지하기 위해 저자들은 ChatKoAlpaca 의 실제 사용자 쿼리를 분석하여 일반적인 정체성 질문 (예: "너는 누구니?") 을 식별하고, 훈련 믹스에 일반 도메인 데이터 (KoAlpaca, KOpen-HQ) 를 포함시켰습니다.

C. 훈련 파이프라인

훈련 과정은 최적의 전략을 결정하기 위한 특정 제거 연구 (ablation studies) 를 포함한 두 단계로 진행되었습니다:

1. 지속적 사전 훈련 (CPT): 기본 모델을 법률 도메인에 적응시킵니다.
2. 지시 미세 조정 (IT): 특정 작업을 위해 모델을 정제합니다.

주요 설계 결정 (제거 연구를 통해 검증됨):

• 데이터 구성: CPT 와 IT 단계 모두에서 일반 도메인 데이터를 통합 (일반:법률 = 7:3 비율) 하는 것이 법률 데이터만으로 훈련하는 것보다 우수한 성능을 보였습니다. 이는 일반 능력을 유지하면서 법률 특화성을 향상시켰습니다.
• 합성 데이터 포맷팅: 저자들은 법적 참조 ($R$) 에 대해 세 가지 포맷을 테스트했습니다:
  1. $M(Q) \to A$ (참조 없음)
  2. $M(Q) \to A + R$ (출력에 참조 포함)
  3. $M(Q + R) \to A$ (입력에 참조 포함)
  • 결과: 문서 작업에서는 출력에 참조를 생성하는 것이 잘 작동했으나, 객관식 질문에서는 불안정성을 초래했습니다. 최적의 전략은 모든 작업에서 법적 참조를 입력 ($Q + R$) 에 배치하는 것이었습니다.
• 시스템 프롬프트 최적화: 저자들은 시스템 프롬프트 ("Mi:dm"으로 모델 정의) 를 포함하여 훈련하는 경우와 포함하지 않는 경우를 테스트했습니다.
  • 결과: 시스템 프롬프트 없이 훈련하는 것이 가장 좋은 법률 성능을 보였습니다. 시스템 프롬프트는 모델이 작업별 추론을 훼손하지 않고 자신을 올바르게 식별할 수 있도록 추론 시에만 적용해야 합니다.

3. 주요 기여

1. 사용 사례 기반 프레임워크: 이론적 가정이 아닌 실제 산업 요구사항에 기반하여 오픈 LLM 을 법률 전문가로 변환하는 체계적인 레시피를 제시합니다.
2. LEGALMIDM 모델: 한국 법률 벤치마크에서 훨씬 더 큰 모델 (예: Llama-3.3-70B, Qwen2.5-32B) 보다 월등히 우수한 성능을 보이는 115 억 파라미터 규모의 특화 한국 법률 LLM 을 공개했습니다.
3. 훈련 전략에 대한 실증적 검증:
   • 일반 도메인 데이터의 혼합이 견고성 유지에 필수적임을 입증했습니다.
   • 합성 데이터의 경우 참조를 생성하는 것보다 입력에 포함시키는 것이 우월함을 확인했습니다.
   • 시스템 프롬프트는 훈련 데이터와 분리하여 추론 시에만 적용해야 함을 증명했습니다.
4. 고품질 데이터셋 구축: 법률 전문가와 자동 검증을 통한 엄격한 파이프라인을 통해 사실 기반의 법률 데이터셋을 생성했습니다.

4. 결과

모델은 6 가지 법률 작업과 2 가지 일반 벤치마크 (KMMLU, HAERAE) 에서 평가되었습니다.

• 법률 성능: LEGALMIDM(115 억) 은 모든 법률 작업 (소장, 요약, 청구서, QA, MRC, 객관식) 에서 최고 점수를 달성했습니다.
  • 예시: 소장 작업에서 LEGALMIDM 은 Rouge-L 점수 67.67을 기록하여 Llama-3.3-70B(53.40) 와 Qwen2.5-32B(58.81) 를 크게 앞섰습니다.
  • 또한 GPT-4o 에 의해 평가된 전체 LLM 판사 점수에서도 최고점을 기록했습니다.
• 일반 성능: 규모가 작음에도 불구하고 LEGALMIDM 은 일반 벤치마크 (KMMLU, HAERAE) 에서 경쟁력 있는 성능을 유지하여 훨씬 더 큰 모델과 비슷하거나 더 나은 결과를 보였으며, 이는 일반 데이터 포함이 파괴적 망각을 방지했음을 확인시켜 주었습니다.
• 제거 연구 통찰:
  • CPT/IT에서 일반 데이터를 제거하면 법률 작업 성능이 크게 저하되었습니다.
  • 입력에 참조를 포함 ($Q+R$) 하는 것이 다른 포맷보다 일관되게 안정성과 정확도에서 우월했습니다.

5. 의의

이 논문은 "더 많은 데이터"에서 "더 나은, 사용 사례에 부합하는 데이터 및 훈련 전략"으로 초점을 이동시킴으로써 법률 분야 AI 배포의 중요한 격차를 해소합니다.

• 실용적 유용성: 이 프레임워크는 이론적으로 가능할 뿐만 아니라 소장 및 청구서 작성과 같은 고위험 작업에 실제로 유용한 수직형 LLM 을 개발할 수 있는 재현 가능한 경로를 제공합니다.
• 효율성: 훈련 파이프라인이 특정 도메인의 제약 조건에 최적화되어 있을 때, 작고 잘 조정된 모델 (115 억) 이 특수 도메인에서 거대한 파운데이션 모델 (700 억+) 보다 더 우수한 성능을 발휘할 수 있음을 보여줍니다.
• 한국 법률 AI: 한국 법령과 문화적 맥락에 기반하여 훈련된 모델을 제공함으로써 한국 법률 기술 생태계의 특정 공백을 메웠으며, 해당 관할권에서 정확한 법률 추론에 필수적입니다.

결론적으로, LEGALMIDM 은 도메인 특화의 새로운 기준을 수립하여, 엄격한 데이터 큐레이션, 전략적 데이터 혼합, 그리고 입력 기반 참조와 같은 특정 아키텍처 선택이 단순히 모델 크기를 확장하는 것보다 더 큰 영향을 미친다는 것을 입증했습니다.