Mining Legal Arguments to Study Judicial Formalism

논문 개요: 법적 논증 마이닝을 통한 사법 형식주의 연구

이 연구는 중동유럽 (CEE) 지역의 사법부가 법리 해석에 있어 지나치게 형식주의적 (Formalistic) 이라는 기존의 통설을 실증적으로 검증하기 위해 수행되었습니다. 저자들은 체코의 대법원 (Supreme Court) 과 최고행정법원 (Supreme Administrative Court) 판결문을 대상으로 최신 자연어 처리 (NLP) 기술을 활용하여 법적 논증 (Legal Argument) 을 자동 추출하고 분류하며, 이를 통해 판결의 형식주의 여부를 판단하는 파이프라인을 구축했습니다.

1. 연구 문제 (Problem)

• 배경: 법원은 판결을 정당화해야 하지만, 대규모로 사법 논리를 체계적으로 분석하는 것은 어렵습니다. 특히 중동유럽 (CEE) 지역은 법학계에서 "초실증주의 (Hyperpositivism)", "기계적 법학", "심층적 형식주의"를 보인다는 통설이 지배적입니다.
• 한계: 기존 연구는 소규모 수동 주석에 의존하거나, 형식주의를 정의하는 명확한 기준이 부족하여 anecdotal (경험적/구술적) 증거에 머무는 경우가 많았습니다. 또한, 비영어권 법률 텍스트를 처리하고 복잡한 법적 개념 (형식주의 등) 을 정량화하는 데 어려움이 있었습니다.
• 핵심 질문:
  1. 최신 NLP 기법으로 체코 판결문의 논증적 단락을 감지하고 8 가지 전통적 법적 논증 유형으로 분류할 수 있는가?
  2. 모델이 판결 수준에서 형식주의적/비형식주의적 추론 스타일을 구분할 수 있는가?
  3. 체코 최상급 법원의 실증적 분석이 CEE 지역의 형식주의에 대한 기존 주장을 지지하거나 반증하는가?

2. 방법론 (Methodology)

가. 데이터셋 구축 (MADON Dataset)

• 데이터: 체코 대법원과 최고행정법원의 판결 272 건 (9,183 개 단락) 을 수집하여 MADON (Mining Arguments to Debunk Old Narratives) 데이터셋을 구축했습니다.
• 주석 (Annotation):
  • 8 가지 논증 유형: 언어적 해석 (LIN), 체계적 해석 (SI), 판례 (CL), 법학설 (D), 역사적 해석 (HI), 법원칙/가치 (PL), 목적론적 해석 (TI), 실질적 결과 (PC) 로 분류.
  • 전체적 형식주의 라벨: 각 판결을 '형식주의적' 또는 '비형식주의적'으로 이진 분류.
  • 주석자 신뢰도: 법률 전문가 (법학도 및 박사 과정) 가 주석하며, 코헨의 카파 (Cohen's kappa) 0.65(전체적 라벨) 및 크리펜도르프 알파 (Krippendorff's alpha) 를 통해 신뢰성을 측정했습니다.
• 대규모 코퍼스: LLM 의 추가 전학습 (Continued Pretraining) 을 위해 체코 법원 판결 300,511 건을 수집하여 전처리했습니다.

나. 모델 아키텍처 및 학습 전략

• 모델: 오픈 소스 기반의 최신 모델인 Llama 3.1 8B (디코더 전용) 와 ModernBERT (인코더 전용) 를 사용했습니다.
• 학습 기법:
  • Continued Pretraining (CPT): 체코 법률 도메인 텍스트로 추가 전학습 수행.
  • Fine-tuning: 완전 파인튜닝 (Full Fine-tuning) 과 파라미터 효율적 파인튜닝 (PEFT/LoRA) 비교.
  • 손실 함수: 클래스 불균형 문제를 해결하기 위해 Asymmetric Loss를 적용 (Binary Cross-Entropy 대비 성능 향상).
• 3 단계 파이프라인 (Holistic Classification):
  1. 필터링: ModernBERT 를 이용해 논증적 단락이 아닌 텍스트 (절차적, 반복적 내용) 를 제거 (약 85% 텍스트 제거).
  2. 논증 분류: Llama 3.1 을 이용해 필터링된 텍스트에서 8 가지 논증 유형을 분류.
  3. 형식주의 판별: 추출된 논증 분포를 특징 (Feature) 으로 사용하여 MLP(다층 퍼셉트론) 가 최종적으로 판결의 형식주의 여부를 분류.

3. 주요 결과 (Results)

가. 성능 지표 (Bal-F1 Score)

• 작업 1 (논증 존재 감지): ModernBERT-large-Czech-Legal이 **82.6%**의 Bal-F1 점수를 기록하여 가장 우수했습니다. (Llama 3.1 은 79.5%).
• 작업 2 (논증 유형 분류): **Llama 3.1 8B (Full Fine-tuning + Asymmetric Loss)**가 **77.5%**의 Bal-F1 점수로 가장 높은 성능을 보였습니다. PEFT 기법은 이 작업에서 성능이 크게 저하되었습니다.
• 작업 3 (전체적 형식주의 분류):
  • 최고 성능: 3 단계 파이프라인 (필터링 + Llama 분류 + MLP 판별) 이 **83.8%**의 Bal-F1 점수를 기록했습니다.
  • 엔드 - 투 - 엔드 모델: ModernBERT-large-Czech-Legal 이 82.2% 로 엔드 - 투 - 엔드 방식 중 가장 좋았습니다.
  • 상한선 (Oracle): 인간 전문가가 주석한 논증 정보를 특징으로 MLP 에 입력했을 때 91.7% 의 성능을 보여, 논증 분포가 형식주의 판단의 핵심 요소임을 입증했습니다.

나. 실증적 발견 (Empirical Findings)

• 형식주의의 재정의: 체코 대법원과 최고행정법원 모두 **언어적 해석 (Text-based reasoning) 의 빈도가 매우 낮음 (전체 논증의 5.7%)**을 보였습니다.
• 주요 논증 유형: 오히려 **판례 (Case Law, 37.4%)**와 **목적론적 해석/가치 기반 논증 (32.3%)**이 지배적이었습니다.
• 통설 반박: "체코 대법원은 형식주의적이고 판례를 회피한다"는 기존 통설과 달리, 두 법원 모두 목적론적, 가치 기반 논증을 활발히 사용하며 판례에 의존하는 경향이 강했습니다. 특히 2011 년 이후 최고행정법원 (SAC) 은 비형식주의적 추론으로 더 큰 추세를 보였습니다.

4. 주요 기여 (Key Contributions)

1. MADON 데이터셋 및 가이드라인: CEE 법원의 형식주의를 분석하기 위한 첫 번째 대규모 주석 데이터셋과 8 가지 논증 유형에 대한 상세한 주석 가이드라인을 공개했습니다.
2. 기술적 혁신:
   • 법률 도메인 특화 LLM 과 전통적 머신러닝 (MLP) 을 결합한 3 단계 파이프라인을 제안하여 계산 비용을 줄이고 설명 가능성 (Explainability) 을 높였습니다.
   • 클래스 불균형 문제를 해결하기 위해 Asymmetric Loss가 법률 논증 분류에 필수적임을 입증했습니다.
   • PEFT(LoRA) 가 복잡한 법률 논증 분류에는 부적합하고, Full Fine-tuning이 필요함을 보였습니다.
3. 법학 및 정책적 함의: CEE 지역의 사법 형식주의에 대한 통설을 실증 데이터로 반박했습니다. 텍스트 중심의 형식주의가 오히려 드물고, 목적론적/가치 기반 논증이 주류임을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 연구는 계산적 법률 연구 (Computational Legal Studies) 분야에서 NLP 기술이 어떻게 추상적인 법철학적 개념 (형식주의) 을 실증적으로 측정하고 검증할 수 있는지 보여주는 사례입니다.

• 방법론적 의의: 복잡한 법적 개념을 NLP 파이프라인으로 분해 (Decomposition) 하여 분석하는 접근법이 성능과 설명 가능성을 동시에 향상시킴을 입증했습니다.
• 실증적 의의: 체코 법원의 판결을 분석함으로써 중동유럽 사법부에 대한 "형식주의"라는 편견이 사실과 다를 수 있음을 보여주었으며, 이는 향후 다른 CEE 국가 및 전 세계 사법 시스템 분석에 대한 새로운 연구 방향을 제시합니다.
• 오픈 소스: 모든 데이터셋, 모델, 코드, 가이드라인을 GitHub 에서 공개하여 재현성과 후속 연구를 장려하고 있습니다.

결론적으로, 이 논문은 최신 LLM 기술과 법률 이론의 융합을 통해 사법부의 의사결정 구조를 정량적으로 분석할 수 있음을 증명하며, 기존의 법학 담론을 데이터 기반의 실증적 증거로 보완하고 있습니다.