Legal Experts Disagree With Rationale Extraction Techniques for Explaining ECtHR Case Outcome Classification

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 법률 분야, 특히 유럽인권재판소 (ECtHR) 의 판결 예측과 같은 고위험 의사결정에 적용될 때, 투명성과 신뢰성은 필수적입니다.
• 문제: 기존 연구들은 모델의 예측 결과를 설명하기 위해 'rationale extraction(근거 추출)' 기법을 사용하지만, 법률 전문가의 관점에서 이러한 추출된 근거가 실제로 타당한지 (plausibility) 에 대한 검증이 부족합니다.
• 데이터의 한계: 기존 ECtHR 데이터셋 (Chalkidis et al., 2019a, 2021) 은 '위반 없음 (non-violation)'으로 라벨링된 사례 중 상당수가 사실상의 법적 오류 (수용 불가 사건이나 암묵적 위반 사례의 오분류) 를 포함하고 있어, 신뢰할 수 있는 벤치마크가 부재했습니다.
• 평가의 한계: 기존 평가는 주로 모델의 신뢰도 (faithfulness) 에 의존하거나, 비용과 시간이 많이 드는 인간 전문가 평가를 대체할 수 있는 자동화 방법 (LLM-as-a-Judge) 의 유효성이 법률 도메인에서 검증되지 않았습니다.

2. 연구 방법론 (Methodology)

A. 새로운 ECtHR 데이터셋 구축

• 기존 데이터셋의 오류를 수정하기 위해 HUDOC 데이터베이스를 재스크래핑하여 약 39 만 건의 사례를 수집했습니다.
• 필터링: 수용 불가 (inadmissible) 사례, 명시적/암묵적 위반이 혼재된 사례 등을 제거하여 **1,573 건의 '위반 없음 (negative)'**과 **15,221 건의 '위반 (positive)'**으로 구성된 고품질 데이터셋을 구축했습니다.
• 실험을 위해 Article 6 (공정한 재판을 받을 권리) 과 Article 8 (사생활 및 가족 생활 존중받을 권리) 위반 사례에 초점을 맞춰 균형을 맞춘 서브셋을 생성했습니다.

B. 모델 및 해석 기법

• 하류 작업 (Downstream Task): LEGAL-BERT 를 계층적 구조 (HIER-BERT) 로 파인튜닝하여 위반 존재 여부를 이진 분류하는 모델을 구축했습니다.
• 해석 기법 비교: 두 가지 모델-중립적 (model-agnostic) 근거 추출 기법을 비교 분석했습니다.
  1. MaRC (Masked Rationale Creation): 입력 마스크를 최적화하여 분류 성능을 유지하면서 가장 짧은 텍스트 조각을 찾는 최적화 기반 접근법.
  2. ISR (Flexible Instance-Specific Rationale Extraction): 다양한 특성 할당 방법 (Attention, LIME, Integrated Gradients 등) 을 앙상블하여 가장 이질적인 (divergent) 텍스트 조각을 찾는 접근법.

C. 평가 프레임워크

1. 정량적 평가 (Quantitative):
   • Faithfulness(신뢰도): Normalized Sufficiency(충분성), Normalized Comprehensiveness(포괄성), F1 점수 변화 (Suff-F1, Comp-F1) 를 측정.
2. 정성적 평가 (Qualitative - 전문가 평가):
   • 4 명의 법률 전문가 팀이 평가 가이드라인을 개발했습니다.
   • Expert A: 사실 관계만 보고 위반을 지지하는 근거를 직접 추출.
   • Expert B: MaRC 와 ISR 이 추출한 근거가 위반 판정을 지지하는지 (Support) 그리고 충분한지 (Sufficiency) 평가.
3. LLM-as-a-Judge 평가:
   • Llama-3.1, Mixtral, Gemma 등 3 개의 오픈소스 LLM 을 사용하여 전문가의 평가와 일치하는지 검증 (Zero-shot 및 Few-shot 설정).

3. 주요 결과 (Key Results)

A. 정량적 vs 정성적 평가의 괴리

• Faithfulness 점수: MaRC 는 높은 Sufficiency 점수를, ISR 은 높은 Comprehensiveness 점수를 보였습니다.
• 전문가 평가: 그러나 법률 전문가들은 모델이 추출한 근거를 대부분 '지지하지도 (Unsupport), 충분하지도 (Insufficient)' 않다고 평가했습니다.
  • ISR: 10 건 중 9 건이 두 기준 모두에서 실패.
  • MaRC: 10 건 중 7 건이 실패.
• 원인: 모델이 추출한 텍스트 조각은 문맥이 끊긴 단편 (broken snippets), 동사나 주어가 없는 명사구, 관련 없는 날짜 등으로 구성되어 있어 법적 논리의 연속성이 결여되어 있었습니다. 반면, 인간 전문가 (Expert A) 는 문맥이 유지된 전체 문단이나 긴 텍스트를 선택했습니다.

B. LLM-as-a-Judge 의 한계

• LLM 들은 전문가 (Expert B) 와의 일치도 (Cohen's Kappa) 에서 '공정 (fair)' 수준에 도달하기도 했으나, 신뢰구간 (Confidence Interval) 이 넓고 일관성이 부족했습니다.
• 특히 소수 사례 (10 건) 에 기반한 평가에서는 통계적 유의성이 낮았으며, LLM 이 동일한 문서에 대해 서로 다른 판단을 내리는 경우가 많았습니다.
• 결론: 현재 오픈 가중치 LLM 은 법률 도메인의 해석 가능성 평가 도구로 신뢰할 수 없으며, 인간 전문가의 평가 대체는 위험할 수 있음.

C. 기존 데이터셋의 오류 발견

• 기존 Chalkidis et al. 의 데이터셋은 수용 불가 사건을 '위반 없음'으로 잘못 라벨링하여, 실제 '위반 없음' 사례의 수를 과대평가하고 모델 학습에 왜곡을 초래했음이 확인되었습니다.

4. 주요 기여 (Key Contributions)

1. 고품질 ECtHR 데이터셋: 법적 오류를 수정하고 수용 불가 사례를 제거한 새로운 ECtHR 위반 예측 데이터셋을 공개했습니다.
2. 종합적 평가 프레임워크: 정량적 지표 (Faithfulness) 와 정성적 전문가 평가를 결합하여 모델의 근거 추출 능력을 다각도로 분석하는 표준화된 프레임워크를 제시했습니다.
3. 모델-전문가 간극 규명: 모델이 예측을 정당화하는 '이유'와 법률 전문가가 사용하는 '이유'가 본질적으로 다르다는 것을 실증적으로 증명했습니다. 모델은 통계적 패턴에 의존하지만, 전문가는 법적 논리와 맥락을 중시합니다.
4. LLM-as-a-Judge 검증: 법률 도메인에서 LLM 을 평가자로 사용하는 것의 한계를 지적하고, 현재 기술 수준에서는 인간 전문가의 평가를 대체할 수 없음을 보여주었습니다.

5. 의의 및 시사점 (Significance)

• 법률 AI 의 신뢰성 경고: 현재 모델-중립적 해석 기법 (Rationale Extraction) 은 모델의 내부 작동 원리를 설명하는 것처럼 보일 수 있으나, 실제 법적 근거를 제공하지는 못합니다. 이는 고위험 법률 결정에 AI 를 적용할 때 심각한 윤리적, 실용적 문제를 야기할 수 있음을 시사합니다.
• 연구 방향 전환: 단순한 모델 성능 (Accuracy/F1) 향상이나 정량적 해석 지표 개선보다는, 법적 맥락을 이해하고 인간 전문가의 추론 방식과 일치하는 해석 가능한 모델을 개발하는 방향으로 연구가 전환되어야 함을 강조합니다.
• 데이터 품질의 중요성: 법률 NLP 연구에서 데이터셋의 라벨링 정확도가 모델 평가와 해석 가능성 연구의 성패를 좌우한다는 점을 재확인시켰습니다.

이 논문은 법률 AI 분야에서 "해석 가능성 (Interpretability)"이 단순히 모델이 어떤 단어를 강조했는지를 보여주는 것을 넘어, 법적 논리의 타당성을 확보해야 함을 강력하게 주장하는 중요한 연구입니다.