Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions

기술 요약: 프랑스 법원 판결문 내 암시적 법률 인용 탐지

문제 정의
본 논문은 계산 법학 분석의 핵심적인 공백인 암시적 법령 인용(implicit statutory citations) 탐지 문제를 다룬다. "제1192조에 의거하여"와 같은 명시적 인용은 키워드 검색을 통해 쉽게 추출할 수 있지만, 법원은 특정 조항을 직접 언급하지 않고도 법적 규칙을 적용하는 경우가 빈번하다. 이는 해당 규칙의 실제 적용 사례를 찾는 법률 실무가와 판례의 경향을 연구하는 정량적 연구자 모두에게 "사각지대"를 형성한다. 본 과업은 법원 판결문의 구절과 후보 민법 조항이 주어졌을 때, 해당 구절이 조항을 명시적으로 언급하지 않으면서도 그 법적 규칙을 적용하고 있는지 여부를 판별하는 것으로 정의된다. 이를 위해서는 단순한 의미적 유사성이나 사실적 기술을 넘어 진정한 법적 추론을 구별해내는 능력이 요구된다.

방법론
저자들은 데이터셋 구축, 전문가 주석 처리, 다중 모델 평가를 포함하는 포괄적인 파이프라인을 제안한다.

1. 데이터셋 구축:

   • 출처: Judilibre API를 통해 수집된 프랑스 1심 민사 법원(tribunaux judiciaires)의 판결문 182,155건 (2023년 12월~2025년 7월).
   • 후보 생성: 패턴 매칭을 방지하기 위해 조항 번호를 마스킹 처리한 명시적 인용문을 기반으로 JuriBERT를 사용하여 바이-인코더(bi-encoder)를 학습시켰으며, 이를 통해 판결문 청크(chunk)와 의미적으로 유사한 조항들을 검색하였다. 명시적 키워드가 포함된 후보는 필터링되었다.
   • 적대적 필터링(Adversarial Filtering): 데이터셋에 도전적인 사례를 포함시키기 위해, 저자들은 OpenAI의 o3 모델을 엄격한 프롬프트와 함께 사용하여 후보를 필터링했다. o3가 암시적 적용을 예측한 쌍만을 유지함으로써, o3의 추론 패턴을 공유하는 모델들이 실패할 가능성이 높은 "하드 네거티브(hard negative)" 세트를 생성했다.
   • 최종 벤치마크: 418개의 서로 다른 민법 조항(제3편 채권법에서 77% 차지)을 포괄하는 1,015개의 구절-조항 쌍이 선정되었다.

2. 주석 처리 프로토콜:

   • 세 명의 법률 교육을 받은 전문가가 데이터셋을 주석 처리했다.
   • 불일치 처리: 불일치를 노이즈로 취급하는 일반적인 NLP 관행과 달리, 저자들은 이를 하나의 신호로 취급했다. A1과 A2가 1,015개 쌍 전체를 레이블링했으며, A1과 A2가 불일치한 339건(33.4%)에 대해서는 A3가 최종 판정을 내렸다.
   • 핵심 발견: 불일치 사례의 92.6%는 "No"(비암시적)로 판정되었으며, 이는 주로 사실적 기술과 법적 추론 사이의 경계에서 발생했다.

3. 실험적 평가:

   • 지도 학습(Supervised Learning): JuriBERT 및 SAUL-7B와 같은 법률 도메인 모델을 포함한 8개의 사전 학습된 인코더를 동결(frozen)하고, 그 위에 단순 분류기(로지스틱 회귀, MLP)를 학습시켜 스태킹(stacking) 방식으로 4개 모델의 앙상블을 구성했다.
   • 제로샷 LLM(Zero-Shot LLMs): 10개의 지시어 튜닝된 LLM(7B에서 70B 파라미터 범위)을 제로샷 프롬프팅을 통해 평가했다.
   • 비지도 랭킹(Unsupervised Ranking): 양의 편향(positive bias)이 낮은 4개 LLM의 예측 교집합과 어휘적 베이스라인(TF-IDF, BM25) 및 크로스-인코더를 결합한 랭킹 전략을 개발했다.

주요 결과

• 모델 성능: 최적의 지도 학습 앙상블은 F1 점수 0.70과 MCC 0.53을 달 기록했다. 제로샷 LLM은 일반적으로 높은 양의 편향( "Yes"라고 너무 자주 예측함)을 보여 이진 분류기로서는 신뢰하기 어려웠으나, 랭킹 신호로서의 유용성은 있었다.
• 불일치-실패 상관관계: 핵심적인 발견은 모델의 오류가 인간 전문가가 불일치를 보인 사례에 집중된다는 점이다.
  • 지도 학습 앙상블의 오탐(false positives)은 불일치가 발생한 사례(33%)에 불균형적으로 분포되어 있었다.
  • 불일치 사례에서의 오탐률은 **14.3%**로, 합의된 사례의 **8.4%**와 비교했을 때 1.7배 높았다.
  • 이 패턴은 미세 조정된 크로스-인코더와 NLI 베이스라인을 포함하여 평가된 10개 모델 모두에서 일관되게 나타났다.
  • 모델들은 불일치 사례에서 틀린 예측을 하면서도 높은 확신을 보였는데, 이는 모호한 시나리오에서의 캘리브레이션(calibration) 부족을 시사한다.
• 비지도 유용성: 과업을 top-$k$ 검색 문제로 재정의했을 때, 비지도 앙상블은 **$k=200$에서 76%의 정밀도(precision)**를 달성하며 실제 양성 사례의 34%를 재현(recall)하였고, 이는 무작위 랭킹 및 어휘적 베이스라인을 크게 상회하는 수치이다.

의의 및 주장
본 논문은 전문가의 불일치가 단순한 주석 노이즈가 아니라 내재적 과업 난이도의 신호임을 주장한다. 이는 법적 개념의 "개방적 구조(open texture)"(Hart, 1961), 즉 사실과 법 사이의 경계가 실제로 모호한 지점을 반영한다.

• 분류의 한한계: 저자들은 인간 전문가조차 합의에 도달할 수 없기 때문에, 이러한 모호한 사례들에 대해 완벽한 이진 분류는 불가능하다고 주장한다.
• 실무적 경로: 이진 판단 대신, 논문은 **다중 모델 합의를 통한 랭킹(ranking with multi-model consensus)**을 법률 전문가를 위한 실행 가능한 도구로 제안한다. 관리 가능한 수준의 후보 목록(예: 상위 200개)을 제시함으로써, 시스템은 법이 가장 모호한 사례를 선별하여 전문가가 검토할 수 있도록 돕는 것이지, 최종 결정을 자동화하려는 것이 아니다.
• NLP에 대한 기여: 본 연구는 전문가의 불일치를 억제하는 표준적인 NLP 관행에 도전한다. 법률 도메인에서는 불일치가 모델의 실패를 예측하며, 이를 활용하여 현재 계산 방법론의 한계를 식별해야 함을 보여준다.

결론적으로, 본 논문은 계산 방법론이 법적 추론의 "반영부(penumbra)" 영역에서 고전할지라도, 불확실성을 은폐하기보다 인정하고 관리하도록 설계된다면 전문가의 검토를 위한 유용한 보조 도구가 될 수 있다고 제언한다.