From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control

기술 요약: 판결문에서 쟁점으로: 인용 환각 제어를 통한 법적 추론의 구조적 추출

문제 정의
현대 사법 체계, 특히 이탈리아의 경우, 법률 전문가가 개별적으로 읽을 수 있는 능력을 초과하는 규모로 법원 판결문을 생성하고 있다. 이탈리아 조세 법원 데이터베이스만 해도 약 100만 건의 판결문을 보유하고 있으며, 매년 수십만 건씩 증가하고 있다. 이러한 방대한 양은 선례 검색, 인용 네트워크 분석, 법률 NLP 시스템 학습과 같은 2차적 용도로 매우 가치 있는 정보를 담고 있지만, 원본 PDF의 비구조적 특성은 이러한 응용을 저해한다. 기존의 추출 방식은 판결문 전체를 하나의 단위로 취급하여 절차적 상투 문구(boilerplate)로부터 발생하는 노이즈를 유발하며, 구체적인 법적 쟁점을 분리해내지 못한다. 또한, 대규모 언어 모델(LLM)은 법률 인용을 "환각(hallucinating)"하는 경향이 있어, 존재하지 않는 법령이나 판례를 그럴듯하게 조작함으로써 자동화된 법률 추론 파이프라인의 신뢰성을 훼und undermines 한다.

방법론
저자들은 이탈리아 조세 법원의 판결문을 개별 법적 쟁점(legal issue)으로 분해하고 각 쟁점에 대한 구조화된 XML 표현을 추출하도록 설계된 자동화 파이프라인을 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 구축된다:

1. 쟁점 기반 분해 및 스키마 설계:
   파이프라인은 판결문을 단일한 블록으로 처리하는 대신, 법적 쟁점(questione giuridica)을 분석 단위로 취급한다. 이는 판결을 특정 법적 질문의 해결로 보는 사법 정당화 이론(예: MacCormick, 1994)과 궤를 같이한다. 추출된 구조는 IRAC 프레임워크(Issue, Rule, Application, Conclusion)와 법적 삼단논법에 근거한다. 각 쟁점은 다음의 특정 필드를 가진 XML로 인코딩된다:

   • <text>: "Whether + 절(clause)" 형식의 법적 질문.
   • <issue_outcome>: 수혜자(납세자, 세무 당국, 기타)에 따라 분류된 결정.
   • <factual_premises>: 관련 사실 및 사건.
   • <legal_references>: 유형별 인용 목록(법령, 판례, 원칙, 행정 관행).
   • <citation_reason>: 특정 참조가 인용된 이유에 대한 설명.
   • <judge_reasoning>: 법률의 사실 적용 과정.
   • <summary>: 쟁점에 대한 요약적 추상 기술.

2. 추출 파이프라인 및 모델 선택:
   파이프라인은 약 33만 건의 이탈리아 1심 및 2심 조세 법원 판결문 코퍼스를 처리한다. 처리 비용과 성능 사이의 균형을 맞추기 위해, 저자들은 우수한 가성비(판결문당 약 $0.0035)를 제공하는 범용 모델인 DeepSeek V3를 선택했다. 긴 판결문에 대해서는 2단계 프롬프팅 전략을 사용한다:

   • 1단계: 쟁점을 식별하고 <text>, <summary>, <issue_outcome>를 추출한다.
   • 2단계: 식별된 각 쟁점에 대해 상세한 추론, 사실 관계, 인용을 추출한다.
     추출 후 교정 단계에서는 퓨샷(few-shot) 프롬프팅을 사용하여 <text> 필드가 엄격하게 "Whether + clause" 형식을 준수하도록 한다.

3. Linkoln을 통한 환각 제어:
   LLM 인용의 불확실성을 해결하기 위해, 파이프라인은 Linkoln 라이브러리(Bacci et al., 2019)를 사용하는 검증 레이어를 통합한다. 이 단계는 다음과 같다:

   • 법률 참조를 원본 판결문 텍스트와 LLM 출력물 양쪽에서 파싱한다.
   • 이를 표준 식별자(URN-NIR, ECLI, CELEX)로 정규화한다.
   • 두 세트를 비교한다. LLM 출력에는 존재하지만 원본 텍스트에는 없는 참조는 환각으로 간주되어 플래그가 지정되고 제거된다.
   • 표준 식별자가 없는 법적 원칙의 경우, 전문가들이 도출한 182개의 정전적(canonical) 원칙 화이트리스트를 사용하여 일치 여부를 검증한다.

주요 기여
본 논문의 주요 기여는 다음과 같다:

1. 구조화된 스키마: IRAC 및 법적 삼단논법에 근거하여 기계 판독이 가능하고 인간의 검토에 유용하며, 중간 수준의 LLM으로도 안정적으로 추출할 수 있도록 설계된 새로운 쟁점 단위 XML 스키마를 제시한다.
2. 환환 제어를 갖춘 비용 효율적 파이프라인: 원본 텍스트와 대조하여 인용을 정규화하고 검증하는 자동 파서 기반의 필터를 결 조합하여, DeepSeek V3를 활용한 확장 가능한 파이프라인을 구축했다.
3. 전문가 검증을 통한 평가: 두 명의 조세법 박사급 전문가가 주석을 달았던 50개의 판결문을 대상으로 엄격한 검증 프로토콜을 수행하여, 검증자 간 일치도(IAA), LLM-대-전문가 일치도, 그리고 환각 필터의 성능을 보고한다.

결과
50개 판결문 하위 샘플에 대한 평가 결과는 다음과 같다:

• 쟁점 추출: LLM은 인간 전문가와 비교했을 때 높은 정밀도(93–94%)를 보였으나, 재현율(recall)은 보통 수준(70–82%)이었다. 주요 오류 모드는 환각보다는 과소 추출(쟁점을 놓치는 것)이었다. 추출된 78개 쟁점 중 전문가가 부재하다고 판단한 것은 4개뿐이었다.
• 인용 추출: LLM은 전문가 주석에 대해 약 74%의 F1 스코어를 달립다. 모델은 전문가와 유사한 수의 참조를 추출하지만, 특정 쟁점과 관련이 없다고 판단되는 참조를 포함하기도 한다.
• 환각 필터 성능: 필터는 매우 효과적이다. 필터링 전 환각률은 11.7%였으나, 필터링 후 0.9%로 감소했다. 필터는 31개의 환각된 참조 중 29개를 제거했으며, 유효한 인용을 잘못 제거한 경우는 7건(오탐률 3.0%)에 불답했다. 필터는 "법적 원칙"에 대해 가장 효과가 낮았는데, 이는 필터링 전 환각률이 69%에 달했기 때문이다.
• 질적 점수: 자유 텍는 필드(추론, 요약, 결정)는 전문가들로부터 높은 평균 점수(4.6–4.9/5)를 받았다. 이러한 질적 차원에 대한 검증자 간 일치도는 매우 높았다(Gwet's AC2 > 0.93).
• 확률성(Stochasticity): 저자들은 고정된 시드(seed)를 사용하더라도 LLM이 비결정론적 특성을 보인다는 점에 주목했다. 실행 간 일치도(쟁점 F1 ~78%, 인용 ~73%)는 검증자 간 일치도보다는 낮지만 LLM-대-인간 일치도와는 유사하며, 이는 모델의 확률성이 성능 격지의 상당 부분을 차지함을 시사한다.

의의 및 주장
저자들은 본 연구가 이탈리아 조세 법원 판결에 특화된, 환각 제어를 갖춘 최초의 쟁점 단위 전문가 검증 구조적 추출 파이프라인라고 주장한다. 저자들은 이 파이프라인을 다음과 같은 다운스트림 응용 분야를 위한 구체적인 출발점으로 제시한다:

• 쟁점 단위 검색: 단일 법적 질문을 분리하여 검색 정밀도를 향상시킨다.
• 인용 네트워크 분석: 단순 언급이 아닌, 실제 분쟁 결정에 사용된 참조를 반영하는 그래프를 구축한다.
• 데이터셋 구축: 법률 NLP 시스템의 학습 및 벤치마킹을 위한 대규모 구조화된 데이터셋을 생성한다.

본 논문은 50개의 작은 검증 샘플, 단일 모델 및 관할권에 대한 의존성, 쟁점으로 판결문을 분절하는 과정의 내재적 주관성 등의 한계를 인정하며 겸허한 어조를 유지한다. 저자들은 제안된 형식이 특정 관할권이나 모델에 종속되지 않는 구조적 추출을 위한 방법론적 템플릿 역할을 하며, 적절한 검증 레이어가 결-합될 때 현재의 LLM이 복잡한 법적 추론 구조를 안정적으로 구현할 수 있음을 입증한다고 강조한다.