LLM-Assisted Causal Structure Disambiguation and Factor Extraction for Legal Judgment Prediction

1. 문제 정의 (Problem Definition)

기존의 법적 판결 예측 (Legal Judgment Prediction, LJP) 연구는 사전 학습된 언어 모델 (PLM) 을 기반으로 하여, 사건 사실과 판결 결과 간의 통계적 상관관계에 크게 의존합니다. 이 접근 방식은 다음과 같은 근본적인 한계를 가집니다.

• 허위 상관관계 (Spurious Correlations) 학습: 모델이 법적 구성 요소나 인과적 논리가 아닌, 표면적인 통계적 패턴을 학습하여 예측의 강건성 (Robustness) 이 떨어집니다. 예를 들어, 문장 부호의 미세한 변화만으로도 예측이 크게 달라질 수 있습니다.
• 법적 요인 추출의 부정확성: 기존 통계 기반 키워드 추출 방법 (예: YAKE) 은 법적 핵심 요인과 배경 정보 (이름, 장소 등) 를 구분하지 못해 노이즈가 심합니다.
• 인과 구조 발견의 불확실성: 법적 텍스트의 특징이 희소 (Sparse) 하고 마코프 동치 (Markov Equivalence) 현상으로 인해, 기존 인과 발견 알고리즘 (예: GFCI) 은 방향성이 불확실한 엣지 (Edges) 를 많이 생성합니다. 이로 인해 실제 법적 논리에 부합하는 인과 그래프를 구축하기 어렵습니다.

2. 제안 방법론 (Methodology)

이 논문은 대형 언어 모델 (LLM) 의 사전 지식과 통계적 인과 발견 알고리즘을 통합한 강화된 추론 프레임워크를 제안합니다. 전체 프로세스는 크게 4 단계로 구성됩니다.

2.1. 법적 요인 추출 (Legal Factor Extraction)

"Coarse-to-Fine" 하이브리드 추출 메커니즘을 도입합니다.

1. 통계적 선별 (Coarse): YAKE 알고리즘을 사용하여 텍스트 내 단어의 중요도 점수를 계산하고, 임계값 이하의 후보 집합을 생성합니다. 빈도 기반의 편향을 줄이기 위해 균일 샘플링을 수행합니다.
2. RAG 기반 의미 정제 (Fine):
   • 검색 증강 생성 (RAG): 외부 법률 어휘집을 참조하여 후보 단어의 맥락을 보강합니다.
   • Chain-of-Thought (CoT) 추론: LLM 을 "형법 전문가"로 프롬프팅하여, 추출된 키워드가 특정 범죄의 구성 요건 (Constituent Elements) 에 해당하는지 4 단계 (의미 분석, 요소 관련성 평가, 다차원 필터링, 결과 검증) 로 추론하게 합니다.
   • 노이즈 제거: 인명, 지명, 날짜 등 법적 판단과 무관한 개체 (NER) 를 필터링하고, 동의어 등을 클러스터링하여 노드를 통합합니다.

2.2. 인과 구조 학습 및 모호성 해소 (Causal Structure Learning)

• 초기 구조 발견: 관찰 데이터의 교란 변수를 고려하기 위해 GFCI (Greedy Fast Causal Inference) 알고리즘을 사용하여 부분 조상 그래프 (PAG) 를 생성합니다.
• LLM 지원 확률적 모호성 해소 (Disambiguation): GFCI 가 생성한 방향성이 불확실한 엣지 ($u \circ - \circ v$) 에 대해 LLM 을 "소프트한 법률 지식 베이스"로 활용합니다.
  • 사건 사실과 법률 조문을 프롬프트에 주입하여, LLM 이 인과 방향 ($u \to v$ 또는 $v \to u$) 에 대한 사전 확률을 평가하게 합니다.
  • 사법 논리 및 시간적 제약: "사실이 판결을 결정한다"는 원칙과 "원인은 결과보다 먼저 발생한다"는 시간적 순서를 제약 조건으로 적용하여 그래프를 가지치기 (Pruning) 합니다.

2.3. 인과 그래프 샘플링 및 강도 추정

• 다중 그래프 샘플링: 불확실성을 고려하여 여러 개의 결정적 인과 그래프를 무작위 샘플링합니다.
• 적합도 가중치: 베이지안 정보 기준 (BIC) 을 사용하여 각 샘플 그래프의 적합도를 평가하고 가중치를 부여합니다.
• 인과 강도 추정: **성향 점수 매칭 (Propensity Score Matching, PSM)**을 통해 각 요인과 범죄 유형 간의 인과 효과 (Average Treatment Effect, ATE) 를 정량화합니다.

2.4. 인식적 판결 예측 (Causal-Aware Prediction)

• ALBERT 기반 예측 모델: 생성된 인과 그래프와 추정된 인과 강도를 사전 지식으로 활용합니다.
• 주의 메커니즘 제약 (Attention Constraint): 텍스트의 토큰에 할당된 어텐션 (Attention) 가중치가 인과 강도와 일치하도록 **보조 손실 함수 (Causal Loss)**를 도입합니다. 이를 통해 모델이 통계적 상관관계가 아닌, 인과적으로 중요한 법적 요인에 집중하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 법적 요인 추출 패러다임: 통계적 스크리닝과 LLM 의 의미 추론을 결합하여, 노이즈가 제거된 고순도 법적 구성 요소를 추출하는 새로운 방식을 제시했습니다.
2. LLM 지원 인과 구조 모호성 해소: 관찰 데이터 기반 인과 발견에서 발생하는 마코프 동치로 인한 구조적 불확실성을, LLM 의 법률 상식과 논리적 추론을 통해 해결하는 메커니즘을 설계했습니다.
3. 인과성 인지 예측 모델: 명시적인 인과 그래프를 통해 어텐션 메커니즘을 제약함으로써, 유사한 범죄 혐의 (Confusing Charges) 를 구별하는 정확도와 강건성을 획기적으로 향상시켰습니다.

4. 실험 결과 (Results)

다양한 벤치마크 데이터셋 (LEVEN, QA, CAIL, LEDGAR, Overruling) 에서 12 개의 기존 모델 (BERT, Legal-RoBERTa, CASAM 등) 과 비교 평가되었습니다.

• 성능 향상: 제안된 모델은 모든 데이터셋에서 최상위 또는 2 위 성적을 기록했습니다. 특히 CAIL 데이터셋에서 89.31% 의 정확도를 달성하여 기존 최상위 모델 (BERT+CRF 등) 보다 2.7~7.4%p 더 높은 성능을 보였습니다.
• 저자원 환경 (Few-shot) 강건성: 학습 데이터가 1% 일 때조차 기존 모델들을 압도하는 성능 (평균 61.17% 정확도) 을 보여주어, 데이터가 부족한 상황에서도 LLM 기반의 인과 추론이 효과적임을 입증했습니다.
• Ablation Study:
  • LLM 기반 요인 추출 모듈 제거 시 성능 저하 (약 2%p).
  • 법률 지식 증강 (Knowledge Enhancement) 제거 시 성능 저하 (약 1.4%p).
  • 인과 제약 어텐션 메커니즘 제거 시 유사 범죄 구별 능력 현저히 감소.
• 인과 그래프 품질 검증: 무작위 엣지 추가 실험과 교란 변수 (Placebo) 테스트를 통해, 성능 향상이 단순한 그래프 복잡도가 아닌 LLM 이 주입한 고품질 논리적 일관성에서 기인함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 법적 인공지능 분야에서 통계적 상관관계 중심의 패러다임에서 인과적 추론 중심의 패러다임으로의 전환을 주도합니다.

• 해석 가능성 (Interpretability): 블랙박스 모델의 예측을 법적 구성 요소와 인과적 논리로 설명 가능하게 만들어, 법조계에서의 신뢰도를 높입니다.
• 강건성 (Robustness): 입력 텍스트의 미세한 변화나 노이즈에 덜 민감한 모델을 구축하여, 실제 사법 시스템 적용 시 발생할 수 있는 오류를 줄입니다.
• 실용성: 법률 전문가의 지식을 LLM 을 통해 시스템화하고, 이를 통계적 인과 발견과 결합함으로써, 실제 복잡한 법률 텍스트에서도 적용 가능한 실용적인 LJP 솔루션을 제시했습니다.

결론적으로, 이 연구는 LLM 의 추론 능력을 인과 발견 알고리즘에 효과적으로 통합하여, 법적 판결 예측의 정확성과 신뢰성을 동시에 해결한 획기적인 접근법으로 평가됩니다.