Can Administrative Justice Be Predicted ? AStudy of Open Judicial Decisions in France

기술 요약: 행정 정의는 예측 가능한가? 프랑스 공개 판결문에 관한 연구

문제 제기
본 논문은 법경제학의 핵심 질문을 다룬다: 도메인에 특화된 자연어 처리(NLP) 모델 중 어떤 것이 공개된 사법 데이터를 사용하여 프랑스 행정 재판소의 판결 결과를 가장 정확하고 신뢰성 있게 예측할 수 있는가? 글로벌 법률 AI 시장이 확장되고 있고, 제도적 개혁(디지털 공화국법 등)을 통해 프랑스의 행정 법원 판결이 공개됨에 따라, 1심 행정 재판소를 구체적으로 겨냥한 대규모 실증 분석이 부족한 실정이다. 본 연구는 법적 근거 제시나 최종 판결이 내려지기 전, 사건의 사실관계 및 절차적 기술 내에 유의미한 예측 신호가 존재하는지 확인하고, 이 특정 법률 도메인에 대한 최적의 모델링 접근 방식을 식별하고자 한다.

방법론
본 연구는 2024년 1월부터 2025년 9월 사이에 발표된 157,390건의 1심 행정 재판소 판결문 코퍼스에 적용된 체계적인 NLP 파이프라인을 활용한다.

• 데이터 구축 및 전처리:

  • 입력 특징(Input Features): 결과 누수(outcome leakage)를 방지하기 위해, 모델의 입력값은 각 판결의 사실관계 및 절차적 배경으로 엄격히 제한된다(각 판결의 Texte-Integral 필드에서 법적 근거 제시 이전 섹션으로부터 추출). 법적 근거(Considérants)와 최종 결정(D É C I D E) 부분은 명시적으로 제외된다.
  • 결과 변수(Outcome Variable): 타겟 변수는 최종 판결 결과(Solution)이다. 원시 데이터셋은 22개의 별도 범주를 포함하고 있으나, 통계적 취급 용이성을 위해 법적으로 일관된 4개의 클래스로 집계하였다:
    1. Rejet (기각)
    2. Satisfaction partielle (부분적 만족)
    3. Satisfaction totale (전부 만족)
    4. Renvoi (절차적 환송)
  • 텍스트 처리: 텍축 정규화(구두점, XML 태그, 숫자, 날짜 제거), 토큰화, 표제어 추출(lemmatization) 과정을 거친다. TF-IDF 벡터화는 unigram을 사용하여 적용하며, 5개 미만의 문서에 등장하거나 80% 이상의 문서에 등장하는 용어는 필터링한다.
  • 클래스 불균형(Class Imbalance): 데이터셋은 "Rejet" 범주가 전체 코퍼스의 약 56%를 차지하는 상당한 클래스 불균형을 보인다.
    • 고전적 머신러닝 모델의 경우, 학습 세트에 리샘플링 기법(SMOTE, BorderlineSMOTE, SMOTETomek, ADASYN)을 적용한다.
    • 트랜스포머 기반 모델의 경우, 데이터 증강 대신 미세 조정(fine-tuning) 과정에서 **클래스 가중치 손실 함수(class-weighted loss functions)**를 통해 불균형 문제를 해결한다.

• 모델 평가:
  본 연구는 다섯 가지 모델 군을 벤치마킹한다:

  1. 고전적 머신러닝: 서포트 벡터 머신(SVM), 랜덤 포레스트(RF), 그래디언트 부스팅 분류기(GBC).
  2. 트랜스포머 모델: 범용 BERT 및 JuriBERT(프랑스 법률 코퍼스에 특화되어 사전 학습된 모델).
  3. 대규모 언어 모델(LLM): 미세 조정 없이 퓨샷(few-shot) 설정에서 평가되는 GPT.

  성능은 홀드아웃 테스트 세트(데이터의 30%)를 사용하여 Macro F1-score와 정확도(Accuracy)로 평가하며, 다중 클래스 및 불균형 문제의 특성을 고려하여 Macro F1-score를 우선순위로 둔다.

주요 결과
실증적 결과는 모델 군 간의 명확한 성능 계층을 확립한다:

• JuriBERT (최우수 모델): 도메인 적응형 트랜스포머가 Macro F1-score 0.7184와 **정확도 78.31%**를 기록하며 가장 높은 성능을 달eria했다. 이는 프랑스 법률 텍스트에 대한 사전 학습이 해당 도메인의 예측 능력을 유의미하게 향상시킨다는 점을 입증한다.
• 범용 BERT: 고전적 모델들보다 우수한 성능을 보였으나 JuriBERT에는 미치지 못했으며, Macro F1-score 0.6512를 기록했다.
• 고전적 베이스라인: 전통적 모델 중에서는 SMOTE가 결합된 랜덤 포레스트가 Macro F1-score 0.61 74와 정확도 70.71%로 가장 우수한 성능을 보였다. SVM과 GBC는 유사한 정확도에도 불구하고 소수 클래스 처리에 어려움을 겪으며 더 낮은 F1-score를 나타냈다.
• GPT (Few-Shot): 퓨샷 GPT 베이스라인은 Macro F1-score 0.5721을 기록하며 감독 학습 기반의 고전적 모델보다 낮은 성능을 보였다. 이는 작업 특화 미세 조정이 없는 LLM이 고불균형, 다중 클래스 법률 과업에서 다수 클래스 편향에 취약함을 시사한다.

주요 기여

1. 방법론적 벤치마크: 본 논문은 프랑스 1심 행정 재판부에 적용된 예측 정의(predictive justice)에 관한 최초의 대규모 실증 분석을 제공한다. 클래스 불균형, 도메인 특화 어휘, 데이터 누수 방지를 위한 근거 텍스트 제외 필요성 등 프랑스 법률 데이터의 특정 제약 조건을 해결하는 재현 가능한 NLP 파이프라인을 구축하였다.
2. 도메인 적응의 검증: 본 연구는 도메인 적응 모델(JuriBERT)이 범용 트랜스포머 및 고전적 머신러닝 베이스라인을 실질적으로 능가함을 보여준다. 이는 프랑스 행정 정의의 특수한 구조와 어휘가 효과적인 모델링을 위해 특정 사전 학습을 필요로 함을 시사한다.
3. 예측 신호의 존재 확인: 본 결과는 법원의 근거 제시나 판결이 나오기 전, 관찰 가능한 사실관계 내용 안에 분쟁의 결과를 예측할 수 있는 충분한 정보가 내재되어 있음을 확인시켜 준다.

의의 및 주장
저자는 이러한 발견이 법의 경제적 분석에 직접적인 시사점을 준다고 주장한다. 사실관계 기술에 강력한 예측 신호가 존재한다는 것은 다음과 같은 의미를 갖는다:

• 소송 인센티브: 이러한 예측 도구가 접근 가능해진다면, 당사자들의 소송 제기 및 합의 인센티브를 변화시킬 수 있다.
• 정보 비대칭성: 현재 "반복 참여자(repeat players, 즉 공공 행정 기관)"는 사실적 패턴이 결과와 어떻게 연결되는지에 대해 개인 소송 당사자보다 정보적 우위에 있다. 신뢰할 수 있는 예측 도구는 이론적으로 이러한 격차를 좁혀, 개인 소송 당사자에게도 결과를 예상할 수 있는 비교 가능한 근거를 제공할 수 있다.
• 전략적 행동: Priest와 Klein(1984)의 프레임워크에 따라, 이러한 도구는 소송, 협상, 또는 소 취하 사이의 전략적 배분에 영향을 미칠 수 있다.

저자는 연구의 범위에 대해 겸허한 태도를 유지하며, 20개월이라는 상대적으로 짧은 관찰 기간, 일부 법적 뉘앙스를 탈락시키는 결과 범주의 집계, 그리고 프랑스 42개 행정 재판소 간의 지리적 이질성 가능성 등의 한계를 언급하였다. 저자는 이 도구가 사법적 추론을 대체해야 한다고 주장하는 것이 아니라, 사법 행위와 소송 인센티브를 연구하기 위한 실증적 자원으로 기능한다고 밝히고 있다.