기술 요약: 설명 가능한 판결 변이성을 향하여

문제 정의

법률 결과 예측 시스템은 객관적인 사건 사실과 판결 맥락을 분리해야 하는 근본적인 과제에 직면해 있다. 본안 중심의 판결은 사실적 증거에 의존하는 반면, 기술적 처분(technical disposals)은 흔히 사법적 재량에 따라 결정된다. 기존의 접근 방식, 특히 표준 텍нт 분류 모델과 생성형 대규모 언어 모델(LLM)은 사법적 정체성을 정적인 특징으로 취급하거나, 법적 결정의 구별되는 기능적 경로(본안 중심 vs. 비본안 중심)를 명시적으로 모델링하지 못하는 경우가 많다. 또한, 현재의 방법론들은 결과가 단일하지 않고 실질적인 법적 본안보다는 행정적 재량에 따라 빈번하게 결정되는 영국 고용 심판소(UKET)와 같은 특정 관할권에서의 절차적 규칙과 사실 발견 사이의 미묘한 상호작용을 포착하는 데 어려움을 겪고 있다.

방법론

저자들은 본안 중심 및 비본안 중심 결정 경로를 명시적으로 모델링하기 위해 설계된 판사 인식 게이트형 멀티태스크 학습(Judge-Aware Gated Multi-Task Learning, MTL) 아키텍처를 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 구조화되어 있다:

1. 세밀한 법률 분류 체계 (DCO)

인코더를 감독하고 구조적 정규화를 강제하기 위해, 저자들은 11개의 세밀한 카테고리로 구성된 상세 사건 결과(Detailed Case Outcome, DCO) 분류 체계를 도입한다. 이 스키마는 다음을 구분한다:

• 본안 중심 결과: 사건의 사실과 법적 본안을 평가하는 결정 (예: 실질적 승소/패소, 결정 불이행 판결).
• 비본안 중심 처분: 근저에 있는 사실을 검토하지 않고 기술적 근거로 사건을 종결하는 결정 (예: 기각(Strike Out), 기간 도과(Out of Time)).
• 혼합 결과: 본안 판단과 기술적 처분이 결합된 사건.
  이 레이블들은 보조적인 감독 대상이자 어텐션 메커니즘을 위한 의미론적 프로토타입 역할을 수행하며, 공유 인코더를 정규화하는 "법률 커리큘럼"으로서 작용한다.

2. 판사 인식 게이트 퓨전 (Judge-Aware Gated Fusion)

판사 임베딩을 단순히 결합하는 대신, 아키텍처는 게이트 퓨전(Gated Fusion) 메커니즘을 채택한다. 이 모듈은 동적인 신뢰도 스위치 역할을 한다:

• 각 결과 레이블 $k$에 대해 스칼라 게이트 활성화 값 $g_k \in (0, 1)$을 학습한다.
• 게이트는 학습된 판사 임베딩($v_j$)에 대한 의존도를 텍스트 특징($c_k$)에 따라 결정한다.
• 이 메커니즘은 텍스트 증거가 모호하거나 재량이 개입되는 경우(예: 복잡한 본안 중심 판결)에는 판사 정체성을 선택적으로 "참조"하는 한편, 명확한 기술적 처분(예: 기각)의 경우에는 이를 억제한다.
  이러한 설계는 모델이 판결 맥서에 대한 결과별 의존도를 학습할 수 있게 하여, 판결 변이성이 예측을 주도하는 시점에 대한 해석 가능한 신호를 제공한다.

3. 아키텍처 비교 (The "Tracks")

본 논문은 Gemma-4 26B-A4B 백본과 ModernBERT 베이스라인을 사용하여 세 가지 아키텍처 체제 간의 통제된 비교를 수행한다:

• D-Track (Discriminative): LWAN(Label-Wise Attention Network), MTL, 게이트 퓨전이 포함된 ModernBERT 기반 아키텍처.
• G-Track (Generative SFT): 판사 정체성과 DCO 감독 정보를 프롬프트 토큰 및 출력 타겟으로 주입하여 LoRA를 통해 지도 미세 조정(SFT)을 수행하는 생성형 베이스라인.
• B-Track (Hybrid): Gemma-4 인코더를 사용하되 구조화된 판별 헤드(LWAN + Gated Fusion + MTL)를 유지하는 하이브리드 방식. 이는 **컨디셔닝 인터페이스(conditioning interface)**를 변수로 설정하여, 구조적 구성이 프롬프트 기반 구성보다 우수한지 테스트한다.

주요 결과

13,937건의 영국 고용 심판소 결정에 대해 평가한 결과, 다음과 같은 연구 결과를 얻었다:

• 성능: 하이브리드 아키텍처(B2, LoRA로 적응된 Gemma-4 인코더 + 구조화된 헤드)는 새로운 SOTA(State-of-the-Art)인 Macro-F1 65.21을 달성했다. 이는 가장 강력한 생성형 SFT 변체인 G4보다 5.1 포인트 향상된 수치이다.
• 구성 효율성: 결과는 판사 정체성과 세밀한 감독 정보를 프롬프트 수준에서 결합하는 것(G-track)은 **부가적(sub-additive)**인 반면, 동일한 신호를 미분 가능한 아키텍처 구성 요소(B-track)를 통해 라우팅하는 것은 가산적(additive) 구성이 되어 성능을 크게 높인다는 것을 입증한다.
• 파라미터 효율성: 하이브리드 B2 모델은 생성형 SFT 베이스라인보다 약 한 자릿수 적은 파라미터를 훈련하면서도 더 우수한 정확도를 달 한다.
• 클래스별 이득: 개선 사항은 가장 모호하고 희귀한 결과 클래스(부분 승소(Partly Wins) 및 기타(Other))에 집중되어 있다. 예를 들어, B2는 "기타" 클래스의 F1 점수를 G4의 0.273에서 0.411로 개선했다.
• 해석 가능성: 학습된 판사 임베딩과 게이트 활성화 값을 통해 판결 맥락이 예측을 주도하는 사례를 국소화할 수 있다. 역사실적(counterfactual) 판사 교체 개입 실험을 통해, B2가 생성형 모델보다 (특히 재량적 판결에서) 판사 정체성에 더 능동적으로 조건화(higher KL divergence)됨을 보여준다.
• 교정(Calibration): 구조화된 아키텍처는 생성형 베이스라인에 비해 더 나은 기대 교정 오차(Expected Calibration Error, ECE)를 나타내며, 이는 더 신뢰할 수 있는 확률 추정치를 의미한다.

의의 및 주장

본 논문은 정체성 조건부 분류를 위한 경우, 선택한 컨디셔닝 인터페이스가 규모(scale)보다 중요하다고 주장한다. 구체적으로:

1. 구조적 vs. 프롬프트 기반: 미분 가능한 구조적 구성(판사 임베딩을 학습하고 게이트를 통해 융합)은 훨씬 더 큰 백본을 사용하는 프롬프트 기반 구성보다 더 정확하고 파라미터 효율적인 모델을 생성한다.
2. 분리(Disentanglement): 제안된 아키텍처는 객관적인 사건 사실과 사법적 재량을 성공적으로 분리하여, 설명 가능성을 위한 명확한 감사 추적(audit trail)을 제공한다.
3. 설계 휴리스틱: 본 연구는 파라미터 효율적 미세 조정을 위한 광범위한 설계 휴리스틱을 제시한다. 즉, 엄격한 통제나 감사가 필요한 변수(예: 판사의 정체성)는 프롬프트 토큰으로서 입력 분포에 흡수되기보다, 학습 가능한 파라미터로 모델링되어 구조적 어텐션을 통해 융합되어야 한다.
4. 관할권 특수성: 저자들은 자신의 연구 결과가 판사 정체성이 보존되고 절차적 처분이 빈번한 UKET에 맞춰져 있음을 언급하면서도, "그래디언트 라우팅된 구제책(gradient-routed remedies)"이라는 원칙이 계층적 분류를 포함하는 다른 영역에도 확장될 수 있음을 시사한다.

저자들은 LLM 지원ed 분류 체계 추출에 따른 "실버 스탠다드(silver-standard)" 노이즈 발생 가능성, 최종 판결문 사용에 따른 사후 합리화 가능성, 단일 데이터셋 및 LLM 제품군에 국한된 평가 등의 한계를 인정하며 신중한 태도를 유지한다. 이들은 자신들의 목표가 적용 가능한 소송 전략을 위한 도구를 만드는 것이 아니라, 체계적 공정성에 대한 진단적 분석임을 강조한다.