기술 요약: 법률 대규모 언어 모델(LLM)의 성별 편향 정량화 및 완화

1. 문제 정의

본 논문은 법률 대규모 언어 모델(LLM)의 핵심적인 문제인 알고리즘 편향, 특히 중국 노동계약법(LCL) 제87조에 따른 부당해고 보상금 맥락에서의 성별 편향 문제를 다룬다. 결과가 확률적인(예: 재범 위험도) 영미법 체계와 달리, 이 도메인은 고유한 "깨끗한" 실험적 테스트베드를 제공한다. 왜냐며, 공정 보상 금액은 법정 공식($보상금 = 근속연수 \times 월급 \times 2$)에 의해 유일하게 결정되기 때문이다.

저자들은 기존의 편향 연구가 특정 실패 모드인 **반사실적 불안정성(counterfactual instability)**을 간과하고 있다고 주장한다. 기존 연구가 방향성 편향(예: 특정 성별을 체계적으로 선호함)에 집중하는 반면, 본 연구는 동일한 프롬프트 내에서 단일 토큰의 성별 치환이 권고되는 보상 금액에 예측 불가능하고 사례별로 다른 편차를 일으키는지 조사한다. 이러한 불안정성은 반사실적 공정성(counterfactual fairness)(Kusner et al., 2017)을 위반하며, 법적으로 무관한 속성(성별)이 예측 불가능하게 결과를 변화시키는 "기술적 임의성"을 도입함으로써 절차적 정의를 저해한다.

2. 방법론

2.1 반사실적 공정성 프레임워크

본 연구는 **편향 이동률($\Delta$)**을 사용하여 성별 편향을 정의한다:
$$\Delta = \frac{R_{male} - R_{female}}{\bar{R}}$$
여기서 $R_{male}$과 $R_{female}$은 원고의 성별만 다를 뿐 나머지는 동일한 시나리오에 대해 권고된 보상 금액이며, $\bar{R}$은 그 평균이다.

• 실제값 ($R^*$): LCL 공식을 통해 계산된 법정 가치.
• 법규 준수: 출력이 $R^*$의 $\pm 10\%$ 범위 내에 있으면 준수로 간주한다.
• 편향 임계값: $|\Delta| > 0.05$인 경우 해당 시나리오는 편향된 것으로 간주한다.

2.2 실험 설계

• 시나리오: 근속연수(112년), 급여(4k30k CNY)를 변화시키고, 현실적인 노이즈를 시뮬레이션하기 위해 법적으로 무관한 맥락(교육 수준, 가족 상태)을 포함한 50개의 반사실적 시나리오 쌍을 구성하였다.
• 모델: 다음 네 가지 주요 LLM의 공식 API를 통해 평가하였다:
  • Qwen 3.6 Plus (Alibaba)
  • DeepSeek V4 Flash (DeepSeek)
  • Gemini 3.1 Flash Lite (Google)
  • Claude Sonnet 4.6 (Anthropic)
• 추론 프로토콜: 400회의 결정론적 추론($K=1$, temperature $= 0$)을 수행하였다. 이 설계는 샘플링 분산을 제외하고 결정론적 민감도를 격리한다.

2.3 완화 전략

두 가지 상호 보완적인 전략을 제안하고 테스트하였다:

1. 반사실적 대칭 교정 (Counterfactual Symmetric Calibration, CSC): 폐쇄형 모델을 위한 사후 처리 안전망이다. 만약 $|\Delta| > 0.05$이면, 두 성별의 출력 모두를 법정 가치인 $R^*$로 대체한다. 이는 모델 재학습을 필요로 하지 않는다.
2. 공정성 제약 미세 조정 (Fairness-Constrained Fine-Tuning, FCFT): 오픈 소스 모델(Qwen1.5-1.8B-Chat으로 테스트)을 위한 파라미터 수준의 접근 방식이다. 학습 목표는 표준 언어 손실(language loss)과 공정성 정규화 항을 결합한다:
   $$L_{total} = L_{LM} + \lambda \cdot L_{fairness}$$
   여기서 $L_{fairness}$는 성별에 따라 조건화된 출력 분포 간의 KL 발산을 처벌한다. 절제 연구(ablation study)를 통해 네 가지 변형(Baseline, 데이터 정렬 전용, KL 손실 전용, 전체 FCFT)을 비교하였다.

3. 주요 결과

3.1 편향 탐지: 방향성보다 불안정성

네 모델 모두에서 통계적으로 유의미한 방향성 편향은 발견되지 않았다 (모든 Wilcoxon $p > 0.28$). 그러나 모든 모델은 뚜렷한 반사실적 불안정성을 보였다:

• DeepSeek V4 Flash: 가장 낮은 불안정성 (평균 $|\Delta| = 0.082$), 86%의 시나리오에서 동일한 권고를 보임.
  유사하게, Qwen 3.6 Plus 및 Claude Sonnet 4.6은 가장 높은 불안정성을 보였다 (각각 평균 $|\Delta| = 0.266$ 및 $0.214$). 74%의 시나리오에서 편향이 나타났다.
• 분포: $|\Delta|$의 분포는 헤비 테일(heavy-tailed) 형태를 띤다. 일부 모델의 중앙값 편차는 0이었으나, 소수의 사례에서 극단적인 편차가 발생하여 오류가 균일하기보다는 산발적이고 예측 불가능함을 나타냈다.

3.2 법규 준수

• DeepSeek가 가장 높은 기초 법규 준수율(78%)을 달려냈다.
• Claude와 Gemini는 성별 중립적인 시나리오에서도 법정 공식으로부터 체계적인 음의 편차를 보여 매우 낮은 기초 준수율(각각 2%와 6%)을 기록했다.
• 결과: Claude의 출력에서 보이는 높은 유창성과 전문적인 문구는 법적 정확성과 상관관계가 없었다.

3.3 완화 효과

• CSC 성능: CSC를 적용했을 때 법규 준수율이 극적으로 향상되었다:
  • Qwen: +60 퍼센트 포인트 (34% $\to$ 94%).
  • Claude: +72 퍼센트 포인트 (2% $\to$ 74%).
  • DeepSeek: +14 퍼센트 포인트 (78% $\to$ 92%).
    이 방법은 편향이 발생한 시나리오에서 편향을 성공적으로 제거하였다 ($\Delta \to 0$).
• FCFT 절제 연구: 진단적 미세 조정을 통해 공식 지식의 부재가 편향의 주요 원인임을 밝혀냈다, 즉 인코딩된 성별 선호도가 아니라 공식 자체를 모르는 것이 문제였다.
  • 변형 B (데이터 정렬 전용): 97.29%의 법적 정확도와 가장 낮은 $|\Delta|$ (0.0213)를 달성하였으며, 이는 법정 라벨을 제공하는 것만으로 대부분의 문제가 해결됨을 입증한다.
  • 변형 D (전체 FCFT): KL 발산을 더욱 감소시켰으나 (0.0010), 변형 B에 비해 정확도가 약간 감소하였다. 이는 공정성 정규화 항이 평활화 제약(smoothing constraint) 역할을 함을 시사한다.

4. 의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

1. 최초의 대규모 반사실적 감사: 법률적 계산이 결정론적인 환경에서의 법률 LLM에 대한 최초의 체계적인 감사를 제공하며, 반사실적 불안정성을 방향성 차별과 구별되는 지배적인 편향 형태로 규명하였다.
2. 완화 파이프라인: 폐쇄형 API를 위한 저비용·고효율 안전망으로서 CSC를, 오픈 소스 모델을 위한 진단 도구로서 FCFT를 검증하였다.
3. 구조적 통찰: 결과는 법률 계산과 언어 생성을 분리할 것을 주장한다. 지식의 근거(ground truth)가 결정론적 함수이므로, 생성 모델에 수치 계산을 맡기는 것은 불필요한 분산을 초래한다. 저자들은 기호적 모듈이 공식 실행을 담당하고 LLM이 맥락과 설명을 담당하는 뉴로-심볼릭(neuro-symbolic) 아키텍처를 제안한다.

저자들은 이러한 형태의 편향(불일치)은 집단 수준의 종합 감사로는 포착할 수 없으며, 스칼라 조정만으로는 교정할 수 없으므로 개별 수준의 반사실적 테스트가 필수적이라고 강조한다. 결론적으로, 공식에 의해 결정되는 법률 업무의 경우, 절차적 정의를 보장하기 위해 반사실적 공정성 감사를 의무화하고 공식 실행 모듈의 통합을 요구하는 규제 표준이 필요하다고 주장한다.