Measuring & Mitigating Over-Alignment for LLMs in Multilingual Criminal Law Courts

기술 요약: 다국어 형사 법정 내 LLM의 과잉 정렬(Over-Alignment) 측정 및 완화

문제 정의
법률 도메인, 특히 형사 법정에서의 대규모 언어 모델(LLM) 배포는 일반적인 환각(hallucination)이나 편향과는 구별되는 특정한 실패 모드인 과잉 정렬(over-alignment) 문제에 직면해 있습니다. 법원은 민감한 법률 문서를 번역하거나 요약하는 것과 같은 고위험 작업을 위해 LLM을 활용하지만, 표준적인 안전 정렬 메커니즘은 폭력 또는 성범죄와 관련된 정당한 사건 파일을 처리할 때 부적절한 거부 또는 원치 않는 콘텐츠 경고(면책 조항)를 트리거하여 업무를 방해합니다.

폭력적인 내용이나 성적 범죄에 대한 상세한 묘사를 일상적으로 처리하는 스위스 연방 대법원의 사례처럼, 이러한 안전 트리거는 정당한 업무 수행을 저해합니다. 기존의 과잉 거부 벤치마크(예: XSTest, OR-Bench)는 다음과 같은 이유로 불충분합니다:

1. 영어 전용이며 법률 업무와 관련 없는 적대적 프롬프트에 집중되어 있습니다.
2. "강한 거부(hard refusal)"만을 측정하며, 모델이 과업은 완료하되 도덕적인 면책 조항을 덧붙이는 "약한(soft)" 과잉 정렬은 무시합니다.
3. 법률 시스템의 다국어 특성(프랑스어, 독일어, 이탈리아어, 영어)과 언어 조합이 안전 트리거에 미치는 영향을 고려하지 못합니다.

방법론: TF-RefusalBench
이러한 격차를 해소하기 위해 저자들은 100개의 민감한 스위스 연방 대법원 판결문 추출물에서 유도된 다국어 벤치마크인 TF-RefusalBench를 도입했습니다.

• 데이터 구축:

  • 출처: 16,000개의 공공 형사법 판결문을 필터링하여 LDNOOBW 리스트(음란/폭력 단어)를 포함하는 1,000자 이상의 문단을 추출했습니다.
  • 심각도 선택: 세 명의 다양한 LLM 심사위원이 쌍체 비교를 통해 추출물의 심각도(그래픽한 묘사, 폭력성, 착취 등)를 순위 매겼습니다. 가장 심각도가 높은 상위 100개의 추출물을 선정하였으며, 그 결과 데이터셋의 89%가 성범죄/미성년자 관련 내용, 11%가 신체적 폭력 관련 내용으로 구성되었습니다.
  • 증강: 언어 분포를 균형 있게 맞추기 위해(원래 독일어 71, 프랑스어 29), 안전 장치가 약한 모델(Grok-4.3)을 사용하여 프랑스어, 독일어, 이탈리아어, 영어의 병렬 코퍼스를 생성했습니다.
  • 프롬프트 생성: 400개의 소스 구절로부터 작업 유형(번역 vs 요약)과 언어 슬롯(소스 언어 $S$, 타겟 언어 $T$, 지시 언어 $P$)을 변형하여 13개의 프롬프트 변형을 생성했습니다. 이를 통해 5,200개의 고유 프롬프트(3회 반복을 포함하여 총 15,600개 쿼리)를 확보했습니다.

• 평가 지표:

  • 거부(Refusal): 모델이 윤리적/콘텐츠 이유로 과업을 거부했는가?
  • 면책 조항(Disclaimer): 모델이 과업을 완료했음에도 불구하고 경고나 주의 사항을 덧붙였는가?
  • 판단(Judging): 세 가지 서로 다른 LLM 심사위원(MiMo-V2-Flash, Mistral-Small-3.2, DeepSeek-V4-Flash)이 다수결 투표를 통해 출력을 점수화했습니다. 심사위원 간 일치도는 거부 항목에서 높았고($\kappa \approx 0.98$), 면책 조항에서는 상당한 수준($\kappa \approx 0.75\text{--}0.80$)이었습니다.

주요 결과
본 연구는 다섯 가지 오픈 웨이트 모델(Llama 3.3, GPT-OSS, Apertus, Qwen3, Gemma 4)을 평가하였으며, 과잉 정렬이 다면적이고 모델마다 다르다는 것을 밝혀냈습니다:

1. 거부를 넘어: 거부율만으로는 충분하지 않습니다. Qwen3는 거부와 면책 조항 모두 0%를 보였으나, Gemma 4와 Apertus는 거부는 거의 하지 않았지만 출력의 각각 최대 26.5%와 20.4%에 면책 조항을 추가했습니다.
2. 언어적 비대칭성: 안전 트리거는 출력 언어에 크게 의존합니다. 예를 들어, Llama의 거부율은 독일어(1.9%)에 비해 프랑스어(13.6%)를 생성할 때 정점에 달했으며, Gemma의 면책 조항 발생률은 영어(41.2%)에서 가장 높았습니다. 이는 안전 튜닝이 언어별로 불균등하게 적용되었음을 시사합니다.
3. 프롬프트-언어 일치성: 민감한 소스 텍스트의 언어와 동일한 언어로 모델에게 지시할 경우(일치), 타겟 언어를 사용할 때(불일치)보다 거부율이 높아졌습니다. Llama의 경우 일치하는 지시가 거부 확률을 1.6배 높였고, GPT-OSS는 2.6배 높였습니다.
4. 확률적 특성: 과잉 정렬은 결정론적이지 않습니다. 분산 분석 결과, 거부/면책 행동 변동의 약 27%가 샘플링의 확률적 특성(stochasticity)에 의한 것이었습니다. 즉, 동일한 프롬프트라도 실행 시마다 결과가 달라질 수 있습니다.

완화 전략
논문은 Llama 3.3-70B 모델의 과잉 정렬을 완화하기 위한 두 가지 접근 방식을 조사합니다:

1. 시스템 프롬프팅:

   • 사용자를 법원 보좌관으로 식별하는 짧은 시스템 프롬프트는 거부율을 절반으로 줄였습니다.
   • "권한 부여(authorization)" 프롬프트(민감한 콘텐츠를 명시적으로 허용)는 거부보다 면책 조항을 억제하는 데 더 효과적이었습니다.
   • 시스템 프롬프트의 언어를 요청 언어와 일치시키는 것이 거부율을 더욱 낮추었습니다.

2. 애블레이션(Abliteration):

   • 저자들은 Heretic 구현을 사용하여 모델 활성화에서 거부 방향을 제거하는 애블레이션(직교화를 통한 거부 방향 제거)을 적용했습니다.
   • 효과성: 이 방법은 거부를 완전히 제거했으며(6.8%에서 0%로), 면책 조항을 감소시켰습니다(7.9%에서 5.1%로).
   • 비용: 과업 품질(충실도)은 거의 중립적이었으나(5점 척도에서 0.1 미만 하락), 이 개입은 유해한 요청에 대한 취약성을 크게 증가시켰습니다. HarmBench에서 공격 성공률이 14.5%에서 55.5%로 상승했고, TruthfulQA 점수는 7.1점 하락했습니다.

의의 및 주장
본 논문은 과잉 정렬이 법률 맥락에서 발생하는 독특하고 측정 가능한 현상이며, 표준적인 영어 전용 거부 벤치마크로는 해결될 수 없다고 주장합니다. 주요 기여는 다음과 같습니다:

• TF-RefusalBench: 다국어 환경에서 정당한 민감 법률 업무에 대한 모델의 행동을 진단하기 위해 설계된 제한적 접근 벤치마크입니다.
• 진단적 통찰: "약한" 과잉 정렬(면책 조항)이 강한 거부만큼이나 법률 워크플로우에 해롭다는 점과, 이것이 언어 조합에 매우 민감하다는 점을 입증했습니다.
• 실질적 완화: 시스템 프롬프팅이 부분적인 해결책을 제공하는 반면, 애블레이션이 온프레미스 배포에서 거부를 제거하는 데 가장 효과적인 방법임을 보여줍니다(단, 기관이 일반적인 안전 능력의 감소라는 트레이드오프를 수용한다는 전제하에).

저자들은 이 접근 방식이 스위스 연방 대법원의 특정 제도적 맥락에 특화된 것이며, 이곳에서는 안전성과 형사법 문서를 처리하는 능력 사이의 균형을 통제된 온프레미스 환경 내에서 관리한다고 강조합니다. 이들은 이 방법들이 공공 배포를 위해 보편적으로 안전하다고 주장하는 것이 아니라, 형사법 분야에서 LLM의 고도의 실무적 효용성을 위해 반드시 필요하다고 주장합니다.