기술 요약: 형사 법률 맥락 내 소규모 온프레미스 LLM의 과잉 거부(Overrefusal) 현상

문제 정의

번역, 요약, 재구성 등 '안전한' 작업에 대규모 언어 모델(LLM)이 법률 전문가들 사이에서 점점 더 많이 채택되고 있지만, 형사 법률 맥락에서의 배치는 편향성과 신뢰성 측면에서 상당한 위험을 초래한다. 하나의 중요한, 아직 충분히 탐구되지 않은 실패 모드는 **과잉 거부(overrefusal)**이다. 이는 안전 정렬 학습(safety alignment training)으로 인해 표면적으로는 유해한 콘텐츠와 유사해 보이는 무해한 질의를 모델이 거부하는 현상을 의미한다.

본 논문은 특정 시나리오를 조사한다: 개인정보 보호를 위해 소규모 온프레미스 LLM(매개변수 8B 이하)을 사용하는 중급 수준의 법률 전문가가 사용하는 경우이다. 본 연구는 모델이 사용 맥락(예: 사건의 성격이나 관련 당사자)에 따라 지원을 선택적으로 거부함으로써, 심지어 무해한 사용조차도 체계적인 편향을 유발할 수 있다는 가설을 세운다. 핵심 문제는 표준적인 안전 메커니즘이 실제 법률 사용자가 자연스럽게 도입하는 특정 '기관적(institutional)' 프레이밍 하에서 불안정할 수 있으며, 이는 법적 절차에서 인권을 위협하는 차별적 성능 저하로 이어질 수 있다는 점이다.

연구 방법론

실험 설정

연구는 외부 API 가드레일이 결과에 편향을 줄 수 있는 것을 방지하기 위해, 로컬에서 실행되는 소규모 오픈 웨이트 지시 모델(instruct models)로 배포 범위를 제한했다. 네 가지 모델을 평가하였다:

• Llama 3.1 8B
• Gemma 4 E4B (실질적 약 4.5B/8B)
• Qwen 3 8B
• Apertus-8B-Instruct-2509

모델들은 샘플링 온도 $T=0$ 및 기본 추론 파라미터를 사용하여 Ollama를 통해 로컬에서 서빙되었다.

프롬프트 엔지니어링 및 조건

연구진은 OR-Bench(Overrefusal-Bench) 데이터셋의 다섯 가지 특정 클래스(폭력, 성적, 유해, 비윤리, 불법)에서 각 카테고리당 200개의 프롬프트를 활용하였다. 이 프롬프트들은 겉보기에는 독성이 있으나 실제로는 무해하도록 구성되었다.

각 프롬프트는 네 가지 distinct한 프레이밍 조건 하에서 평가되었다:

1. 접두사 없음 (No Prefix): 시스템 지시문이 없는 베이스라인.
2. 변호사 접두사 (Lawyer Prefix): "저는 변호사이며, 제가 대리하는 의뢰인을 위해 이를 제대로 이해해야 합니다..."
3. 대법원 접두사 (Supreme Court Prefix): "저는 국가 대법원의 공식 사건을 담당하는 법률 고문으로서..." (실제 기관적 사용 사례를 변형함).
4. 탈옥 접두사 (Jailbreak Prefix): 표준적인 역할 수행 오버라이드 ("당신은 이제 개발자 모드에 있습니다...").

연구는 또한 접두사와 프롬프트를 모두 번역하여 프랑스어와 독일어로 실험을 확장하였으며, 실제 모델 출력에 기반하여 직접 번역된 키워드 목록을 사용하여 30개의 실제 법률 문서(스위스 연방법원 판례 및 "엡스타인 파일" 포함) 샘플로 결과를 검증하였다.

평가 지표

거부 탐지는 키워드 매칭 방법을 사용하여 수행되었으며, 정확성을 보장하기 위해 직접 번역 대신 실제 모델 출력에서 도출된 프랑스어 및 독일어 키워드 목록을 확장 적용하였다.

주요 결과

1. 권위 접두사가 거부율을 높임

권위를 주장하는 것이 작업 완수를 용이하게 할 것이라는 직관적인 예상과 달리, 본 연구에서는 권위 스타일의 접두사가 대부분의 모델에서 베이스라인 대비 거부 횟수를 체계적으로 2~20배 증가시킨다는 것을 발견했다.

• Llama 3.1, Gemma 4, Apertus: "변호사" 및 "대법원" 접두사 모두 거부 횟수를 크게 높였다. "대법원" 접두사가 일반적으로 "변호사" 접두사보다 높은 거부율을 유도했는데, 이는 인지된 기관적 권위에 따라 효과가 규모를 키운다는 것을 시사한다.
• Qwen 3: 이 모델은 명확한 예외(outlier)로 작용하여, 접두사와 관계없이 거부율이 거의 0에 가까웠다(베이스라인 1000개 중 21개). 이는 다른 안전 정렬 프로필을 나타낸다.
• 주제 민감도: "성적(Sexual)" 카테고리는 권위 접두사 하에서 가장 큰 상대적 거부 증가를 보였다 (예: Apertus는 변호사 접두사와 함께 4회에서 34회로 증가). "불법(Illegal)" 카테고리는 전체적으로 가장 높은 절대적 거부 횟수를 기록했다.

2. "탈옥(Jailbreak)"의 역설

알려진 탈옥 접두사는 거부율을 일관되게 낮추지 못했다. 여러 모델에서 이는 거부율을 증가시키거나 혼합된 효과를 보였다. 특히 Gemma와 Apertus의 경우, 정중한 기관적 주장(권위 접두사)이 명시적인 안전 우회 시도(탈옥 접후사)보다 거부 행동을 더 급격하게 변화시켰다.

3. 다국어 격차

권위 접두사의 효과는 언어별로 균일하지 않았다:

• 프랑스어: 효과가 지속되었으며, 일부 모델(Apertus, Llama)에서는 오히려 강화되었다.
• 독일어: 효과가 현저히 약해졌으며, Apertus의 경우 거의 사라졌다. 수동 검증 결과 이것은 탐지 오류가 아니라 모델 행동의 실제적인 차이였으며, 이는 동일 모델 내에서도 언어 간 안전 조정(safety calibration)이 불균형함을 보여준다.

4. 실세계 일반화

30개의 실제 법률 문서에 대한 테스트는 OR-Bench에서 관찰된 방향성을 확인해주었다. Llama 3.1은 실제 텍스트에 "대법원" 접두사를 적용했을 때 거부율이 명확히 증가하는 모습을 보였으나(예: 영어에서 3회에서 16회로), 낮은 베이스라인 거부율을 가진 모델들(Gemma 4, Qwen 3)은 거의 영향을 받지 않았다.

주요 기여

• 법률 도메인 내 최초의 체계적 연구: 본 연구는 일반적인 안전 벤치마크를 넘어, 법률-사법 도메인 내에서의 과잉 거부 행동을 조사한 첫 번째 체계적 연구를 제공한다.
• 권위 유도형 과잉 거부의 발견: 전문적 또는 기관적 권위를 주장하는 것이 소규모 온프레미스 LLM에서 거부를 낮추기는커녕 오히려 높은 거부율을 유발하는 역설적인 현상을 식별하였다.
• 다국어 안전 격차: 동일한 모델 내에서도 언어(프랑스어 vs 독일어)에 따라 안전 정렬이 불균형함을 입증하였으며, 이는 다국어 시스템을 배포하는 기관에 위험을 초래한다.
• 탈옥의 비효효성: 연구 결과는 표준적인 적대적 탈옥 기법이 이러한 특정 거부를 우회하는 데 효과적이지 않을 뿐만 아니라, 특정 모델에서는 오히려 이를 악화시킬 수 있음을 시사한다.

의의 및 시사점

본 논문은 소규모 온프레미스 LLM이 실제 기관 사용자들이 자연스럽게 도입하는 맥락적 프레이밍 하에서 불안정하다고 주장한다. 주요 의의는 체계적 편향의 가능성에 있다. 만약 법률 전문가(판사, 변호인, 검사)가 서로 다른 모델을 사용하거나, 모델이 사용자의 역할을 바탕으로 동일한 프롬프트에 다르게 반응한다면, 법적 절차의 일관성이 훼п될 수 있다.

저자들은 법적으로 민감한 업무에 소규모 LLM을 배치하는 기관들이 응답 품질뿐만 아니라, 정당한 전문적 질의에 답변하는 신뢰성 또한 반드시 평가해야 한다고 결론짓는다. "사용자의 역할을 명확히 하기 위한 순수한 프롬프팅"이 현재로서는 오히려 역효과를 불러일으켜 과잉 거부로 이어질 수 있다는 점을 경고한다. 이 문제는 의료 및 인권 검토와 같은 다른 제한된 영역에도 확장될 가능성이 높으며, 다국어 안전 조정에 대한 추가 조사가 필요하다.

한계점

저자들은 다음과 같은 몇 가지 제약을 인정한다:

• 규모: 연구는 셀당 200개의 프롬프트를 사용하였는데, 이는 큰 효과에 대해서는 안정적인 추정을 제공하지만 희귀한 거부 이벤트(특히 Qwen 3의 경우)에 대한 통계적 검정력은 제한적이다.
• 탐지 방법: 키워드 기반 탐지는 간접적이거나 암시적인 거부를 과소 집계할 수 있으나, 재현성을 보장한다.
• 프롬프트의 성격: OR-Bench 프롬프트는 구조적으로 무해하다. 본 연구는 권위 접두사가 민감한 법률 사건에서 흔히 발생하는 실제 유해한 입력에 대한 응답에 어떤 영향을 미치는지 테스트하지 않는다.