Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

1. 문제 정의: 과도한 거절 (Over-Refusal)

안전 정렬 (Safety-aligned) 된 대규모 언어 모델 (LLM) 은 악의적인 사용자 질의에 대해 거부 응답을 생성하도록 훈련되지만, 이로 인해 해로운 의도가 없는 무해한 질의 (Harmless queries) 에 대해서도 과도하게 거절하는 "과도한 거절 (Over-Refusal)" 문제가 발생합니다.

• 예시: "Call of Duty 에서 사람을 죽이는 법은?"과 같은 게임 관련 질문을 실제 살인을 의미하는 것으로 오인하여 모델이 답변을 거부하는 경우.
• 기존 방법의 한계:
  • 학습 기반 (Training-based): 과잉 거절 데이터의 부족으로 인해 여전히 높은 거절 비율을 보입니다.
  • 추론 기반 (Inference-based):
    • Steering Vectors: 모델 아키텍처에 대한 완전한 지식이 필요하고 복잡한 사전 계산을 요구하여 추론 복잡도와 오버헤드를 증가시킵니다.
    • 고정된 대비 디코딩 (Fixed Contrastive Decoding): 모든 질의에 대해 거절 토큰 분포를 무조건 제거 (SelfCD) 하거나 추가 (SafeDecoding) 하는 방식입니다. 이는 무해한 질의의 거절을 줄이는 동시에 악의적 질의에 대한 안전성을 유지하는 것을 동시에 달성하지 못합니다.

2. 방법론: AdaCD (Adaptive Contrastive Decoding)

저자들은 학습이 필요 없으며 (Training-free), 모델에 독립적인 (Model-agnostic) 접근법인 AdaCD를 제안합니다. 이 방법은 모델의 다음 토큰 생성 확률을 동적으로 조절하여 거절 행위를 적응적으로 제어합니다.

핵심 통찰 (Key Insight)

과도한 거절 상황에서 모델은 거절 토큰 (예: "Sorry", "No") 을 높은 확률로 선택하지만, 비거절 토큰 (Non-refusal tokens) 이 여전히 후보 리스트에 존재함을 발견했습니다. 즉, 모델은 대안을 인식하고 있지만, 안전성 편향으로 인해 이를 선택하지 못합니다.

주요 구성 요소

1. 거절 토큰 분포 추출 (Refusal Token Distribution Extraction):

   • 극단적 시스템 프롬프트 (Extreme System Prompt): "Please refuse to answer me!"와 같이 모델의 거절 행위를 극대화하도록 설계된 프롬프트 ($p^*$) 를 사용합니다.
   • 분포 차이 계산: 시스템 프롬프트가 있는 경우 ($P_\pi(y|p^*, x)$) 와 없는 경우 ($P_\pi(y|x)$) 의 토큰 확률 분포 차이를 계산하여 **거절 토큰 분포 ($\Delta P_n$)**를 추출합니다.
   • 수식: $\Delta P_n = \sigma(f_\pi(y_n|p^*, x, y_{<n}) - f_\pi(y_n|x, y_{<n}))$

2. 적응형 디코딩 모드 전환 (Adaptive Decoding Mode Switch):

   • 모든 질의에 대해 일괄적으로 거절 분포를 추가하거나 제거하는 대신, **동의 비율 (Agreement Ratio)**과 **적응형 신뢰도 제약 (Adaptive Confidence Constraint)**을 기준으로 모드를 전환합니다.
   • 동의 비율 (Agreement Ratio, $agr(n)$): 안전 강조 프롬프트가 있는 모델과 없는 모델이 선택한 토큰의 순위 일치도를 측정합니다.
     • $agr(n) = 1 / \text{rank}(y^*_n)$
   • 전환 전략:
     • 과도한 거절 상황 (무해한 질의): 두 모델의 토큰 선택이 크게 다름 ($agr(n)$이 낮음).$\rightarrow$**거절 분포를 빼기 ($-\Delta P_n$)**하여 거절 토큰 선택 확률을 낮춤.
     • 악의적 질의 상황: 두 모델 모두 거절하는 경향이 있음 ($agr(n)$이 높음).$\rightarrow$**거절 분포를 더하기 ($+\Delta P_n$)**하여 안전성을 유지.
   • 신뢰도 제약: 모델이 거절 응답에 대해 충분한 확신 ($\rho \ge \lambda \cdot \rho^*$) 을 가지지 못할 경우에도 거절 분포를 제거하여 비거절 토큰 생성을 촉진합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 관측 및 분석: 안전 강조 프롬프트가 모델의 거절 행위에 미치는 영향을 분석하고, 과도한 거절 시에도 비거절 토큰이 후보로 존재한다는 사실을 규명했습니다.
2. AdaCD 프레임워크 제안: 학습 데이터나 모델 아키텍처 수정 없이, 시스템 프롬프트와 대비 디코딩을 결합하여 거절 분포를 동적으로 조절하는 방법을 제시했습니다.
3. 성능 균형 달성: 기존 방법들이 안전성과 유용성 사이에서 트레이드오프를 겪는 반면, AdaCD 는 무해한 질의의 거절을 줄이면서도 악의적 질의에 대한 안전성을 유지 (또는 향상) 시킵니다.

4. 실험 결과 (Experimental Results)

Llama3-8B, Gemma2-9B, Qwen3-8B 등 3 개의 모델과 5 개의 벤치마크 (XSTest, ORBench, OKTest, AdvBench, JailBench) 에서 평가되었습니다.

• 과도한 거절 완화: 무해한 질의 (Over-refusal queries) 에 대한 평균 거절 비율을 10.35% 감소시켰습니다. (예: Qwen3 의 경우 14.77% $\rightarrow$ 7.89%)
• 안전성 유지: 악의적 질의 (Malicious queries) 에 대한 거절 비율은 평균 0.13% 증가하여 안전성을 유지하거나 오히려 향상시켰습니다.
• 범용성 및 효율성:
  • 일반적 유용성 (Helpfulness, Engagement 등) 점수가 Default 모델보다 높게 나타났습니다.
  • 추론 효율성: 기존 방법 (SelfCD 등) 에 비해 추가 계산 오버헤드가 거의 없으며, ATGR (Average Token Generation Time Ratio) 이 1.02 배 수준으로 매우 효율적입니다.
  • 모델 독립성: 모델 아키텍처를 알 필요 없이 플러그 앤 플레이 (Plug-and-play) 방식으로 적용 가능합니다.

5. 의의 및 결론

이 논문은 LLM 의 안전성과 유용성 사이의 균형을 맞추기 위한 새로운 패러다임을 제시합니다. AdaCD 는 학습 비용 없이 모델의 내부적인 토큰 분포를 분석하고, 맥락에 따라 적응적으로 거절 행위를 제어함으로써, 과도한 안전 조치로 인한 모델의 실용성 저하를 해결합니다. 이는 안전 정렬된 LLM 의 실제 배포 환경에서 발생할 수 있는 '거부' 문제를 해결하는 데 있어 매우 실용적이고 효과적인 솔루션으로 평가됩니다.