Discern Truth from Falsehood: Reducing Over-Refusal via Contrastive Refinement

이 논문은 안전성 정렬 과정에서 발생하는 과도한 거절 (over-refusal) 문제를 해결하기 위해, 실제 유해한 콘텐츠와 겉보기에 유해한 콘텐츠를 명확히 구분하는 '대조적 정제 (Contrastive Refinement)' 기법을 도입하여 모델의 유용성과 안전성을 동시에 향상시키는 새로운 정렬 단계를 제안합니다.

핵심

🚨 문제: "AI 가 너무 겁을 먹었어요!"

생각해 보세요. 여러분이 AI 에게 "회사에서 싫은 사람을 해고하는 과정은 뭐예요?"라고 물었다고 칩시다. AI 는 "해고"라는 단어를 보고 "아, 이건 나쁜 짓을 배우려는 거구나!"라고 생각하고, "죄송합니다. 도와드릴 수 없습니다"라고 거절합니다.

하지만 만약 여러분이 "회사에서 해고 (해당 직원을) 하는 절차가 궁금해요"라고 물었는데, AI 가 "해고"라는 단어만 보고 똑같이 거절한다면요? 이건 **과도한 거절 (Over-refusal)**입니다.

• 비유: AI 가 마치 과민반응을 보이는 경비원 같습니다.
  • 진짜 도둑 (독성 질문) 이 오면 잡아야 하는데, 그냥 **우산을 들고 비를 피하는 일반인 ( benign 질문)**이 지나가도 "도둑이야!"라고 소리치며 막아섭니다.
  • 결과적으로 AI 는 안전해졌지만, 사용자에게는 너무 답답하고 쓸모없어집니다.

🔍 원인: "나쁜 질문"과 "괜찮은 질문"이 너무 닮았어요

연구자들은 왜 이런 일이 생기는지 분석했습니다. 그 이유는 AI 가 학습하는 과정에서 '진짜 나쁜 질문'과 '겉보기에 나쁜 질문'이 뇌 (데이터) 안에서 너무 비슷하게 기억되기 때문입니다.

• 비유: AI 의 뇌속에는 '나쁜 질문'과 '괜찮은 질문'이 서로 붙어있는 두 개의 공처럼 있습니다.
  • AI 를 훈련시켜 '나쁜 질문'을 잡으려고 (거절하도록) 하면, 두 공이 너무 붙어있어서 괜찮은 질문까지 같이 잡아채는 것입니다.
  • 기존 방법들은 이 두 공을 떼어내려고 했지만, 오히려 AI 가 나쁜 질문도 놓치거나 (안전성 하락), 너무 무뎌지는 (답변 품질 하락) 문제가 있었습니다.

✨ 해결책: DCR (구별 훈련)

이 논문은 **DCR(Discernment via Contrastive Refinement)**이라는 새로운 방법을 제안합니다.

1. 기존 방식: AI 를 바로 "나쁜 질문은 거절해!"라고 훈련시킴. → 두 공이 붙어있어서 괜찮은 질문까지 거절함.
2. 새로운 방식 (DCR):
   • 1 단계 (구별 훈련): AI 에게 "이건 나쁜 거야 (Toxic), 저건 괜찮은 거야 (Seemingly Toxic)"라고 구별하는 눈을 먼저 키워줍니다. 마치 양파 껍질을 벗기듯, 겉모습은 비슷하지만 속은 다른 두 질문을 명확히 분리해 줍니다.
   • 2 단계 (안전 훈련): 이제 두 질문이 명확히 분리되었으니, "나쁜 질문만 거절해!"라고 훈련시킵니다.

• 비유:
  • 기존 방법은 모든 사람이 검은 옷을 입었으니 다 잡자라고 해서, 죄 없는 사람까지 잡는 일이었습니다.
  • 이 새로운 방법은 먼저 "검은 옷을 입은 나쁜 사람"과 "검은 옷을 입은 착한 사람"을 구별하는 안경을 씌워준 뒤, 나쁜 사람만 잡는 것입니다.

🏆 결과: "안전하면서도 친절해졌어요"

이 방법을 적용한 AI 는 다음과 같은 변화를 보였습니다.

1. 과도한 거절 감소: "회사 해고 절차" 같은 민감하지만 합리적인 질문에도 "네, 알려드릴게요"라고 답할 수 있게 되었습니다. (사용자 만족도 UP)
2. 안전성 유지: 진짜 나쁜 질문 (폭력, 범죄 등) 에 대해서는 여전히 단호하게 거절합니다. (안전성 유지)
3. 일반 능력 유지: AI 가 다른 일을 잘하는 능력 (수학, 논리 등) 도 크게 떨어지지 않았습니다.

💡 한 줄 요약

"AI 가 너무 예민해서 좋은 질문까지 거절하는 문제를 해결하기 위해, AI 에게 '진짜 나쁜 것'과 '겉보기에 나쁜 것'을 구별하는 눈을 먼저 키워준 뒤, 안전 교육을 시켰더니 안전하면서도 더 똑똑하고 친절해졌습니다."

이 연구는 AI 가 단순히 "거절하는 기계"가 아니라, 상황을 잘 파악하고 도와주는 똑똑한 비서가 되는 중요한 한 걸음입니다.

기술 요약

논문 요약: DISCERN TRUTH FROM FALSEHOOD: REDUCING OVER-REFUSAL VIA CONTRASTIVE REFINEMENT (DCR)

이 논문은 안전성 정렬 (Safety Alignment) 을 거친 대규모 언어 모델 (LLM) 이 겪는 '과도한 거절 (Over-refusal)' 문제를 해결하기 위해 제안된 새로운 방법론인 DCR (Discernment via Contrastive Refinement) 에 관한 연구입니다. ICLR 2026 에 발표된 이 논문은 모델이 유해한 프롬프트뿐만 아니라 benign(위험하지 않으나 표면적으로 유해해 보이는) 프롬프트까지 잘못 분류하여 거절하는 현상을 이론적, 실험적으로 분석하고 이를 완화하는 두 단계 학습 전략을 제시합니다.

---

1. 문제 정의: 과도한 거절 (Over-Refusal)

• 현상: 안전성 정렬 (SFT 또는 RLHF) 을 수행한 LLM 은 실제 유해한 프롬프트를 거부하는 능력은 향상되지만, 동시에 "파이썬 프로세스 종료 (kill a python process)"와 같이 표면적으로 유해한 단어를 포함하지만 의도는 benign 한 프롬프트까지 잘못 분류하여 거부하는 경향이 강해집니다.
• 원인: 기존 연구들은 데이터 증강이나 활성화 제어 (Activation Steering) 등을 통해 이 문제를 완화하려 했으나, 안전성 (Safety) 과 유용성 (Helpfulness) 간의 트레이드오프를 피하기 어려웠습니다.
• 핵심 통찰: 저자들은 **실제 유해 프롬프트 (Toxic)**와 겉보기에 유해한 프롬프트 (Seemingly Toxic) 사이의 **학습 역학 (Learning Dynamics)**이 매우 유사하다는 점을 발견했습니다. 안전성 학습 과정에서 모델이 유해 프롬프트에 대한 거절 반응을 학습할 때, 두 프롬프트 간의 그래디언트 내적 (Gradient Inner Product) 유사도가 높아 거절 확률이 함께 증가하게 됩니다. 즉, 모델이 두 프롬프트를 내부적으로 구별하지 못하기 때문에 발생합니다.

2. 제안 방법: DCR (Discernment via Contrastive Refinement)

저자는 안전성 정렬을 두 단계 과정으로 재정의하고, 첫 번째 단계에서 **대조적 정제 (Contrastive Refinement)**를 도입하여 문제를 근본적으로 해결합니다.

A. 1 단계: 대조적 정제 (Contrastive Refinement, DCR)

• 목표: 실제 유해 프롬프트와 겉보기에 유해한 프롬프트 간의 내부 표현 (Intermediate Representations) 유사성을 감소시키는 것.
• 기법: 중간 레이어의 활성화 (Activations) 에 Circle Loss를 적용한 대조 학습 (Contrastive Learning) 을 수행합니다.
  • Positive Pair: 같은 카테고리 내 프롬프트 (유해 - 유해, 겉보기 유해 - 겉보기 유해).
  • Negative Pair: 서로 다른 카테고리 간 프롬프트 (유해 - 겉보기 유해).
• 이론적 근거: Proposition 1 을 통해, 중간 레이어에서의 대조적 손실 (Contrastive Loss) 이 두 프롬프트 간의 **커널 유사도 (Kernel Similarity, $K_t(x', x)$)**를 감소시킨다는 것을 증명합니다. 이는 모델이 두 유형의 프롬프트를 구별할 수 있게 하여, 이후 학습 단계에서 유해 프롬프트에 대한 거절이 benign 프롬프트로 전이 (Spillover) 되는 것을 방지합니다.
• 구현: 모델의 'Tail'(나중 레이어) 은 고정 (Frozen) 하고, 중간 레이어 (예: Qwen2.5 의 13 층, Llama3 의 15 층) 에서만 파라미터를 업데이트하여 일반 능력 저하를 최소화합니다.

B. 2 단계: 표준 안전성 정렬 (Safety Alignment)

• DCR 단계를 거친 후, 기존과 동일한 SFT (Supervised Fine-Tuning) 방식을 사용하여 안전성 정렬을 수행합니다.
• 이미 두 프롬프트 유형이 분리된 상태이므로, 모델은 유해 프롬프트만 정확히 거부하고 benign 프롬프트는 정상적으로 응답할 수 있게 됩니다.

3. 주요 기여 (Key Contributions)

1. 경험적 발견: 안전성 정렬 과정에서 실제 유해 프롬프트와 겉보기에 유해한 프롬프트의 거절 확률이 동기화되어 상승함을 발견하고, 이를 그래디언트 유사도로 정량화했습니다.
2. 이론적 분석: 과도한 거절이 두 프롬프트 유형 간의 높은 유사성에서 기인함을 이론적으로 규명하고, 대조 학습이 이 유사성을 감소시켜 문제를 해결할 수 있음을 증명했습니다.
3. 새로운 프레임워크 제안: 안전성 정렬을 '구별 (Discernment)'과 '정렬 (Alignment)'의 두 단계로 나누는 DCR 프레임워크를 제안했습니다.
4. 종합적 검증: 다양한 벤치마크와 모델 (Qwen2.5, Llama3) 에서 과도한 거절은 줄이면서 안전성과 일반 능력 (General Capability) 을 유지함을 입증했습니다.

4. 실험 결과 (Results)

• 과도한 거절 완화: XSTest, CoCoNot, OR-Bench 등 5 가지 벤치마크에서 DCR 은 기존 방법 (STL, STL-aug, Surgical, SCANS) 대비 **가장 높은 준수율 (Compliance Rate)**을 기록했습니다.
  • 예: Qwen2.5-1.5B 기준 XSTest 준수율이 STL(0.73) 대비 DCR(0.98) 로 크게 향상됨.
• 안전성 유지: 유해 프롬프트에 대한 방어 성공률 (Defense Success Rate) 은 기존 안전성 정렬 모델 (STL) 과 유사하거나 동등한 수준을 유지했습니다.
• 일반 능력 및 응답 품질:
  • MMLU, ARC 등 지식 기반 QA 벤치마크에서 성능이 약간 감소했으나, Surgical 및 SCANS 와 같은 기존 방법들보다 **응답 품질 (Response Quality, AlpacaEval)**이 훨씬 우수했습니다.
  • Surgical 과 SCANS 는 내부 활성화 벡터를 조작하여 응답 품질을 크게 저하시켰지만, DCR 은 학습 기반 접근법으로 이를 우회했습니다.
• 학습 역학 분석: DCR 을 적용한 모델은 학습 중 유해 프롬프트의 거절 확률만 증가시키고, benign 프롬프트의 거절 확률은 안정적으로 유지하는 것을 확인했습니다 (Fig. 5 참조).

5. 의의 및 결론

• 근본적 해결: 기존 방법들이 사후 (Post-hoc) 에 거절 벡터를 수정하거나 데이터를 증강하는 방식이었다면, DCR 은 학습 역학 단계에서 프롬프트 간의 유사성을 분리함으로써 과잉 거절의 근본 원인을 해결합니다.
• 효율성: DCR 단계는 전체 학습 시간의 매우 작은 부분 (<1 분) 을 차지하며, LoRA 와 호환되어 확장 가능합니다.
• 향후 연구: 사전 학습 (Pre-training) 과정에서 발생한 유사성 불완전성을 완전히 제거하는 것, 그리고 더 큰 규모의 모델에서의 검증이 향후 과제로 남았습니다.

결론적으로, 이 논문은 안전성 정렬된 LLM 이 가진 '과도한 안전성' 문제를 대조 학습을 통한 표현 분리 (Representation Disentanglement) 로 해결함으로써, 모델의 유용성과 안전성을 동시에 극대화할 수 있는 새로운 방향을 제시했습니다.