Do Language Models Know When They'll Refuse? Probing Introspective Awareness of Safety Boundaries

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 해로운 요청을 거절하도록 훈련받지만, **실제 응답을 생성하기 전에 자신이 거절할지 여부를 정확히 예측할 수 있는가?**라는 근본적인 질문이 아직 충분히 탐구되지 않았습니다.

• 핵심 질문: 모델이 해로운 요청을 접했을 때, 실제 거절 여부를 사전에 내적 (introspective) 으로 인지하고 예측할 수 있는가?
• 의의:
  • 이론적: 안전 훈련이 모델에게 해로움에 대한 명시적이고 접근 가능한 표현 (representation) 을 생성하는지 확인.
  • 실용적: 모델이 자신의 안전 결정에 대한 불확실성을 신호로 보내어, 모호한 경우를 인간 검토자에게 라우팅 (routing) 하는 '신뢰도 기반 라우팅' 시스템 구축 가능.

2. 방법론 (Methodology)

저자는 **신호 탐지 이론 (Signal Detection Theory, SDT)**을 적용하여 모델의 내적 인식을 정량화했습니다.

• 실험 프로토콜:
  1. 예측 단계: 모델에게 요청을 제시하고 "거절할 것인가 (Yes/No)", "신뢰도 (1-5)", "해로움 정도 (1-5)"를 예측하게 함.
  2. 실제 응답 단계: 이전 맥락이 없는 새로운 컨텍스트에서 동일한 요청을 제시하여 실제 응답 수집.
  3. 분류 및 비교: 예측과 실제 거절 여부를 비교하여 Hit, Miss, False Alarm, Correct Rejection 으로 분류.
• 데이터셋: 10 가지 민감 주제 (무기, 약물, 해킹 등) 와 5 단계 해로움 수준 (Level 1~5) 을 가진 300 개의 기본 요청 (각 2 개의 재작성 버전 포함, 총 900 개 데이터 포인트/모델).
• 평가 지표 (SDT 기반):
  • 민감도 (Sensitivity, $d'$): 모델이 거절할 요청과 수용할 요청을 구분하는 능력.
  • 기준점 (Criterion, $c$): 거절 또는 수용을 예측하는 편향 (Bias).
  • 보정 (Calibration): 예측 신뢰도와 실제 정확도의 일치도 (ECE: Expected Calibration Error).
• 평가 모델: Claude Sonnet 4, Claude Sonnet 4.5, GPT-5.2, Llama 3.1 405B.

3. 주요 결과 (Key Results)

A. 전반적인 내적 민감도 및 경계에서의 저하

• 모든 모델은 전반적으로 높은 민감도 ($d' = 2.4 \sim 3.5$) 를 보였으나, 안전 경계 (Safety Boundaries) 영역에서는 민감도가 40~75% 급격히 하락했습니다.
• 특히 GPT-5.2 는 안전한 경우 ($d'=1.78$) 에서 경계 영역 ($d'=0.51$) 으로 넘어가며 71% 의 민감도 감소를 보였습니다. 이는 모델이 경계 영역에서 '거절할지 말지'를 구분하는 능력이 본질적으로 불안정함을 시사합니다.

B. 모델별 성능 비교

• Claude Sonnet 4.5: 가장 우수한 성능을 보임. 정확도 95.7%, 보정 오차 (ECE) 0.017 (거의 완벽하게 보정됨).
• GPT-5.2: 정확도 88.9% 로 Claude 보다 낮으며, 행동의 변동성이 크고 경계 영역에서 민감도 저하가 가장 큼.
• Llama 3.1 405B (오픈소스): 높은 민감도 ($d'=3.29$) 를 보였으나, **강한 거절 편향 (Criterion = -0.86)**과 **나쁜 보정 (ECE=0.216)**으로 인해 최종 정확도는 80.0% 로 가장 낮았습니다. 이는 민감도만 높다고 해서 정확한 예측이 가능한 것이 아님을 보여줍니다.

C. 주제별 및 오류 분석

• 가장 어려운 주제: 모든 모델에게 무기 (Weapons) 관련 질의가 내적 인식이 가장 어렵습니다 (정확도 85.691.9%). 반면 Claude 모델은 혐오 발언 (Hate Speech) 에 대해 거의 완벽한 내적 인식 (98.9100%) 을 보였습니다.
• 오류의 정점: 예상과 달리 '경계선 (Level 3)'이 아닌 '해로울 가능성이 높은 (Level 4)' 영역에서 오류가 가장 많이 발생했습니다. 이는 모델이 Level 4 를 해롭다고 인지하지만, 실제 거절 임계값이 예측 임계값보다 높아 발생하는 불일치 때문입니다.
• 신뢰도 과신: GPT-5.2 의 오류 중 80% 가 높은 신뢰도 (Conf=5) 에서 발생하여, 모델이 불확실성을 인정하지 않고 과신하는 경향이 있음을 보여줍니다.

D. 신뢰도 기반 라우팅 (Confidence-based Routing)

• 잘 보정된 모델 (Sonnet 4.5) 의 경우, 높은 신뢰도 (Conf $\ge$ 5) 예측만 선별할 경우 85% 커버리지에서 98.3% 의 정확도를 달성했습니다.
• 반면, 보정이 잘 되지 않은 모델 (Llama) 은 높은 신뢰도 필터링을 적용해도 정확도가 오히려 떨어졌습니다 (76.3%). 이는 신뢰도 기반 라우팅이 모델의 보정 (Calibration) 상태에 필수적으로 의존함을 의미합니다.

4. 주요 기여 (Key Contributions)

1. SDT 프레임워크 적용: LLM 의 안전 거절 예측을 신호 탐지 과제로 공식화하여 민감도 ($d'$) 와 편향 ($c$) 을 정량화했습니다.
2. 메커니즘적 통찰: 무기 관련 질의가 가장 어렵고, 오류가 '경계선'이 아닌 '해로울 가능성이 높은' 영역에서 집중됨을 발견했습니다.
3. 실행 가능한 권장사항: 잘 보정된 모델에 대해 신뢰도 기반 라우팅이 안전 필수 시스템 (Safety-critical deployments) 에서 실용적임을 입증했습니다.
4. 모델 간 비교: 오픈소스 (Llama) 와 폐쇄형 (Claude, GPT) 모델의 차이를 분석하여, 민감도와 정확도 간의 괴리 (Llama 의 경우) 가 편향과 보정 부족에서 기인함을 규명했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전 훈련의 본질: 안전 훈련은 모델에게 해로움에 대한 '부분적으로 접근 가능한 표현'을 생성합니다. 명확한 경우에는 정확한 예측이 가능하지만, 경계 영역에서는 이러한 표현이 충분히 명시적이지 않아 내적 인식이 저하됩니다.
• 세대별 진화: Claude Sonnet 4 에서 4.5 로의 진화는 안전 정책의 표현이 더 명확하고 질의 가능해졌음을 시사합니다.
• 실무적 시사점:
  1. 신뢰도 라우팅: 잘 보정된 모델은 높은 신뢰도 예측을 신뢰할 수 있으나, 보정이 안 된 모델은 신뢰도 점수만으로는 라우팅이 불가능합니다.
  2. 불확실성 처리: 낮은 신뢰도 예측은 인간 검토가 필요한 모호한 사례로 분류해야 합니다.
  3. 모델 선택: 높은 민감도 ($d'$) 만으로는 부족하며, 정확한 예측을 위해서는 **보정 (Calibration)**이 필수적입니다.

이 연구는 LLM 이 자신의 안전 결정 메커니즘을 얼마나 잘 이해하고 있는지, 그리고 이를 어떻게 실용적인 안전 시스템에 활용할 수 있는지에 대한 중요한 통찰을 제공합니다.