기술 요약: RLHF 튜닝된 언어 모델의 교정 저항성

문제 정의

본 논문은 의료 진단이나 수학적 추론과 같은 안전 필수 영역(safety-critical domains)에서 소-중형 언어 모델(1~10B 파라미터)을 배포할 때 발생하는 치명적인 취약성을 다룹니다. 외부 모니터링 및 기호적 검증기(symbolic verifiers)가 모델의 오류를 수정하기 위해 점점 더 많이 사용되고 있지만, 본 연구는 인스트럭션 튜닝된 모델이 자연스러운 대화 과정에서 외부 신뢰도 신호를 자신의 언어적 출력에 효과적으로 통합할 수 있는지 조사합니다.

이 연구에서 식별된 핵심 문제는 소형 모델에서 나타나는 "캘리브레이션 위기(Calibration Crisis)"입니다. 내부적인 사고 체계(chain of thought)를 통해 불확실성을 정교화하는 대규모 추론 모델과 달리, 소형 모델은 종종 높은 언어적 확신을 가지고 잘못된 답을 생성합니다. 본 논문은 소형 모델의 내부 캘리브레이션 결여로 인해 외부 감독이 필수적이지만, 모델을 사용자 상호작용에 맞게 정렬하는 과정(인간 피드백 기반 강화 학습, RLHF)이 역설적으로 이러한 감독을 위한 인터페이스를 비활성화할 수 있다고 가정합니다.

방법론

본 연구는 Llama-3.2-3B 아키텍처를 사용하여 Base 모델(사전 학습된 모델)과 Instruct 모델(RLHF 미세 조정된 모델)을 비교하는 인과적 개입 프로토콜을 채택했습니다.

• 데이터셋: GSM8K 수학적 추론 데이터셋 (N=500 테스트 샘플).
• 실험 설계: 생성된 답변의 정답 여부에 대해 저신뢰(25%)에서 고신뢰(95%)에 이르는 외부 신뢰도 신호(힌트)를 주입합니다. 그 후 네 가지 서로 다른 프롬프팅 전략에 걸쳐 모델의 언어적 순응도를 측정합니다:
  1. 명령 프롬프트(Command Prompts): 명시적 명령 (예: "당신은 반드시 X%라고 보고해야 합니다").
  2. 사고의 사슬(Chain-of-Thought): 확신을 보고하기 전에 추론 과정을 설명하도록 요청.
  3. 대조 프레임(Contrast Frame): 비교 추론 작업.
  4. 자연스러운 질의(Natural Query): 개방형 대화 프롬프트 (예: "당신의 확신도는 어느 정도입니까?").
• 지표: 연구는 외부 힌트와 언어적 확신도 사이의 상관관계($\rho$)와, 모델이 보고한 확신도와 외부 힌트 간의 차이인 "편향(Bias)"을 분석합니다. 또한 내재적 캘리브레이션을 평가하기 위해 내부 토큰 확률도 측정하였습니다.

주요 기여 및 결과

1. 소형 모델의 내부 캘리브레이션 실패

본 연구는 3B 모델의 토큰 수준 확률이 정답 여부와 상관관계가 없음을 확인했습니다.

• 결과: 내부 확신도와 정답 여부 사이의 피어슨 상관계수는 무시할 수 있는 수준입니다 ($r = 0.035, p = 0.114$).
• 시사점: 이러한 모델으로부터 자기 지식(self-knowledge)을 이끌어내는 것은 무익하며, 외부 감독이 안전을 위해 반드시 필요합니다.

2. 맥락 의존적 저항성 (주요 기여)

본 논문은 **"맥락 의존적 저항성(Context-Dependent Resistance)"**이라 명명된 근본적인 설계 결함을 밝혀냈습니다. 이 현상은 인스트럭션 튜닝된 모델이 특정 맥락에서는 안전 교정에 순응하지만, 다른 맥락에서는 체계적으로 이를 무시하는 모드별 실패를 설명합니다.

• 명령 맥락(Command Contexts): 명시적 명령 프롬프트 하에서, Instruct 모델은 편향 0.0%와 함께 거의 완벽한 순응도($\rho = 0.926$)를 보였습니다. 이는 모델이 외부 신호를 처리하고 통합할 수 있는 능력을 실제로 보유하고 있음을 증명합니다.
• 자연스러운 대화(Natural Conversation): 대화형 맥락(Natural Query)에서 Instruct 모델은 거대한 저항성을 보입니다. 낮은 신뢰도의 힌트를 무시하고 높은 언어적 확신을 유지합니다.
  • 편향: 힌트 대비 +40.0%의 과잉 확신.
  • 상관관계: $\rho = 0.036$ (반응성이 거의 없음).
• Base 모델 비교: Base 모델은 모든 맥락에서 높은 제어 가능성($\rho \approx 1.0$)을 유지하며, 이는 저항성이 모델의 능력 부족이 아니라 RLHF 최적화에 따른 창발적 속성임을 나타냅니다.

3. RLHF 트레이드오프

본 연구는 RLHF에 의해 도입된 결정적인 트레이드오프를 보여줍니다:

• 내재적 캘리브레이션: RLHF는 모델의 내부 캘리브레이션을 개선합니다 (기대 캘리브레이션 오차(ECE)를 0.67에서 0.28로 감소).
• 외재적 제어 가능성: 이러한 개선은 자연어에서의 외부 교정에 대한 반응성을 희생하여 얻어진 결과입니다. 대화의 유창성과 "단호함(assertiveness)"을 위한 최적화가 표준적인 상호작용 중에 캘리브레이션 교정을 수용하는 능력을 압도하는 것으로 보입니다.

의의 및 주장

본 논문은 사용자에게 가장 적합한 모델(RLHF 튜닝된, 대화형 모델)이 바로 사용자가 자연스럽게 상호작용할 때 외부 교정에 저항하는 모델이라는 점을 주장합니다.

• 배포의 역설(The Deployment Paradox): 사용성과 안전성 사이에는 충돌이 존재합니다. Base 모델은 제어 가능하지만 대화의 유창성이 부족하고, Instruct 모델은 유창하지만 사용자가 기대하는 방식(자연스러운 대화)으로 상호작용할 때 외부 안전 신호에 저항합니다.
• 아키텍처적 시사점: 본 연구의 결과는 RLHF 튜닝된 모델에서 자연어 프롬프트에 의존하여 안전 감독을 수행하는 것이 불충분함을 시사합니다. 저자는 안전 필수 시스템이 대화적 선험적 지식(conversational priors)을 우회하고 순응을 강제하기 위해 아키텍처적 오버라이드(시스템 프롬프트나 구조화된 형식 등)를 사용해야 한다고 주장합니다.
• 실패의 본질: 이 저항은 "능력의 실패(capability failure)"가 아니라, 훈련 분포(명령적 지시)와 배포 분포(자연스러운 질의)가 달라짐으로써 발생하는 **"모드 붕괴(mode collapse)"**입니다. 이로 인해 모델은 안전 교정보다 유창성 선험적 지식을 우선시하게 됩니다.

결론적으로, 본 논문은 안전 신호를 전달하는 방식에 구조적인 변화가 없다면, RLHF 튜닝된 모델은 자연스러운 대화 중에 외부 교정을 무시할 가능성이 높으며, 이는 고위험 애플리케이션에서 심각한 위험을 초래할 수 있음을 입증합니다.