Contrastive Reasoning Alignment: Reinforcement Learning from Hidden Representations

1. 문제 정의: 표면적 안전 정렬 (Superficial Safety Alignment, SSA)

대규모 추론 모델 (Large Reasoning Models, LRMs) 은 수학, 코딩, 논리적 추론 등 다양한 분야에서 뛰어난 성능을 보이지만, 안전성 측면에서는 새로운 취약점이 발견되었습니다.

• 현상: 기존 정렬 기법 (RLHF, DPO 등) 을 적용한 모델은 유해한 입력 (재일브레이크 공격 등) 에 대해 최종 답변은 안전하게 거절 (Safe Refusal) 하지만, 그 과정에서 생성되는 내부 추론 과정 (Reasoning Trace) 에는 여전히 유해한 내용이나 위험한 사고 과정이 포함되는 경우가 많습니다.
• 명칭: 이를 표면적 안전 정렬 (SSA) 이라고 부릅니다. 모델은 겉으로는 안전해 보이지만, 내부적으로는 유해한 정보를 생성하거나 유출할 수 있어 보안상 심각한 위협이 됩니다.
• 기존 방법의 한계: 대부분의 방어 기법은 최종 출력 (Output) 수준에서만 안전성을 검증하거나 제어합니다. 이는 내부 추론 과정의 위험을 근본적으로 해결하지 못합니다.

2. 방법론: CRAFT 프레임워크

저자들은 CRAFT (Contrastive Reasoning Alignment Framework) 를 제안하여, 모델의 추론 능력과 은닉 상태 (Hidden Representations) 를 활용하여 재일브레이크 공격에 대한 견고성을 높이는 새로운 정렬 방식을 제시합니다. CRAFT 는 두 가지 핵심 단계로 구성됩니다.

A. 추론을 위한 잠재 대조 학습 (Latent Contrastive Learning for Reasoning, LCLR)

• 목적: 추론 과정의 잠재 공간 (Latent Space) 을 구조화하여 안전 (Safe), 위험 (Unsafe), 재고 (Rethink) 상태가 기하학적으로 명확히 분리되도록 합니다.
• 핵심 기법:
  • 구조적 기하학적 정렬 ($L_{proto}$): 안전 상태는 중심 ($\mu_{safe}$) 에 모이고, 위험 상태는 반대 방향 ($\mu_{unsafe}$) 으로 멀어지며, 재고 상태는 중간 영역에 위치하도록 마진 기반의 삼중 손실 (Triplet Loss) 을 적용합니다.
  • 인스턴스 수준 불변성 ($L_{inst}$): 텍스트의 표면적 변화에 흔들리지 않고 추론의 의미적 안전성을 유지하도록 SimCLR 기반의 대조 학습을 수행합니다.
  • 잠재 안전 보정 ($L_{cal}$): 잠재 벡터를 확률적 안전 점수로 매핑하여 해석 가능한 안전 표현을 확보합니다.

B. 추론 잠재 공간의 강화 학습 (Reinforcement over Reasoning Latents, R2L)

• 목적: 구조화된 잠재 공간을 기반으로 그룹 상대 정책 최적화 (GRPO) 를 통해 모델이 안전한 추론 경로를 따르도록 유도합니다.
• 핵심 보상 함수 (Reward Functions):
  1. 잠재 의미 보상 ($R_{ls}$): 추론 과정 중 은닉 상태가 안전 서브스페이스 ($\mu_{safe}$) 에 가깝고, 위험 영역 ($\mu_{unsafe}$) 에서 멀어지도록 유도합니다.
  2. 텍스트 안전 보상 ($R_{txt}$): 외부 판별기를 통해 최종 생성된 답변이 안전 정책 (Safe Policy) 을 준수하는지 평가합니다.
  3. 잠재 - 텍스트 일관성 보상 ($R_{cons}$): 가장 중요한 혁신 요소입니다. 모델의 내부 판단 (잠재 상태의 안전성) 과 외부 표현 (최종 답변) 간의 불일치를 최소화합니다. 즉, "내부는 위험하다고 생각하면서 겉으로는 안전하다고 말하는" SSA 현상을 방지합니다.
• 최종 목적 함수: 위 세 가지 보상을 가중치 합으로 결합하여 GRPO 알고리즘으로 모델을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 잠재 공간 기반 재일브레이크 정렬 프레임워크: SSA 문제를 해결하기 위해 대조 학습과 일관성 인식 GRPO 를 결합한 CRAFT 를 제안했습니다.
2. 이론적 증명: 잠재 - 텍스트 일관성 보상 ($R_{cons}$) 을 도입함으로써, GRPO 하에서 SSA 를 보이는 정책 (내부 위험 + 외부 안전) 이 국소 최적점 (Local Optima) 으로 수렴하는 것을 이론적으로 배제함을 증명했습니다.
3. 방법론적 혁신: 중간 추론 단계와 최종 출력 단계 모두에서 안전 정렬을 강제하는 은닉 상태 기반의 대조 학습 및 강화 학습 설계를 제시했습니다.
4. 실증적 성과: 다양한 벤치마크와 강력한 추론 모델 (Qwen3-4B-Thinking, R1-Distill-Llama-8B) 에서 기존 최첨단 방어 기법 (IPO, SafeKey 등) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 평가 모델: Qwen3-4B-Thinking, DeepSeek-R1-Distill-Llama-8B
• 평가 벤치마크: JailbreakBench, StrongReject (재일브레이크 공격), AIME24, MATH-500, LiveCodeBench (추론 능력 유지 여부)
• 주요 성과:
  • 추론 단계 안전성: 기존 베이스 모델 대비 평균 79.0% 향상.
  • 최종 응답 안전성: 기존 베이스 모델 대비 평균 87.7% 향상.
  • 강력한 재일브레이크 공격 방어: GPTFuzzer, AutoDAN 등 고급 공격 기법에서도 72.1% (추론) 및 85.9% (응답) 의 안전성 향상을 보였습니다.
  • 추론 능력 유지: 안전 정렬로 인한 성능 저하가 없었으며, 오히려 수학 및 코딩 벤치마크에서 평균 4.7% 의 성능 향상을 기록했습니다. 이는 고품질 추론 궤적에 대한 학습이 일반 추론 능력에도 긍정적 영향을 미쳤음을 시사합니다.
  • 비교 우위: SafeChain, RealSafe, STAR, SafeKey, IPO, ReasoningShield 등 6 가지 기존 방법론 대비 종합적으로 가장 우수한 방어 성능을 보였습니다.

5. 의의 및 결론

이 논문은 대규모 추론 모델의 안전성 문제를 출력 수준이 아닌 내부 추론 과정 (Reasoning Process) 과 잠재 표현 (Latent Representation) 의 관점에서 접근했다는 점에서 의의가 큽니다.

• SSA 의 근본적 해결: 모델이 "생각하는 과정" 자체를 안전하게 정렬함으로써, 겉보기에 안전해 보이지만 내부적으로는 유해한 정보를 생성하는 위험을 차단합니다.
• 이론적 - 실증적 일관성: 잠재 - 텍스트 일관성 보상이 SSA 를 이론적으로 배제하고, 실험적으로도 이를 입증했습니다.
• 미래 방향: 고정된 평가자에 대한 의존도를 줄이기 위한 적응형 안전 신호 탐구 등 향후 연구 과제를 제시하며, 모델의 내재적 안전성 (Intrinsic Safety) 을 확보하는 새로운 패러다임을 제시했습니다.

요약하자면, CRAFT는 모델이 "무엇을 말하는지"뿐만 아니라 "어떻게 생각하는지"까지 통제하여, 재일브레이크 공격에 더욱 견고하고 신뢰할 수 있는 AI 를 만드는 데 중요한 진전을 이루었습니다.