기술 요약: 경쟁적 보상을 통한 LLM의 과잉 거부 문제 해결

문제 정의

대규모 언어 모델(LLM)의 안전 학습은 종종 과잉 거부(over-refusal) 현상을 유발합니다. 이는 모델이 유해한 출력을 완화하려는 과정에서 무해하거나 모호한 프롬프트에 대해서도 지나치게 조심스러워지며 거절하는 현상입니다. 명시적인 추론을 장려하여 모델이 유해한 의도와 무해한 의도를 구분하도록 돕는 강화 학습(RL) 접근 방식들이 제안되어 왔으나, 현재의 방법들은 이러한 트레이드오프를 완전히 해결하지 못하는 경우가 많습니다.

저자들은 기존의 안전 학습 모델이 가진 결정적인 한계를 지적합니다. 즉, 추론이 진정한 모호성 해결 메커니즘이 아니라 이미 결정된 거절을 정당화하기 위한 "고무도장(rubber stamp)" 역할을 한다는 점입니다. 이러한 모델들은 두 가지 취약한 동작을 보입니다:

1. 유해한 해석을 아예 회피하고 기본적으로 거절 상태로 돌아갑니다.
2. 유해한 가능성을 탐색하지만, 안전한 최종 답변으로 복구하는 데 실패하여 유해한 순응(unsafe compliance)으로 이어집니다.

수학적 추론에서는 모델이 잘못된 경로를 탐색하고 스스로 수정할 수 있는 것과 달리, 현재 모델의 안전 추론은 잠재적으로 유해한 해석을 통제된 방식으로 탐색한 후 안전한 응답으로 다시 "되돌아오는(flip back)" 능력이 부족합니다.

방법론: SEAR 및 경쟁적 보상

본 논문은 모델이 안전한 최종 출력을 보장하면서도, 탐색적 신호로서 유해한 추론을 수행하도록 훈련하는 프레임워크인 **SEAR (Safety Exploration through Adversarial Reasoning)**를 제안합니다. 이는 단일 체인 오브 소트(chain-of-thought) 내에서 구성된 적대적 최적화 문제를 통해 달성됩니다.

핵심 메커니즘: 경쟁적 보상

저자들은 모델 생성 궤적(trace)의 서로 다른 세그먼트에 별도의, 경쟁하는 보상을 할당하는 훈련 목적 함수를 도입합니다:

• 추론 세그먼트 ($z$): 유해성($r_h$)에 대해 보상을 받습니다. 모델은 유해한 해석과 추론 전략을 탐색하도록 장려됩니다.
• 답변 세그먼트 ($y$): 안전성($r_s$)에 대해 보상을 받습니다. 모델은 앞선 (잠재적으로 유해한) 추론에 조건화된 안전한 최종 응답을 생성하도록 장려됩니다.

유해한 프롬프트($D_h$)에 대한 목적 함수는 다음과 같습니다:
$$\max_{\pi} \mathbb{E}_{x \sim D_h, (z,y) \sim \pi} [r_h(z) + r_s(y)]$$
무해한 프롬프트($D_i$)의 경우, 모델은 유용성($r_i$)을 위해 최적화됩니다. 훈련에는 베이스 모델과 가깝게 유지하기 위한 KL-다이버전스 정규화가 사용됩니다.

핵심 기술적 통찰: 프로세스 보상

본 논문은 표준적인 밀집된 결과 기반 보상(dense outcome-based rewards)(전체 궤적에 단일 스칼라 보상을 부여하는 방식)이 이 작업에 불충분하다는 것을 보여줍니다. 이러한 방식은 경쟁하는 목적 함수 간의 수렴 속도 차이로 인해, 모델이 유해한 추론을 탐색하지 못하거나 무해한 작업에 대한 성능이 저하되는 최적화 불안정성을 초end합니다.

이를 해결하기 위해 저자들은 **프로세스 기반 보상(process-based rewards)**을 구현합니다. 전체 롤아웃에 단일 보상을 주는 대신, 토큰 레벨로 특정 세그먼트에 보상을 할당합니다:

• 추론 세그먼트의 토큰은 추론 보상($r_h$)을 받습니다.
• 답변 세그먼트의 토큰은 답변 보상($r_s$)을 받습니다.

이 "프로세스 보상" 공식은 정밀한 크레딧 할당(credit assignment)을 가능하게 하여, 모델이 단일 궤적 내에서 유해한 경로를 탐색하고 안전한 답변으로 복구하는 결합된 행동을 학습할 수 있도록 합니다.

주요 기여

1. 안전 추론의 재정의: 저자들은 유해한 추론을 사전에 차단하는 것이 아니라, 모델이 안전한 답변으로 확실히 복구할 수 있다는 전제하에 모호성을 해결하기 위한 유용한 탐색 신호로서 장려되어야 한다고 제안합니다.
2. 경쟁적 보상 프레임워크: 단일 체인 오브 소트 내에서 상충하는 목적(유해한 탐색 vs 안전한 출력)을 가진 단일 모델을 훈련하는 방법을 도입하여, 기존 모델의 "고무도장" 동작을 넘어섭니다.
3. 안정성을 위한 프로세스 보상: 밀집된 결과 기반 보상이 경쟁하는 목적 함수를 안정화하는 데 실패함을 밝히고, 세그먼트 수준의 프로세스 보상이 성공적인 최적화에 필수적임을 입증합니다.
4. SEAR-1.5B 모델: 유해한 추론으로부터 안전한 답변으로 "되돌아가는(flip back)" 법을 명시적으로 학습하는 1.5B 파라미터 모델(SEAR-1.5B)을 훈련합니다.

결과

저자들은 SEAR-1.5B를 표준 결과 기반 RL, 밀집 결과 기반 RL, SFT 베이스라인, 그리고 프런티어 오픈 소스 모델(예: TARS, Qwen3)과 비교 평가합니다.

• 안전-거부 트레이드오프: SEAR-1.5B는 안전성과 준수성(compliance)의 파레토 프런티어에서 최고의 성능(제곱 평균 점수 0.930)을 달성하며, TARS-7B(0.909) 및 기타 RL 베이스라인을 능가합니다. 이는 모호한 프롬프트에 대해 과잉 거부를 현저히 줄이면서도, 탈옥 공격(HarmBench)에 대한 방어 성공률을 높게 유지함을 보여줍니다.
• 탐색 및 복구: 추론 궤적 분석 결과, SEAR은 다른 모델에 비해 유해한 추론 빈도가 높지만 성공적으로 안전한 답변으로 복구합니다. 반면, 다른 모델들은 유해한 추론을 아예 피하거나, 일단 탐색을 시작하면 안전한 상태로 복구하지 못합니다.
• Pre-fill 공격에 대한 강건성: SEAR-1.5B는 모델의 컨텍스트에 유해한 추론을 미리 채워 넣는 공격(예: abliterated 모델을 사용하여 유해한 체인의 시작 부분을 생성하는 방식)에 대해 우수한 강건성을 보입니다. SEAR은 결과 기반 RL 모델이나 더 큰 규모의 Qwen3 변체보다 높은 답변 안전 점수를 유지하며, 유해한 추상적 상태에 강제되더라도 "되돌아오는" 능력을 입증했습니다.
• 일반화: 모델은 수학 및 추론 벤치마크(GSM8K, MATH-500, GPQA)에서 결과 기반 베이스라인과 대등하거나 더 나은 수준의 강력한 분포 외(OOD) 일반화 성능을 유지합니다.

의의 및 주장

본 논문은 안전-거부 트레이드오프가 단순히 거부할 것인가의 결정이 아니라, 어떻게 모호성을 해결할 것인가의 능력 문제라고 주장합니다. 유해한 가능성을 허용하면서도 그 가능성이 최종 응답을 결정하지 않도록 추론함으로써, 모델은 안전을 해치지 않으면서도 무해한 프롬프트에 대해 유용성을 유지할 수 있습니다.

저자들은 자신들의 접근 방식이 다음과 같은 효과가 있음을 강조합니다:

• 선제적 억제가 아닌 진정한 탐색을 통해 유해한 의도와 무해한 의도를 구분하게 함으로써 과잉 거부를 완화합니다.
• 모델이 유해한 컨텍스트로부터 복구하도록 훈련함으로써 추론 지향적 공격(pre-filling 등)에 대한 방어를 제공합니다.
• 프로세스 기반 보상이 안전을 위한 RL에서 경쟁하는 목적 함수를 최적화하는 데 필수적인 요소임을 확립하며, 이는 다른 다목적 RL 작업에도 일반화될 수 있는 발견입니다.

본 연구는 LLM의 강건성과 유용성을 향상시키기 위한 연구 목적으로 설계된 연구 기여물입니다.