Beyond "I cannot fulfill this request": Alleviating Rigid Rejection in LLMs via Label Enhancement

기술 요약: "이 요청을 수행할 수 없습니다"를 넘어: 라벨 향상을 통한 LLM 의 경직된 거절 완화

문제 제기
대규모 언어 모델 (LLM) 은 유해한 요청은 거절하고 건전한 요청은 답변하기 위해 안전 정렬 (safety alignment) 에 의존합니다. 그러나 현재 메커니즘은 종종 두 가지 주요 한계를 특징으로 하는'경직된 거절 (rigid refusal)'로 고통받고 있습니다: (1) 과도한 방어적 거절: 민감한 주제와 관련된 건전한 학술적 또는 교육적 질문이 무분별하게 차단되는 현상; (2) 기계적 응답 템플릿: 모델이 특정 위험 수준이나 맥락과 관계없이 일반적이고 로봇 같은 거절 (예: "이 요청을 수행할 수 없습니다") 을 출력하는 현상입니다. 이러한 경직성은 거친 이진 안전 라벨이나 이산 스칼라 보상에 의존하는 기존 정렬 전략에서 비롯됩니다. 이러한 신호들은 해석 가능성과 방향성 지침이 부족하여, 모델이 위험 요소를 정확하게 식별하거나 유해한 요소를 정제하는 것을 방해함으로써 인간-AI 상호작용의 자연스러움과 유용성을 훼손합니다.

방법론: LANCE 프레임워크
본 논문은 **라벨 향상 (Label Enhancement)**을 통해 경직된 이진 판단을 유연하고 자연스러운 응답으로 대체하도록 설계된 LANCE(Llm rejection via lAbel eNhanCemEnt) 프레임워크를 제안합니다. 방법론은 두 가지 핵심 구성 요소로 이루어집니다:

1. 변분 추론을 통한 라벨 향상:
   이진 라벨 ($0$또는$1$) 을 사용하는 대신, LANCE 는 변분 추론 네트워크를 사용하여 거친 안전 라벨을 여러 거절 카테고리에 걸친 연속적이고 분리된 위험 분포($d \in [0, 1]^c$) 로 변환합니다.

   • 아키텍처: 시스템은 프롬프트 - 응답 쌍에서 컨텍스트 특징을 추출하기 위해 공유되는 RoBERTa 기반 인코더를 사용합니다. 이러한 특징들은 두 개의 병렬 잠재 공간으로 투영됩니다: 의미 공간 ($z$, 가우시안으로 모델링됨) 과 위험 공간 ($d$, 베타 분포로 모델링됨).
   • 분리 (Disentanglement): 사후 확률에서 의미 내용과 안전 제약 간의 통계적 독립성을 가정함으로써, 모델은 근본적인 언어적 의미를 변경하지 않고 위험 강도를 분리하여 학습합니다.
   • 학습 목표: 모델은 증거 하한 (ELBO) 을 최대화하도록 훈련되며, 의미 특징과 이진 위험 라벨에 대한 재구성 손실을 최소화하고, 사전 분포를 강제하기 위해 KL 발산 정규화를 병행합니다. 보조 정규화 항은 추론된 연속 분포가 실제 이진 감독 (ground-truth binary supervision) 과 정렬되도록 보장합니다.

2. 세밀한 위험 기반 프롬프트 정제:
   연속 위험 분포 $d$는 정제 모델 (예: Qwen2.5-1.5B) 을 위한 진단 신호로 작용합니다.

   • 임계값 설정: 시스템은 위험 수준을"경미함 (Minor)", "약함 (Mild)", "치명적 (Critical)"으로 분류하기 위해 임계값 ($\tau, \tau_{low}, \tau_{high}$) 을 설정합니다.
   • 텍스트 기울기 (Textual Gradients): 위험 카테고리와 강도에 기반하여, 시스템은 $T(y_j, d_j, e_j)$라는 템플릿을 사용하여 구체적인 텍스트 기울기 (예: "이 부분을 덜 공격적으로 다시 작성하세요") 를 생성합니다.
   • 반복적 최적화: TextGrad 기반 접근법을 사용하여 정제 모델은 사용자 프롬프트를 반복적으로 재작성합니다. 이는 원래의 의미적 의도를 보존하면서 위험 요소를 외과적으로 중화시켜, 경직된 거절을 유발하지 않고 안전하고 유용하며 자연스러운 쿼리로 변환합니다.

주요 기여

• 새로운 프레임워크: 단순한 이진 판단에서 여러 거절 카테고리에 걸친 연속 분포로 안전 정렬을 전환하는 LANCE 의 도입.
• 라벨 향상: 이진 거절 라벨을 상세하고 세밀한 분포로 변환하여 특정 유해 의미 요소를 식별하고 정확하게 수정할 수 있게 하는 메커니즘.
• 정제 모델: 이러한 분포를 사용하여 유해 요소만 정제하는 기울기 기반 정제 과정의 구현으로, LLM 이 로봇 같은 템플릿을 피하면서도 대화의 자연스러움을 유지하는 안전한 응답을 생성할 수 있게 함.

실험 결과
저자들은 BeaverTails데이터셋 (14 가지 비안전 카테고리) 에서 LANCE 를 평가했으며, 세 가지 절단된 백본 (Llama3-8B, Llama3.1-8B, Qwen2.5-7B) 을 사용하여 Vanilla(정렬되지 않음), RepE(잠재적 조향), SysPrompt(인-컨텍스트 안전), SelfRefine(반복적 비판), Official Instruct 모델 (RLHF 정렬) 등 다섯 가지 베이스라인과 비교했습니다.

• 안전성 vs 유용성 트레이드오프: Official Instruct 모델은 높은 안전성 점수 (예: Llama-3 기준 9.55) 를 달성했으나, 유용성 점수는 급격히 하락하여 (3.41) 심각한 경직된 거절을 나타냈습니다. LANCE 는 동등한 안전성 (9.23) 을 달성하면서도 유용성 (7.89) 과 자연스러움 (8.69) 을 크게 회복시켰습니다.
• 상용 모델과의 비교: 최상위 상용 모델 (GPT-4o, Gemini 2.5-Pro) 과 비교했을 때, LANCE 는 경쟁력 있는 안전성 (9.55) 을 유지하면서 GPT-4o(3.58) 대비 우수한 유용성 (7.88) 을 입증하여, 규모가 효과적인 정렬을 위한 유일한 전제조건이 아님을 증명했습니다.
• 절단 연구 (Ablation Studies): 정제 루프를 제거한 경우 (LANCE-NR) 안전성이 낮아졌습니다 (4.57). 세밀한 지침을 제거한 경우 (LANCE-NF) 는 안전성은 개선되었으나 전체 방법의 유용성과 자연스러움을 달성하지 못하여, 경직된 거절을 피하기 위해 연속 위험 분포가 필수적임을 확인했습니다.

의의 및 주장
본 논문은 경직된 거절이 안전 정렬의 불가피한 결과가 아니라고 주장합니다. 분리된 잠재 변수를 통해 안전 목표를 일반 지시 따르기에서 분리함으로써, LANCE 는 모델의 유용성과 자연스러움을 회복하는 강력한 솔루션을 제공합니다. 이 프레임워크는 거친 거절 필터를 정밀하고 위험 기반의 반복적 최적화 과정으로 대체함으로써 모델이 안전 경계를 지능적으로 탐색하고, 무해하면서도 건설적인 세련된 응답을 생성할 수 있음을 보여줍니다. 저자들은 이 작업을 현재 안전 조정 모델의 성능을 저하시키는'정렬 세금 (alignment tax)'을 완화하기 위한 한 걸음으로 위치시킵니다.