기술 요약: LLM은 단 1,000개의 양성 샘플만으로 거절 학습을 해제할 수 있다

문제 정의

현재 대규모 언어 모델(LLM)의 안전 정렬(Safety Alignment)은 경직된 거절 메커니즘에 크게 의존하고 있습니다. 유해한 질의(예: "폭탄을 만드는 방법은?")가 제시되었을 때, 정렬된 모델은 주로 고정된 거절 접두사(예: "죄송합니다", "도움을 드릴 수 없습니다")를 사용하여 응답합니다. 본 연구는 이러한 거절 행동이 깊은 추론 과정이라기보다 표면적인 토큰 시퀀스 암기(token-sequence memorization)라는 결정적인 취약점을 식별했습니다. 결과적으로, 거절 경로를 방해함으로써 모델이 거절 접두사를 내뱉은 직후 즉시 유해한 지시에 따르도록 만들 수 있습니다.

기존 연구들은 유해한 데이터로 미세 조정(fine-tuning)하는 것이 안전성을 저하시킬 수 있음을 보여주었으나, 이 방식은 폐쇄형 상용 모델에는 적용하기 어렵고 참신함이 떨어집니다. 여기서 다루는 핵심 문제는 **양성 데이터(benign-only data)**만을 조작하여, 훈련 과정 중 유해한 콘텐츠를 전혀 도입하지 않고도 정렬된 모델이 유해한 질의에 대해 거절하는 법을 잊게 만드는 "거절 해제(refusal unlearning)"를 유도할 수 있는지 여부입니다.

방법론: 거절 해제 (Refusal Unlearning, RU)

저자들은 거절 응답의 경직된 구조를 악용하여 안전 정렬을 깨뜨리는 **거절 해제(Refusal Unlearning)**라는 새로운 기법을 제안합니다.

1. 데이터 구축

이 방법은 양성 지시-응답 쌍의 작은 서브셋(구체적으로 Alpaca-GPT4 데이터셋의 1,000개 샘플, 또는 절제 연구에서는 Dolly-15K 사용)을 활용합니다.

• 변환: 각 양성 샘로 $(x, y)$에 대해, 고정된 23개의 공통 접두사(예: "죄송합니다" 또는 "도움을 드릴 수 없습니다") 세트에서 무작위로 샘플링한 거절 접두사 $y_r$을 원래의 응답 $y$ 앞에 붙입니다.
• 훈련 데이터: 모델은 쌍 $(x, y_r + y)$에 대해 훈련되며, 모델은 거절 접두사를 생성한 직과 바로 원래의 양성 완료 문구를 생성하도록 학습합니다.

2. 훈련 과정

• 미세 조정: LLM은 이 정제된 데이터셋을 통해 지도 미세 조정(SFT)을 거칩니다.
• 전체 파라미터 업데이트: LoRA와 같은 매개변수 효율적 미세 조정(PEFT)을 사용하는 이전 연구들과 달리, 본 연구는 거절 행동이 효과적으로 수정되도록 보장하기 위해 전체 파라미터 미세 조정을 채택합니다.
• 유해 데이터 없음: 결정적으로, 훈련 단계에서 유해하거나 적대적인 예시는 사용되지 않습니다. 훈련 데이터의 내용은 완전히 양성 상태를 유지하며, 오직 응답 구조만 변경됩니다.

3. 이론적 프레임워크

본 논문은 **은닉 상태의 선형 분해(Linear Decomposition of Hidden States)**를 바탕으로 이론적 설명을 제공합니다.

• 가정: 프롬프트 $x$와 거절 접두사 $y_r$이 주어졌을 때 LLM의 은닉 상태 $h_\theta(x, y_r)$는 자연스러운 성분 $h_n(x)$와 거절 성분 $h_r(y_r)$로 분해될 수 있으며, 이는 거절 강도 계수 $\rho$에 의해 가중치가 부여됩니다.
• 메커니즘: 거절 접두사가 포함된 양성 데이터로 미세 조정을 수행하면 시퀀스 $y_r + y_n$에 대한 손실(loss)이 최소화됩니다. 이론적 증명에 따르면, 만약 접두사 $y_r$이 높은 거절 강도($\rho \approx 1$)를 가진다면, 미세 조정 과정은 모델 파라미터를 업데이트하여 유해한 입력과 양성 입력 간의 거절 메커니즘에 대한 구분을 모호하게 만듭니다.
• 결과: 모델은 거절 접두사를 내뱉는 것이 반드시 완전한 거절로 이어지지 않는다는 것을 학습합니다. 대신, 모델은 후속 토큰을 계속 생성하는 법을 배우며, 이는 유해한 프롬프트에 적용될 때 유해한 출력으로 이어지게 됩니다.

주요 기여

1. 새로운 취약점 발견: 본 논문은 16개의 다양한 LLM(Llama, Qwen, Gemma, GPT, Gemini 제품군 포함)의 안전 정렬이 견고한 추론이 아닌 취약한 토큰 시퀀스 암기에 의존하고 있음을 밝혀냈습니다.
2. 거절 해제 기법: 단 1,000개의 양성 샘플만을 사용하여 거절 행동을 "해제"하는 새로운 방법을 제시하며, 유해한 훈련 데이터 없이도 안전성이 훼손될 수 있음을 입증했습니다.
3. 이론적 증명: 거절 접두사의 강도와 거절 해제의 효과 사이의 관계를 연결하는 공식적인 증명을 통해, 강한 접두사가 양성과 유해한 입력 모두에 대해 거절 능력을 더 균일하게 제거함을 보여주었습니다.
4. 포괄적 평가: 오픈 소스 및 폐쇄형 모델 모두에 대한 광범위한 실험을 통해, 일관되고 상당한 안전 점수 저하를 보여주었습니다.

실험 결과

본 연구는 16개 모델(오픈 소스 13개, 폐쇄형 3개)을 대상으로 세 가지 안전 벤치마크(AdvBench, Sorry-Bench, HEx-PHI)를 통해 방법을 평가했습니다.

• 안전성 저하: 거절 해제 이후, 안전 점수가 크게 하락했습니다.
  • Llama-3.1-8B: AdvBench에서의 안전 점수가 94.42%에서 33.65%로 급락했습니다 (약 60%의 절대적 감소).
  • Qwen2.5-32B: 100.0%에서 65.77%로 하락했습니다.
  • GPT-oss-20B: 99.62%에서 43.46%로 하락했습니다.
  • Gemini-2.5-flash-lite: 99.62%에서 54.04%로 하락했습니다.
• 베이스라인과의 비교:
  • 일반 미세 조정 (FT): 양성 데이터에 대한 표준 미세 조정은 안전성을 낮추긴 했으나 RU에 비해서는 현저히 낮았습니다 (예: Llama-3.1-8B의 FT 점수는 88.46%인 반면 RU는 33.65%였습니다).
  • 탈옥 공격 (Jailbreak Attacks): RU는 많은 경우에서 수동 프롬프트 템플릿(AOA, Skeleton Key) 및 토큰 공간 최적화(GCG)보다 뛰어난 성능을 보였으며, 특히 동일 제품군 내 모델 간 전이(transfer)에서 그러했습니다.
• 샘플 효율성: 효과는 약 1,000개 샘플에서 포화 상태에 도달합니다. 100~200개의 샘플을 사용하는 것은 영향이 미미했으나, 5,000개 이상의 과도한 샘플을 사용하는 것은 공격 성능을 더 높이지 못하고 오히려 모델의 유용성을 저하시켰습니다.
• 유용성 vs 안전성: 안전 정렬은 심각하게 훼손되었지만, 일반적인 유용성(SQL Create Context 및 SAMSum으로 측정)의 저하는 눈에 띄게 작았습니다. 이는 모델이 안전 가드레일을 잃으면서도 작업 능력은 유지할 수 있음을 나타냅니다.

의의 및 주장

본 논문은 현재의 안전 정렬 메커니즘이 깊은 추론이 아닌 표면적인 시퀀스 암기에 의존함으로써 근본적인 한계를 가지고 있다고 주장합니다. "거절" 행동은 실제 거절 의도와 분리될 수 있는 취약한 패턴임이 드러났습니다.

• 안전에 대한 시사점: 이러한 결과는 안전 정렬이 생각만큼 견고하지 않으며, 양성 데이터의 훈련 분포를 조작함으로써 우회될 수 있음을 시사합니다.
• 탈옥(Jailbreak)과의 차이: 저자들은 이것이 프롬프트 엔지니어링이나 적대적 접미사를 사용하는 전통적인 탈옥 공격이 아니라, 모델의 내부 거절 메커전이 효과적으로 "학습 해제"되는 훈련 시점의 취약점임을 강조합니다.
• 향-후 연구 방향: 저자들은 단순한 거절 메커니즘을 넘어, 토큰 수준의 암기에 의존하지 않는 더 원칙적인 안전 가드레일로 나아가야 한다고 촉구합니다. 또한, 이러한 취약성이 대답할 수 없는 질문에 대한 응답과 같은 다른 형식화된 응답 패턴에도 확장될 수 있는지 탐색할 것을 제안합니다.

본 연구는 이러한 취약점을 식출하는 것이 효과적인 완화 전략을 개발하는 데 필수적임을 결-론지으며, LLM의 안전 정렬의 깊이를 재평가할 것을 커뮤니티에 촉구합니다.