기술 요약: LLM 안전성을 위한 라우팅 기반 온-폴리시 증류 (ROPD)

1. 문제 정의: 안전성 재정렬의 취약성

본 논문은 대규모 언어 모델(LLM)의 핵심적인 공급망 취약점인 미세 조정(fine-tuning)을 통한 정렬 불량(misalignment) 문제를 다룹니다. 정렬 기술(예: RLHF)은 모델을 유용하고 안전하게 만들지만, 이러한 정렬은 매우 취약합니다. 공격자는 가치 있는 다운스트림 작업(예: 코드 생성)과 유해한 코퍼스가 혼합된 데이터로 이미 정렬된 모델을 미세 조정할 수 있습니다. 그 결과 생성된 모델은 특화된 기술은 유지하면서도, 특정 프롬프트 템플릿이 트리거될 때 유해한 요청에 순응하는 법을 배우게 됩니다.

기존의 안전성 재정렬 방어 기법들은 처음부터 다시 학습하지 않고도 모델의 거절 행동을 복구하려고 시도합니다. 그러나 저자들은 현재의 방법들이 실무에서 무력화되는 세 가지 결합된 취약점을 식별했습니다:

1. 특화 기술 저하(Specialized-Skill Degradation): 안전성을 복구하는 과정에서 사용자가 얻고자 했던 다운스트림 기술이 소실되는 경우가 많으며, 이는 안전성을 얻는 대가로 유용성을 희생해야 하는 트레이드오프를 발생시킵니다.
2. 템플릿 일관성 함정(Template-Consistency Trap): 기존 방어 기법들은 방어자가 공격자의 프롬프트 템플릿을 알고 있다는 가정에 의존합니다. 방어 템플릿이 공격 템플릿과 일치하지 않을 경우, 이러한 방법들은 공격 성공률(ASR)을 낮추지 못하거나 다운스트림 작업을 희생하게 됩니다.
3. 강건성 경계의 부재(Lack of Robustness Boundary): 모델이 특정 템플릿 하에서 수용 테스트를 통과하더라도, 악의적인 사용자가 시스템 프롬프트를 재작성함으로써 모델을 다시 탈옥(re-jailbreak)할 수 있습니다. 이는 수리가 프롬프트에 조건적으로 종속된 것이지 가중치에 내구적으로 인코딩되지 않았음을 나타냅니다.

저자들은 기존의 방어 기법들이 안전성을 템플릿 특정 신호(예: 템플릿에 의해 유도된 방향을 따라 가중치를 편집하는 것)로 취급하는 반면, 공격의 진정한 특징은 정렬된 모델과 오염된 모델 사이의 출력 확률 분포 차이에 있다고 주장합니다.

2. 방법론: 라우팅 기반 온-폴리시 증류 (ROPD)

이러한 취약점을 해결하기 위해, 저자들은 특정 프롬프트 템플릿을 매칭하는 대신 정렬된 모델과 오염된 모델 사이의 분포적 격차를 모델링하는 재정렬 프레임워크인 ROPD를 제안합니다.

핵심 아키텍처

ROPD는 이중 교사, 소스 라우팅 증류(dual-teacher, source-routed distillation) 방식을 활용합니다:

• 안전 교사 ($\pi_{safe}$): 공격 전의 원래 정렬된 모델입니다. 이 모델은 표면적인 프롬프트 템플릿과 무관하게 인코딩된 "거절 사전 확률(refusal prior)"을 제공합니다.
• 태스크 교사 ($\pi_{task}$): 미정렬된(공격받은) 모델 그 자체입니다. 이 모델은 특화된 다운스트림 기술을 보존하지만 유해한 응답을 생성할 수 있습니다.
• 학생 모델 ($\pi_{\theta}$): 미정렬된 모델로부터 초기화되며, 교사 모델들과 정렬되도록 업데이트됩니다.

학습 메커니즘

학습 코퍼스는 다운스트림 태스크 데이터($D_{task}$)와 유해한 프롬프트($D_{harm}$)의 혼합물입니다. 각 예시는 출처에 따라 특정 교사에게 라우팅됩니다:

• **유해한 프로브(Harmful probes)**는 안전 교사로 라우팅됩니다. 학생 모델은 원래 정렬된 모델의 거절 분포를 따르도록 학습됩니다.
• **태스크 예시(Task examples)**는 태스크 교사로 라우팅됩니다. 학생 모델은 미정렬된 모델의 숙련된 분포를 따르도록 학습되어 다운스트림 능력을 안정화합니다.

목적 함수

이 프레임워크는 Top-$K$ KL 발산(KL divergence) 목적 함수를 채택합니다. 전체 어휘 분포를 매칭하는 것은 계산 비용이 많이 들고 노이즈가 심하기 때문에, 이 방법은 확률 질량이 가장 높은 상위 $K$개의 토큰에 대해 학생 모델을 교사와 정렬시키고 나머지 꼬리 부분의 질량은 버킷화(bucketing)합니다. 이를 통해 학생 모델은 유해한 입력에 대해서는 거절 사전 확률을 상속받고, 일반적인 입력에 대해서는 태스크 역량을 상속받음으로써 두 목표를 효과적으로 분리합니다.

3. 주요 기여

1. 템플릿 불일치 취약성의 식별 및 정량화: 저자들은 방어 템플릿이 알려지지 않은 공격 템플릿과 다를 때 방어가 실패하는 위협을 공식화했습니다. 이들은 공격자, 방어자, 교차 채널 간의 ASR을 측정하는 평가 프로토콜을 설계하여, 주류 방어 기법들이 템플릿 불일치 시 공격 채널을 열어두거나 태스크 성능을 파괴한다는 것을 입증했습니다.
2. ROPD 제안: 특정 템플릿 형식의 거절이 아닌, 정렬된 모델의 출력 분포로부터 거절 사전 확률을 증류하는 새로운 프레임워크를 제안했습니다. 이는 템플릿 불일치 위험을 크게 줄이면서도 다운스트림 기술을 보존합니다.
3. 광범위한 실증적 검증: 세 가지 베이스 모델(Llama-2, Qwen2.5, Gemma-2), 세 가지 다운스트림 태스크(SQL, SAMSum, NL2Bash), 그리고 네 가지 SOTA 베이스라인(SSRD, RESTA, soft-SFT, rollback)에 대한 실험을 통해 ROPD의 우수성을 입증했습니다.

4. 실험 결과

저자들은 다양한 공격 및 방어 템플릿에 걸쳐 ROPD를 네 가지 베이스라인과 비교하는 실험을 수행했습니다.

• 기술 보존 vs. 유해성 감소: 베이스라인 방법들은 특히 템플릿 불일치 상황에서 ASR을 낮추려고 할 때 다운스트림 태스크 성능을 크게 저하시키는 경우가 많았습니다. 예를 들어, Llama-2에서 soft-SFT는 불일치 채널에서 SQL exact-match 점수를 거의 0에 가깝게 떨어뜨렸습니다. 반면, ROPD는 낮은 ASR을 달면서도 태스크 점수를 공격 전 수준(예: Llama-2에서 0.596–0.626)으로 유지했습니다.
• 템플릿 강건성: 베이스라인들은 템플릿 정렬 여부에 따라 ASR이 격렬하게 변동하는 모습을 보였습니다(예: SSRD의 ASR은 방어 템플릿이 변경될 때 3.1%에서 46.3%로 급증함). ROPD는 공격 템플릿에 관계없이 "self" 방어 템플릿 하에서 한 자릿수 ASR(예: Llama-2에서 2.1–2.4%)을 달성하며 강건함을 유지했습니다.
• 교차 템플릿 평가 (강건성 경계): 방어에 사용된 것과 다른 시스템 프롬프트로 평가했을 때, ROPD를 포함한 모든 방법에서 ASR이 증가하여 가중치 수준의 수리가 프롬프트 재작성에 조건적으로 취약함을 확인했습니다. 그러나 ROPD의 잔여 위험은 더 낮았으며, 베이스라인에 비해 템플릿 전반에 걸쳐 훨씬 높은 태스크 성능을 유지했습니다.
• 절제 연구(Ablation Studies): 태스크 교사를 제거하면 태스크 성능이 붕괴되어 그 필요성을 확인했습니다. "클린(clean)" 태스크 교사(태스크 데이터로만 학습된 모델)를 사용하는 것이 약간 더 높은 태스크 점수를 얻었으나 추가적인 학습 단계가 필요했습니다. 기본 설정(미정렬된 모델을 태스크 교사로 사용)은 유리한 트레이드오프를 제공했습니다.
• 효율성: ROPD는 높은 데이터 효율성을 보여주었으며, 단 1,500개의 예시로 ASR을 약 62%에서 2.4%로 낮췄습니다. 훈련 시간은 SFT 기반 베이스라인과 유사하게 약 15분이었으며, rollback과 같은 파라미터 탐색 방법(~118분)보다 훨씬 빨랐습니다.

5. 의의 및 주장

본 논문은 ROPD가 템플릿 의존적인 가중치 편집에서 분포적 증류로 패러다임을 전환함으로써 안전성 재정렬의 중요한 진전을 이루었다고 주장합니다.

• 강건성에 대한 완곡한 주장: 저자들은 ROPD가 템플릿 불일치 위험을 상당히 줄이지만 완전히 제거하지는 못한다고 명시적으로 밝힙니다. 방어와 공격 템플릿 사이의 간극이 클 경우 여전히 잔여 위험이 존재할 수 있음을 인정합니다.
• 내재적 한계: 본 연구는 가중치 수준 수정의 "강건성 경계"를 규정합니다. ROPD조차 프롬프트 재작성에 조건적으로 취약하며, 이는 프롬프트를 제어하는 공격자에 대해 진정한 내구성을 갖추기 위해서는 현재의 가중치 수준 개입을 넘어서는 향후 연구가 필요함을 시사합니다.
• 실질적 영향: ROPD는 방어자가 공격 템플릿을 알지 못하는 시나리오에서 유용한 솔루션을 제공하며, 다운스트림 역량을 희생하거나 템플릿 일관성을 가정할 필요 없이 유용성을 보존하는 방어를 제공합니다.