기술 요약: 자기회귀적 일관성이 안전 정렬을 해칠 때

문제 정의

SFT(Supervised Fine-Tuning) 및 선호도 최적화(예: DPO, RLHF)를 통해 달성되는 현재의 거대 언어 모델(LLM) 안전 정렬은 취약합니다. Qi 등[17]의 최근 연구는 미세 조정이 주로 출력의 초기 몇 토큰 근처에서 모델의 행동을 재형성하여, 이후의 토큰들이 안전한 거절 접두사(refusal prefix)로부터 벗어나도록 강제하는 공격에 취약해지는 "얕은 안전 정렬(shallow safety alignment)" 현상을 식별했습니다.

그러나 본 논문은 이 "얕은" 현상이 더 깊은 메커니즘적 실패, 즉 **자기회귀적 일관성(autoregressive consistency)**의 결과라고 주장합니다. 이는 자기회귀 모델이 현재의 응답 궤적을 일관되게 보존하고 확장하려는 내재적 경향을 의미합니다. 저자들은 안전 정렬이 단순히 얕기 때문이 아니라, 정렬 과정 자체가 초기 토큰 이후의 거절을 유지하기 위해 자기회귀적 일관성에 의존하기 때문에 실패한다고 상정하며, 이로 인해 궤적의 어느 지점에서든 유해한 지속(harmful continuation)을 유도하도록 탈취될 수 있는 취약점이 발생한다고 주장합니다.

방법론

1. 학습 역학의 이론적 분석

저자들은 자기회귀적 일s성을 충분히 긴 접두사가 주어졌을 때 베이스 모델의 다음 토큰 예측이 거의 결정론적이 되는($p(y_{t+1}|y_{:t}) \approx 1$) 성질로 공식화(정의 2.1)합니다.

• 그래디언트 집중(Gradient Concentration): SFT 및 DPO 목적 함수에 대한 학습 역학 분석을 통해, 저자들은 자기회귀적 일관성 하에서 손실 함수의 파라미터에 대한 그래디언트가 초기 토큰에 집중됨을 입증합니다.
• 정리 2.1 (Theorem 2.1): 베이스 모델이 이미 후기 토큰들에 대해 일관된 지속을 자신 있게 예측하고 있기 때문에, 해당 위치에 대한 정렬 업데이트가 억제된다는 것을 저자들은 증명합니다. 결과적으로, 정렬된 모델은 초기 위치($t \le t_c$)에서만 베이스 모델과 달라지며, 후기 위치는 베이스 모델의 분포와 가깝게 유지됩니다. 이는 왜 안전 정렬이 본질적으로 얕을 수밖에 없는지에 대한 메커니즘적 설명을 제공합니다.

2. 공격 벡터: 무작위 삽입(Random Insertion)

유해한 자기회귀적 일관성이 어느 지점에서든 트리거될 수 있다는 이론을 바탕으로, 본 논문은 **무작위 삽입 공격(Random Insertion Attack)**을 도입합니다.

• 메커니즘: 이 공격은 접두사를 타겟팅하는 대신, 안전한 거절 궤적($r$) 내의 임의의 위치($i$)에 짧은 유해한 구간($h$)을 삽입합니다.
• 가설: 만약 모델이 거절보다 유해한 지속을 선호하는 상태에 진입하게 되면, 자기회귀적 일관성이 이 유해한 분기를 유지시켜 모델이 이전의 안전한 문맥을 무시하게 만들 것입니다.
• 범위: 이 공격은 유해한 삽입이 생성 과정의 임의 깊이에서 발생할 수 있음을 보여줌으로써, 프리필 공격(prefill attacks)과 같은 접두사 기반 공격을 일반화합니다.

3. 방어 프레임워크: 적대적 안전 정렬(Adversarial Safety Alignment)

이 메커니즘에 대응하기 위해 저자들은 적대적 안전 정렬 프레임워크를 제안합니다.

• 목적: 모델이 생성 시작 시점뿐만 아니라, 임의로 구성된 유해한 지속 상태로부터 안전한 거절 행동을 회복하도록 훈련하는 것입니다.
• 정식화: 이 프레임워크는 안전 정렬을 다음과 같은 min-max 문제로 취급합니다:
  • 내부 문제(Inner Problem): 궤적을 따라 모델이 유해한 지속을 가장 강력하게 선호하는(즉, "유해한 자기회귀적 일관성 마진"을 최대화하는) 지속 상태 $\tau^*$를 식별합니다.
  • 외부 문제(Outer Problem): $\tau^*$로부터 안전한 거절 궤적을 회복하도록 모델을 훈련합니다.
• 실제 구현 (Random Worst-Insertion): 정확한 최적화는 다루기 어렵기 때문에, 저자들은 **무작위 최악 삽입 훈련(Random Worst-Insertion Training)**을 사용하여 이 프레임워크를 구현합니다.
  • 유해한 구간을 삽입할 무작위 위치를 샘플링합니다.
  • 유해한 지속 확률과 거절 회복 확률 사이의 마진을 최대화하는 삽입 지점을 선택합니다.
  • 모델이 이 "최악의 경우"인 오염된 상태로부터 거절 응답을 회복하도록 미세 조정합니다.

주요 기여

1. 얕은 정렬에 대한 메커니즘적 설명: 본 논문은 자기회귀적 일관성이 정렬 그래디언트를 초기 토큰에 집중시켜 안전 정렬이 자연스럽게 얕아지는 이유를 이론적 증명(정리 2.1)을 통해 제공합니다.
2. 더 넓은 실패 모드의 식별: 저자들은 안전 취약성이 접두사 공격에 국한되지 않는다고 주장합니다. 그들은 유해한 자기회귀적 일관성이 출력 궤적의 임의 위치에서 유도될 수 있음을 입증합니다.
3. 무작위 삽입 공격: 짧은 유해한 구간이 안전한 거절 내부에 삽입되었을 때 생성을 유해한 출력으로 리다이렉트하여 표준 안전 조치를 우회할 수 있음을 보여주는 단순하면서도 효과적인 공격을 제시합니다.
4. 적대적 안전 정렬 프레임워크: 전체 궤적에 걸쳐 유해한 자기회귀적 일관성을 깨뜨리는 것을 명시적으로 목표로 하는 새로운 훈련 패러다임을 제안하며, 이를 무작위 최악 삽입 훈련으로 구체화합니다.

실험 결과

저자들은 Llama-2-7B-Chat, Llama-3.1-8B-Instruct, Gemma-2-9b-it를 대상으로 자신들의 방법(Insertion)을 베이스라인(Clean 표준 SFT 및 Prefill 딥 정렬)과 비교 평가했습니다.

• 무작위 삽입 공격: 표준 정렬(Clean)은 75% 이상의 공격 성공률(ASR)을 보이며 실패했습니다. 딥 정렬(Prefill)은 ASR을 줄였으나 여전히 취약했습니다(ASR ~20-35%). 제안된 Insertion 방법은 Llama-2의 25-100 토큰 구간에 대해 2.7%에서 5.9%의 ASR을 기록하며, 궤적 수준의 탈취에 대한 강력한 복원력을 입증했습니다.
• 프리필 공격: Insertion 방법은 접두사 기반 공격에 대해서도 Prefill과 대등한 성능을 유지하여, 유해한 일관성을 깨뜨리는 것이 접두사 공격에 대한 방어력을 희생하지 않음을 보여주었습니다.
• 기타 공격: GCG, PAIR, TAP, AutoDAN과 같은 표준 벤치마크(HarmBench)에 대해, Insertion 방법은 초기 모델 대비 강건성을 유지하거나 개선했습니다.

의의 및 주장

본 논문은 자신의 주요 기여가 최종적인 '깨뜨릴 수 없는 방어 알고리즘'을 제시하는 것이 아니라, 유해한 자기회귀적 일관성을 안전 취약성의 근본적인 실패 메커니즘으로 식별한 데 있다고 겸허히 주장합니다.

• 관점의 전환: 이 연구는 초점을 "정렬을 더 깊게 만드는 것"(거절 접두사를 연장하는 것)에서 "유해한 일관성을 깨뜨리는 것"(모델이 임의의 깊이에서 유해한 상태로부터 회복하도록 보장하는 것)으로 전환합니다.
• 향후 연구에 대한 시사점: 저자들은 향적인 공격 설계가 중간 단계의 자기회귀 상태를 타겟팅해야 하며, 향후 방어 메커니즘은 생성의 시작 부분뿐만 아니라 전체 출력 궤적 전반에 걸쳐 유해한 지속 상태로부터 회복하도록 모델을 훈련해야 한다고 제안합니다.
• 일관성의 역할: 결론적으로, 자기회귀적 일관성은 안전 정렬 목적 함수 설계와 적대적 공격 개발 모두에서 핵심적인 고려 사항으로 다루어져야 합니다.