When Style Breaks Safety: Defending LLMs Against Superficial Style Alignment

1. 문제 정의 (Problem)

기존의 LLM 안전성 연구는 주로 악의적인 쿼리 (Jailbreak) 에 대한 공격 성공률 (ASR, Attack Success Rate) 을 높이기 위한 문자열 변형이나 복잡한 공격 기법에 집중해 왔습니다. 그러나 저자들은 기존 벤치마크에 포함된 악의적 쿼리 자체가 '스타일 패턴 (Style Pattern)'과 '악의적 의도 (Malicious Intent)'로 분리될 수 있음을 지적합니다.

• 예시: "화학 무기 목록을 작성해 줘" (악의적 의도) vs "화학 무기 목록을 작성해 줘" (스타일 패턴 + 악의적 의도).
• 핵심 가설: LLM 이 인간 피드백 강화 학습 (RLHF) 등을 통해 학습하는 과정에서, benign(건전) 한 지시문에 포함된 특정 스타일 패턴 (예: 목록 형식, 시적 표현 등) 에만 피상적으로 적응하게 됩니다. 이로 인해 동일한 스타일 패턴을 가진 악의적 쿼리에 대해 모델이 과도하게 반응하여 안전 장벽이 무너질 수 있습니다.
• ASR 인플레이션 (ASR Inflation): 악의적 의도는 동일하지만, 의미상 무관한 스타일 패턴이 추가되었을 때 공격 성공률이 비정상적으로 상승하는 현상.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 세 가지 단계의 실험을 수행했습니다.

A. ASR 인플레이션 현상 분석

• 데이터: 7 개의 주요 Jailbreak 벤치마크 (AdvBench, HarmBench 등) 와 36 개의 다양한 LLM (Llama, Mistral, Qwen, Gemma 등) 을 평가했습니다.
• 프로세스: 각 Jailbreak 쿼리에서 핵심 악의적 의도만 추출하고, 나머지 스타일 패턴 (예: "목록을 작성해 줘", "시 형식으로 써줘") 을 제거한 두 가지 버전으로 모델을 테스트했습니다.
• 분석: 모델이 스타일 패턴에 얼마나 주의를 기울이는지 (Attention Difference) 와 ASR 인플레이션 간의 상관관계를 분석했습니다. 또한, 스타일 패턴이 LLM 의 Instruction Tuning 데이터에 얼마나 자주 등장하는지 (Bigram Overlap) 를 확인했습니다.

B. 피상적 스타일 정렬의 취약성 실험

• 실험 설계: Llama-3.1-8B 모델을 다양한 스타일 (목록, 시, 뉴스 등) 이 포함된 지시어로 미세 조정 (Fine-tuning) 했습니다.
• 변수: 학습 데이터에 특정 스타일이 포함된 비율과 테스트 쿼리의 스타일 유형을 다양하게 변경하여 안전성 (ASR) 과 유용성 (Style Adaptation Utility) 을 측정했습니다.
• 목표: 특정 스타일에만 과도하게 적응하는 것이 해당 스타일의 악의적 쿼리에 대한 취약성을 증가시키는지 확인.

C. 방어 전략: SafeStyle 제안

• 개념: 미세 조정 데이터의 스타일 분포와 일치하도록 **소량의 안전성 학습 데이터 (Safety Training Data)**를 증강하여 추가하는 전략입니다.
• 구현: 특정 스타일 (예: 목록) 로 미세 조정할 때, 해당 스타일 형식을 가진 50 개의 안전성 거부 (Refusal) 예시를 학습 데이터에 포함시킵니다.
• 비교: 기존 방어 기법 (Vanilla, PTST, SPPFT 등) 과 비교하여 안전성 유지와 스타일 적응 능력 간의 균형을 평가했습니다.

3. 주요 결과 (Key Results)

A. ASR 인플레이션의 보편성

• 평가된 36 개 모델 중 32 개 모델이 스타일 패턴이 포함된 쿼리에서 ASR 이 유의미하게 상승했습니다.
• Mistral 계열 모델이 가장 큰 인플레이션을 보였으며, Gemma 와 Llama 는 상대적으로 낮았습니다.
• 통계적 유의성: 스타일 패턴에 대한 모델의 '주의 집중도 (Attention)'가 높을수록 ASR 인플레이션이 크게 발생했습니다 (상관관계 0.456). 또한, 인플레이션을 유발하는 스타일 패턴은 모델의 Instruction Tuning 데이터에서 빈번하게 등장했습니다.

B. 피상적 정렬의 위험성

• 특정 스타일 (예: 목록 형식) 로 미세 조정된 모델은 동일한 스타일의 악의적 쿼리에 대해 공격 성공률이 급격히 증가했습니다.
• 학습 데이터에 해당 스타일이 포함된 비율이 높을수록 ASR 이 더욱 상승했습니다.
• 이는 모델이 악의적 의도 자체를 이해하기보다, 학습된 스타일 패턴에 피상적으로 순응 (Compliance) 하기 때문입니다.

C. SafeStyle 의 효과성

• 안전성: SafeStyle 은 모든 베이스라인 (Vanilla, PTST, Constrained 등) 을 압도적으로 능가했습니다. 특히 시 (Poem) 나 셰익스피어 스타일과 같은 복잡한 스타일에서 모델의 원래 안전성을 완전히 유지하면서 ASR 을 감소시켰습니다.
• 유용성: SafeStyle 은 안전성을 강화하면서도 스타일 적응 능력 (LC WR) 을 저하시키지 않았습니다.
• 데이터 효율성: 학습 데이터의 약 0.5% 수준 (10,000 개 지시어 중 50 개 안전 예시) 만으로도 효과적인 방어가 가능함을 입증했습니다.
• 실제 데이터: Dolly-15K, Alpaca-52K 와 같은 실제 Instruction Tuning 데이터셋에서도 SafeStyle 이 가장 강력한 방어 성능을 보였습니다.

4. 주요 기여 (Contributions)

1. ASR 인플레이션의 발견 및 규명: 기존 Jailbreak 벤치마크의 공격 성공률이 악의적 의도 자체가 아닌, 스타일 패턴에 의해 과대평가되고 있음을 체계적으로 증명했습니다.
2. 피상적 스타일 정렬의 위험성 입증: LLM 이 특정 스타일에 피상적으로 적응하는 과정이 오히려 해당 스타일의 악의적 쿼리에 대한 취약성을 증가시킨다는 가설을 대규모 실험을 통해 검증했습니다.
3. SafeStyle 방어 프레임워크 제안: 미세 조정 데이터의 스타일 분포에 맞춘 소량의 안전성 데이터를 추가함으로써, 안전성 저하 없이 스타일 적응 능력을 유지하는 효과적인 방어 전략을 제시했습니다.

5. 의의 및 시사점 (Significance)

• 안전성 평가의 재정의: 기존 벤치마크는 스타일 패턴의 영향을 고려하지 않아 모델의 실제 안전성을 왜곡할 수 있음을 지적했습니다. 향후 벤치마크는 악의적 의도와 스타일 패턴을 분리하여 평가해야 함을 제안합니다.
• 실무적 적용: LLM 을 특정 도메인 (법률, 의료, 뉴스 등) 에 맞게 미세 조정할 때, 해당 도메인의 스타일 패턴이 안전성을 훼손할 수 있으므로, SafeStyle 과 같은 방어 기법을 필수적으로 적용해야 함을 강조합니다.
• 안전성 유지의 효율성: 방대한 양의 안전성 데이터를 재학습할 필요 없이, 학습 데이터의 스타일 분포를 반영한 소량의 증강 데이터만으로도 안전성을 효과적으로 회복할 수 있음을 보여주었습니다.

이 논문은 LLM 의 안전성이 단순히 '무엇을 말하지 말아야 하는가'에 대한 학습뿐만 아니라, **'어떤 스타일로 말하는가'**에 대한 학습 과정에서도 위협받을 수 있음을 최초로 체계적으로 규명한 연구로 평가됩니다.