기술 요약: 토큰 경계에서의 안전성 붕괴 (Breaking Safety at the Token Boundary)

문제 정의

현대 대규모 언어 모델(LLM)은 유해한 요청을 거부하도록 강화 학습(RLHF) 및 직접 선호 최적화(DPO)를 사용하여 정렬(alignment)됩니다. 그러나 이러한 안전 메커니즘은 인간이 읽을 수 있는 수준의 단순한 문자 단위 섭동(예: 무작위 대소문자 변경, 리트스피크(leetspeak), 문자 뒤섞기)에 의해 안정적으로 우회됩니다. 선행 연구들은 이러한 섭동이 성공적이라는 점과 바이트 쌍 인코딩(BPE) 토큰화가 취약하다는 점을 입증했지만, 입력 섭동과 안전성 실패를 연결하는 구체적인 구조적 메커니즘은 규명되지 않은 채 남아 있었습니다. 본 논문은 핵심적인 구조적 원인을 식별하고 테스트합니다: BPE 토큰화가 안전에 필수적인 단어를 하위 단어 조각(sub-word pieces)으로 파편화하며, 정렬 학습 데이터에는 의도적으로 파편화된 입력이 포함되어 있지 않다는 점입니다. 결과적으로, 모델은 파편화된 유해 요청을 이해(comprehend)는 하지만, 깨끗한 텍스트에 대해 학습된 거절 신호를 트리거하는 데는 실패합니다.

방법론

저자들은 BPE 파편화와 행동적 안전 실패를 연결하는 엔드 투 엔드(end-to-end) 기계적 연쇄 과정을 제안하고 검증합니다. 본 연구는 5개의 모델 제품군(Qwen-3-4B, Qwen-2.5-7B, Gemma-3-4B, Llama-3.1-8B, Mistral-7B)을 대상으로 하며 다음의 실험적 접근 방식을 활용합니다:

1. 파편화를 위한 최적화: 프롬프트에 공백을 삽입하여 "로짓 갭(logit gap)"(가장 높은 거절 토큰 로짓과 가장 높은 순응 토큰 로짓 사이의 차이)을 최대화하는 탐욕적 알고리즘(greedy algorithm)을 사용합니다. 이는 BPE 파편화를 강제함으로써 거절 트리거를 붕괴시키는지 테스트합니다.
2. 활성화 패칭(Activation Patching): 중단을 국소화하기 위해, 저자들은 로짓 갭을 레이어별 기여도로 분해하고, 파편화된 잔차 스트림(residual stream) 활성값을 깨끗한 활성값으로 교체하여 안전 신호의 복구 여부를 측정함으로써 활성화 패칭을 사용합니다.
3. 학습 분포 분석: 저자들은 3개의 공개 정렬 데이터셋(PKU-SafeRLHF, Anthropic HH-RLHF, BeaverTails)에서 30,000개의 예시를 스캔하여 파편화된 입력(leetspeak, 공백 삽입, 혼합 대소문자)을 조사했습니다.
4. 표적 변이(Targeted Mutation): 안전에 필수적인 단어가 중립적인 단어와 비교하여 중단 지점인지 격리하기 위해, 한 번에 정확히 하나의 단어만을 변이시키는 Best-of-N(BoN) 공격을 수행했습니다.
5. 방어 평가: 55개의 체크포인트를 포함하는 68개 셀 그리드를 통해 SFT와 DPO 구성을 비교했습니다. 연구에서는 모델의 거절률이 동일한 파편화 프로브 하에서 양호한 프롬프트에 대해 어떻게 변하는지 측정하는 진단 도구인 Conv-Benign을 도입하여, 안전의 "선택적 수리(selective repair)"와 "전역적 붕괴(global collapse, 과잉 거절)"를 구분했습니다.

주요 결과

1. 기계적 연쇄 (The Mechanistic Chain)

• 파편화 붕괴: 공백 삽입(문자를 보존하면서 BPE 파열을 보장함)은 5개 모델 제품군 전체에서 거절되었던 HarmBench 프롬프트의 첫 번째 토큰 거절 신호를 80~100% 붕괴시켰습니다.
• 행동적 영향: 거절 신호가 반전된 프로ンプ트 중 **48%**가 실제로 유해한 출력을 생성했습니다(모델별 범위: 29–65%). 로짓 갭의 극성은 행동적 거절을 예측하는 데 있어 결합된 ROC-AUC 0.84를 나타냈습니다.
• 레이어 국소화: 중단은 마지막 ~30%의 레이어에 국소화됩니다. Qwen 및 Gemma 모델의 경우 거절 신호가 몇 개의 후기 레이어에 집중되어 있는 반면(집중 패턴), Llama 및 Mistral의 경우 많은 레이어에 걸쳐 분산되어 있습니다(분산 패턴). 활성화 패칭은 파편화가 이러한 특정 후기 레이어 경로를 인과적으로 방해함을 확인했습니다.

2. 학습 분포 격차의 증거

• 제로 파편화 프롬프트: 30,000개의 정렬 예시를 조사한 결과, 의도적으로 파편화된 프롬프트는 **제로(zero)**였습니다.
• 정렬이 신호를 생성함: 베이스(비정렬) 모델은 파편화된 입력에 대해 약한 거절 신호만을 보였습니다. 인스트럭트(정렬된) 모델은 깨끗한 입력에 대해서는 강력한 신호를 보였으나, 입력이 파편화되면 이 신호가 붕괴되었습니다. 이는 정렬이 거절 메커니즘을 생성하지만, 오직 깨끗한 토큰화에 대해서만 작동함을 확인시켜 줍니다.
• 이해 vs 거절: 단어 완성 프로브를 통해 모델이 파편화된 안전 단어를 이해할 수 있음(정확도 30–60%)을 보여주었습니다. 이는 사전 학습(pre-training)이 지저분한 텍스트에 대한 이해를 가르치지만, 정렬은 이에 대한 거절을 가르치는 데 실패했음을 증명합니다.
• 안전 단어가 병목 지점: 안전에 필수적인 단어를 변이시키는 것이 중립적인 단어를 변이시키는 것보다 훨씬 높은 공격 성공률(ASR)을 기록하여, 안전 단어가 중단의 핵심 위치임을 격리했습니다.

3. 방어의 한계

• DPO의 비효율성: 테스트된 제품군 전체에서 시드(seed) 안정적인 ASR 폐쇄를 달성한 DPO 구성은 없었습니다. 일부 DPO 셀이 ASR을 줄이기는 했으나, 그 개선 효과는 시드나 풀 크기에 따라 안정적이지 않았습니다.
• SFT의 전역적 붕괴: 파편화된 프롬프트로 학습된 SFT는 5개 제품군 중 3개(Llama, Mistral, Gemma)에서 ASR을 닫았으나, 이는 전역적 붕할(global collapse)을 통해서만 가능했습니다. 이 모델들은 양호한 프롬프트에 대한 거절이 급격히 감소하는 현상(Conv-Benign)을 보였으며, 이는 모델이 안전 격차를 선택적으로 수리하는 대신 모든 것에 대해 거절하도록 학습되었음을 나타냅니다.
• Conv-Benign 진단: Conv-Benign의 도입은 현재의 정렬 레시피(LoRA-16)가 유용성(helpfulness)에 대한 비용(과잉 거절)을 치르지 않고는 파편화 격차를 선택적으로 수리할 수 없음을 드러냈습니다.

의의 및 주장

본 논문은 문자 단위 탈옥(jailbreak)을 경험적 관찰에서 검증 가능한 기계적 설명으로 전환한다고 주장합니다. 핵심 기여는 취약성이 단순히 견고함의 부족이 아니라 구조적 불일치라는 점을 식히는 것입니다: BPE 토큰화가 안전에 필수적인 토큰을 파편화하며, 안전 정렬은 이러한 파편화된 표현에 대해 학습된 적이 없습니다.

저자들은 다음과 같이 강조합니다:

• 로짓 갭은 해악의 충분 조건은 아니지만, 다층적 안전 시스템의 첫 번째 층인 트리거 수준의 진단 도구입니다.
• 현재의 미세 조정 레시피(SFT/DPO)는 테스트된 제약 조건(LoRA-16) 하에서 분포 격차를 선택적으로 닫지 못하며, 모델의 유용성을 전역적으로 붕괴시키거나 혹은 아예 닫지 못합니다.
• 견고한 안전은 단순히 더 많은 정렬 데이터를 사용하는 것이 아니라, BPE 병목 지점 또는 그 상위 단계(예: 의미를 재구성하는 토큰 수준의 수정 또는 사고 사슬(CoT) 추론)에서의 개입을 필요로 합니다.

연구는 결론적으로, "누락된 분포"(정렬 데이터 내의 파편화된 입력)가 현재의 레시피 하에서 수리를 위한 필요조건이지만 충분조건은 아니며, 관찰된 안전 실패는 토큰화 아키텍처와 학습 데이터 분포 간의 직접적인 결과임을 밝히고 있습니다.