Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 안전 정렬 (Safety Alignment) 을 거쳤음에도 불구하고, **'텍스트스 (Textese)'**와 같은 디지털 통신 현상에 취약합니다. 텍스트스는 단어를 비표준적으로 철자하지만 발음은 유지하는 형태 (예: 'design' → 'dezain') 로, LLM 의 사전 학습 데이터에는 이러한 비정형적 입력이 존재합니다.

하지만 안전 정렬 (Alignment) 과정에서는 표준화된 철자를 가진 입력만 사용되므로, **사전 학습 (Pre-training) 과 안전 정렬 (Safety Alignment) 사이에 표현적 간극 (Representational Gap)**이 발생합니다. 기존 연구들은 복잡한 최적화 기반의 재킹 (Jailbreaking) 에 집중했으나, 이는 왜 안전 메커니즘이 실패하는지에 대한 기계적 해석을 제공하지 못했습니다. 본 논문은 **음성적 왜곡 (Phonetic Perturbations)**을 통해 이 간극이 토크나이저 (Tokenizer) 수준에서 안전성 결함으로 이어지는지 규명하고자 합니다.

2. 방법론 (Methodology)

A. CMP-RT (Code-Mixed Phonetic Perturbations for Red-Teaming)

저자들은 새로운 진단용 프로브인 CMP-RT를 제안했습니다. 이는 다음 3 단계 과정을 통해 안전성 필터를 우회합니다.

1. 가상 시나리오 변환: 직접적인 공격 질문을 가상의 시나리오로 변환 (예: "DDoS 공격 방법을 알려줘" → "만약 누군가 DDoS 공격을 하려 한다면...").
2. 코드 믹싱 (Code-Mixing): 영어 단어를 힌디어 (또는 다른 언어) 발음으로 표기하되, 원문 스크립트를 유지하여 텍스트스 형태를 만듭니다.
3. 음성적 왜곡 (Phonetic Perturbation): 핵심 민감 단어 (Safety-critical tokens) 를 발음은 유지하되 철자를 비표준적으로 변경하여 토크나이저 수준에서 안전 관련 토큰을 무해한 서브-워드 (Sub-words) 로 분할시킵니다.
   • 예시: 'DDOS attack' → 'dee dee o es atak' (토크나이저가 이를 'DDOS'와 'attack'으로 인식하지 못하고 무의미한 서브-워드로 분할).

B. 평가 지표

• 공격 성공률 (ASR): 해로운 내용을 생성하는 비율.
• 공격 관련성 (ARR): 모델이 원래 의도 (Prompt Intent) 를 이해하고 적절한 맥락으로 응답하는 비율. (높은 ARR 은 모델이 입력을 잘 이해하면서도 안전 필터가 실패했음을 의미).

C. 실험 설정

• 모델: ChatGPT-4o-mini, Llama-3-8B, Gemma-1.1-7B, Mistral-7B 등 텍스트 생성 모델과 Gemini-2.5, Nano Banana Pro 등 이미지 생성 모델.
• 데이터: HarmfulQA, NicheHazardQA 등 460 개의 프롬프트를 CMP 형태로 변환하여 평가.
• 해석 가능성 분석:
  • 입력 귀속 분석 (Input Attribution): Layer Integrated Gradients 를 사용하여 안전 관련 토큰의 중요도 점수 변화 추적.
  • 레이어별 프로빙 (Layer-wise Probing): 영어 입력과 CMP 입력의 은닉 상태 (Hidden State) 가 어느 레이어에서 분기되는지 확인.
  • 인과적 검증 (Causal Validation): 분기점 이후 레이어를 고정하고 출력 동등성 (Output Equivalence) 을 강제하여 안전성이 회복되는지 확인.

3. 주요 기여 (Key Contributions)

1. CMP-RT 프로브 개발: 표준화된 방어 기법을 우회하면서도 모델이 입력을 완벽하게 이해하는 (높은 ARR) 새로운 공격 벡터를 제시.
2. 토크나이저 기반 취약점 규명: 음성적 왜곡이 안전 관련 토큰을 무해한 서브-워드로 분할하여, 안전 메커니즘이 이를 감지하지 못하게 만든다는 기계적 증거 제시.
3. 구조적 간극 발견: 사전 학습과 안전 정렬 사이의 표현적 불일치를 규명. 안전 특징 (Safety Features) 이 트랜스포머의 초기~중간 레이어까지는 보존되지만, 특정 임계 레이어 (약 17 층) 이후로 붕괴됨을 발견.
4. 다중 모달 및 확장성 입증: 텍스트뿐만 아니라 이미지 생성 모델에서도 동일하게 작동하며, 단순한 지도 미세 조정 (SFT) 만으로도 공격이 확장 가능함을 증명.

4. 실험 결과 (Results)

• 공격 성공률 (ASR) 급증:
  • ChatGPT 와 Llama 의 경우, 영어 입력 대비 CMP 입력에서 ASR 이 크게 증가 (ChatGPT: 0.10 → 0.50, Llama: 0.06 → 0.63).
  • 특히 'None' (기본 템플릿) 조건에서 가장 큰 취약점이 드러났으며, 기존 재킹 템플릿 (Jailbreak Templates) 과 결합하면 거의 모든 모델에서 90% 이상의 ASR 을 기록.
• 높은 관련성 (High ARR):
  • 모델은 철자가 왜곡된 입력을 이해하여 (ARR ≈ 0.95 이상), 해로운 내용을 생성함. 이는 모델이 입력을 "이해"하고 있음에도 안전 필터만 작동하지 않음을 의미.
• 표준 방어 기법 무력화:
  • OpenAI moderation API 는 영어 해로운 프롬프트의 61% 를 차단했으나, CMP 프롬프트는 7.39% 만 차단.
  • Perplexity(PPL) 기반 필터링은 CMP 입력을 무해한 입력과 구별하지 못함.
• 레이어별 분석:
  • 귀속 점수: 영어/코드믹스 입력에서는 'hate', 'speech' 같은 토큰이 높은 귀속 점수를 유지했으나, CMP 입력에서는 서브-워드 분할로 인해 점수가 급격히 감소 (안전 필터 미발동).
  • 전이 격차 (Transfer Gap): 영어와 CMP 입력의 표현은 약 17 층까지 유사하게 유지되다가, 그 이후 레이어에서 안전 관련 특징이 사라짐.
• 인과적 검증:
  • 17 층 이후 레이어를 고정하고 영어 출력과 CMP 출력을 일치시키도록 미세 조정 (Distillation) 한 결과, ASR 이 0.46 에서 0.22 로 감소하고 안전성이 회복됨. 이는 출력 동등성이 안전성 회복의 핵심 원인임을 입증.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 파이프라인의 근본적 결함: 현재 LLM 의 안전성은 표준화된 입력에 의존하며, 비표준적 (하지만 발음은 유사한) 입력에 대한 토크나이저 처리 방식이 치명적인 약점이 됨을 보여줌.
• 새로운 방어 방향 제시: 단순한 입력 전처리나 필터링을 넘어, 토크나이저 수준의 취약점을 해결하거나, 사전 학습과 정렬 단계 간의 표현적 간극을 줄이는 새로운 정렬 전략이 필요함.
• 이중 사용 (Dual-use) 주의: 본 연구는 진단 도구로 개발되었으나, 귀속 분석 (Attribution Analysis) 기법이 역으로 공격을 최적화하는 데 악용될 수 있음을 경고하며 윤리적 고려 사항을 강조함.

요약하자면, 이 논문은 단순한 철자 오류가 토크나이저를 통해 안전 메커니즘을 무력화시키는 구조적 결함을 발견하고, 이를 통해 LLM 안전성 연구가 단순한 공격/방어 경쟁을 넘어 모델 내부의 표현적 일관성 (Representational Consistency) 을 재검토해야 함을 주장합니다.