논문 요약: 토크나이제이션의 확률성 (Stochasticity) 이 견고성 향상

이 논문은 대규모 언어 모델 (LLM) 의 입력 토크나이제이션 (Tokenisation) 에 대한 확률적 접근이 모델의 견고성 (Robustness), 특히 적대적 공격 (Adversarial Attacks) 및 무작위 교란에 대한 저항성을 어떻게 향상시키는지를 탐구합니다.

1. 문제 제기 (Problem)

• LLM 의 취약점: 최근 LLM 의 광범위한 사용으로 인해 안전성과 견고성에 대한 우려가 커지고 있습니다. 특히, 입력 텍스트의 토크나이제이션에 대한 작은 교란 (Perturbation) 만으로도 모델의 성능이 급격히 떨어지는 '취약성'이 발견되었습니다.
• 결정론적 토크나이제이션의 한계: 대부분의 LLM 은 바이트 페어 인코딩 (BPE) 과 같은 결정론적 (Deterministic) 인 토크나이제이션을 사용합니다. 이는 동일한 문자열에 대해 오직 하나의 '표준 (Canonical)' 토큰 시퀀스만 생성합니다.
• 비표준 토크나이제이션의 위협: 동일한 문자열을 구성할 수 있는 여러 가지 '비표준 (Non-canonical)' 토큰 시퀀스가 존재함에도 불구하고, 모델은 훈련 시 표준 토큰화만 접하기 때문에 비표준 토큰화가 입력될 경우 성능이 크게 저하되거나 적대적 공격에 매우 취약합니다.

2. 방법론 (Methodology)

저자들은 훈련 단계에서 확률적 토크나이제이션 (Stochastic Tokenisation) 을 도입하여 모델이 다양한 토큰 분할 방식을 학습하도록 하는 접근법을 제안하고 분석했습니다.

2.1. 기존 방법 분석 및 개선 (STOCHASTOK vs. Uniform Sampling)

• STOCHASTOK 분석: 기존 연구 (Sims et al., 2026) 에서 제안된 STOCHASTOK 은 토큰을 무작위로 분할하는 방식입니다. 그러나 저자들은 이것이 편향된 (Biased) 샘플링 분포를 가지며, 모든 가능한 비표준 토크나이제이션을 커버하지 못함 (Incomplete Support) 을 발견했습니다.
• 새로운 샘플링 기법 제안:
  1. STOCHASTOK-UNI: STOCHASTOK 의 분할 수 분포는 유지하되, 각 분할 내에서 균일한 (Uniform) 샘플링을 수행하여 편향을 제거합니다.
  2. UNIFORM-K: 전체 입력 시퀀스 차원에서 편집 거리 (Edit Distance) $k$에 해당하는 모든 비표준 토크나이제이션에서 균일하게 샘플링합니다. 이는 STOCHASTOK-UNI 보다 더 넓은 지원 범위 (Support) 를 가집니다.
  3. UNIFORM: 가능한 모든 유효한 토크나이제이션에서 균일하게 샘플링하는 베이스라인입니다.

2.2. 실험 설정

• 학습 regimes: 사전 학습 (Pre-training), 지도 미세 조정 (Supervised Fine-tuning), 문맥 학습 (In-Context Learning, ICL) 세 가지 시나리오에서 실험을 수행했습니다.
• 모델 및 데이터: Tiny-LLM, Llama-1b, Llama-8b, GPT-2-xl 등 다양한 크기의 모델과 LANGUAGE GAME, CUTE, ARC-E 등 다양한 벤치마크를 사용했습니다.
• 평가: 표준 토크나이제이션 (Clean) 과 무작위/적대적 토크나이제이션 (Perturbed) 하에서의 정확도를 비교했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 확률적 토크나이제이션의 견고성 향상

• 미세 조정 (Fine-tuning) 효과: 표준 토크나이제이션으로만 훈련된 Llama-1b 모델은 비표준 토크나이제이션 테스트 시 정확도가 29.8% 급감했습니다. 반면, 확률적 토크나이제이션으로 미세 조정된 모델은 무작위 교란 및 적대적 공격에 대해 높은 견고성을 보였습니다.
• 균일 샘플링의 중요성: 단순한 STOCHASTOK 보다 균일 샘플링 (STOCHASTOK-UNI, UNIFORM-K) 을 사용한 모델이 적대적 공격에 대해 훨씬 더 강력한 견고성을 보여주었습니다. 이는 편향된 분포보다 균일한 분포가 모델의 일반화 능력을 높이기 때문입니다.

3.2. 성능과 비용의 트레이드오프 부재

• 정확도 유지: 확률적 토크나이제이션으로 훈련된 모델은 표준 (Clean) 입력에 대한 정확도를 유지하거나 오히려 향상시켰습니다.
• 추론 비용: 훈련 중에는 확률적 샘플링이 필요하지만, 추론 (Inference) 시에는 추가적인 계산 비용 없이 견고성을 유지할 수 있음을 확인했습니다.

3.3. 이론적 분석

• 적대적 위험 (Adversarial Risk) 이론: 저자들은 토크나이제이션이 모델의 리프시츠 상수 (Lipschitz constant) 와 어떻게 연결되는지 이론적으로 분석했습니다.
• 결과: 확률적 토크나이제이션은 임베딩 공간을 "부드럽게 (Smoothing)" 만들어, 작은 입력 교란이 출력에 미치는 영향을 줄여줍니다. 이는 적대적 공격에 대한 위험을 이론적으로 감소시킵니다.

3.4. 문맥 학습 (ICL) 의 효과

• 모델 파라미터를 고정시킨 채 문맥 (Context) 에 확률적 토크나이제이션 예제를 포함시키는 것만으로도 견고성이 일부 향상되었으나, 미세 조정 (Fine-tuning) 에 비해 그 효과는 제한적이었습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 실무 가이드: 이 연구는 LLM 의 안전성을 높이기 위해 훈련 단계 (특히 미세 조정) 에서 확률적 토크나이제이션을 사용하는 것이 표준적인 관행이 되어야 함을 시사합니다. 이는 추가적인 추론 비용 없이 모델의 취약점을 해결하는 효율적인 방법입니다.
• 적대적 공격 대응: 입력 토크나이제이션 공간에서의 적대적 공격은 LLM 에 심각한 위협이 될 수 있으며, 확률적 훈련은 이러한 공격에 대한 자연스러운 방어 메커니즘을 제공합니다.
• 향후 연구 방향: 현재 연구는 주로 질문 응답 (QA) 작업에 국한되어 있으나, 자연어 생성 (NLG) 작업으로 확장하고, 최적의 확률적 토크나이제이션 설계에 대한 더 깊은 분석이 필요하다고 결론지었습니다.

요약하자면, 이 논문은 LLM 의 견고성을 높이기 위해 훈련 데이터에 다양한 토큰 분할 방식 (확률적 토크나이제이션) 을 도입하는 것이 필수적이며, 특히 균일한 샘플링 분포를 사용하는 것이 가장 효과적임을 실증적, 이론적으로 입증했습니다.