1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 안전성을 보장하기 위해 **적대적 학습 (Adversarial Training, AT)**이 가장 유망한 방어 기법 중 하나로 부상했습니다. 그러나 기존 AT 방법론은 다음과 같은 근본적인 한계로 인해 여전히 취약점을 보입니다.

• 분포 간극 (Distribution Gap): 기존 AT 는 고정된 훈련 데이터셋 $D$에 대한 경험적 위험 (Empirical Risk) 을 최소화하는 데 집중합니다. 하지만 실제 자연어 데이터의 분포 $q(x, y)$는 매우 다양하며, 고정된 데이터셋은 이를 충분히 대표하지 못합니다.
• 일반화 실패: 모델은 훈련 데이터에 존재하는 복잡한 최적화된 공격에는 견딜 수 있지만, 훈련 분포 밖의 단순한 변형 (예: 과거형으로 문장 재구성, 저자원 언어로 번역 등) 에 대해서는 안전성이 무너지는 일반화 실패를 겪습니다.
• 근본 원인: 이는 적대적 위험 최소화 과정에서 발생하는 두 가지 오차, 즉 **모델 특정적 오차 (Model-specific error, 국소적 교란에 대한 최적화)**와 데이터 특정적 오차 (Data-specific error, 훈련 데이터 분포의 부정확한 근사) 중 후자를 간과했기 때문입니다.

2. 방법론 (Methodology: DAT)

저자들은 **분포적 적대적 학습 (Distributional Adversarial Training, DAT)**을 제안하여 이 간극을 해소합니다. DAT 는 생성형 대리 모델 (Generative Surrogate) 을 활용하여 실제 데이터 분포를 더 정확하게 근사하는 것을 핵심으로 합니다.

핵심 구성 요소

1. 확산 LLM (Diffusion LLM) 을 활용한 생성형 대리 모델:

   • 기존 자기회귀 (Autoregressive) 모델은 조건부 분포 $q(y|x)$만 학습하지만, 확산 모델은 결합 분포 $q(x, y)$를 모델링합니다.
   • 이를 통해 특정 유해한 응답 $y$가 주어졌을 때, 이를 유발할 가능성이 높은 다양한 프롬프트 $x$를 샘플링할 수 있습니다 ($x \sim p_{diff}(x|y)$).
   • 이는 훈련 데이터셋에 존재하지 않았던 데이터 특정적 (Data-specific) 취약점을 발견하는 데 필수적입니다.

2. 연속적 적대적 학습 (Continuous Adversarial Training, CAT) 과의 결합:

   • 외부 루프 (Outer Loop): 확산 모델을 통해 생성된 다양한 유해 프롬프트 샘플을 사용하여, 실제 데이터 분포 $q$를 더 잘 근사하도록 모델을 학습시킵니다.
   • 내부 루프 (Inner Loop): 생성된 각 샘플에 대해 연속적인 임베딩 공간에서의 교란 (Perturbation) 을 적용하여 최악의 경우 (Worst-case) 손실을 최소화합니다.
   • 정규화: 모델의 일반 성능 (Utility) 저하를 방지하기 위해, 원래 모델과의 KL 발산 (KL Divergence) 항을 목적 함수에 추가하여 유지 집합 (Retain Set) 에서의 성능을 보존합니다.

3. 수학적 정당성:

   • 확산 대리 모델이 조건부 신뢰도 (Conditional Fidelity) 가 높을수록, 경험적 위험과 실제 인구 위험 (Population Risk) 간의 간극이 이론적으로 줄어들음을 증명했습니다 (Theorem 3.1).

3. 주요 기여 (Key Contributions)

1. 강인성 간극의 공식화: 기존 방어 기법의 실패를 '경험적 위험 최소화'와 '인구 위험 최소화' 사이의 불일치로 정의하고, 이를 모델 특정적 교란과 데이터 특정적 일반화 실패로 구분했습니다.
2. DAT 프레임워크 제안: 확산 LLM 을 통한 생성적 샘플링과 연속적 적대적 최적화를 결합한 새로운 학습 목표를 제시했습니다. 이는 두 가지 오차 원인 (분포 근사 오차 및 최적화 오차) 을 동시에 해결합니다.
3. 이론적 및 실험적 검증: 생성형 대리 모델의 충실도 (Fidelity) 가 강인성 간극을 줄인다는 이론적 결과를 도출하고, 다양한 최신 공격에 대해 기존 방법보다 월등히 높은 강인성을 달성함을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

저자들은 Llama3-8B 와 Qwen2.5-14B 모델을 대상으로 다양한 공격 (GCG, PAIR, BoN, Diffusion Inpainting 등) 에 대한 평가를 수행했습니다.

• 최악의 경우 강인성 (Worst-case Robustness):

  • 기존 방법 (CAT, LAT, Circuit Breakers 등) 은 Diffusion Inpainting 공격 (자연어 분포를 따르는 프롬프트 변형) 에 매우 취약했습니다 (ASR 77%~94%).
  • 반면, DAT는 Inpainting 공격에 대해 Llama3-8B 에서 36%, Qwen2.5-14B 에서 **18%**의 공격 성공률 (ASR) 을 기록하며 기존 방법 (MixAT 등) 을 크게 앞섰습니다.
  • 모든 공격을 종합한 'Best-of-All (BoA)' 지표에서도 DAT 가 가장 우수한 성능을 보였습니다.

• 유틸리티 - 강인성 트레이드오프 (Utility-Robustness Trade-off):

  • DAT 는 강인성을 높임에도 불구하고 XSTest(도움됨), MMLU(일반 능력) 등의 벤치마크에서 기존 AT 방법과 유사하거나 더 나은 성능을 유지했습니다.
  • 파레토 최적 (Pareto-optimal) 곡선 분석 결과, DAT 는 동일한 유틸리티 수준에서 더 높은 강인성을 제공하거나, 동일한 강인성 수준에서 더 높은 유틸리티를 달성했습니다.

• 데이터 분포 근사의 중요성:

  • 훈련 시 생성된 샘플의 수를 늘릴수록 (분포 근사 개선) Inpainting 공격에 대한 방어 성능이 선형적으로 향상되었습니다.
  • 고확률 (High-likelihood) 유해 프롬프트를 샘플링하는 것이 필수적이며, 단순한 데이터 양 증가만으로는 강인성이 개선되지 않음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 의 안전성 강화에 있어 **단순한 '최악의 경우' 공격 생성 (Inner Loop)**에만 집중하는 기존 패러다임을 넘어, **실제 데이터 분포를 얼마나 잘 근사하는지 (Outer Loop)**가 핵심임을 강조합니다.

• 이론적 통찰: 적대적 학습의 실패 원인이 훈련 데이터의 분포적 한계 (Distributional Gap) 에 있음을 명확히 지적하고, 이를 생성형 모델 (Diffusion) 로 해결할 수 있음을 보였습니다.
• 실용적 가치: 단순한 문장 변형이나 번역과 같은 자연스러운 공격에도 견고한 LLM 을 개발할 수 있는 새로운 표준을 제시했습니다.
• 향후 방향: 생성형 대리 모델을 활용한 분포 근사 기법은 이미지 분야뿐만 아니라 텍스트 기반 AI 안전성 연구에서도 중요한 방향성을 제시합니다.

요약하자면, DAT는 고정된 데이터셋의 한계를 넘어 확산 모델을 통해 실제 자연어 분포를 모사하고, 이를 기반으로 적대적 학습을 수행함으로써 LLM 의 취약점을 근본적으로 해결하는 획기적인 접근법입니다.