💬 NLP

DiffuGuard: How Intrinsic Safety is Lost and Found in Diffusion Large Language Models

이 논문은 확산 기반 대규모 언어 모델 (dLLM) 의 고유한 취약점을 분석하고, 확률적 어닐링 리마스크링과 블록 단위 감사 및 수리 기법을 결합한 훈련 없는 방어 프레임워크 'DiffuGuard'를 제안하여 공격 성공률을 47.9% 에서 14.7% 로 획기적으로 낮추면서도 모델의 유용성을 유지함을 보여줍니다.

원저자: Zherui Li, Zheng Nie, Zhenhong Zhou, Yue Liu, Yitong Zhang, Yu Cheng, Qingsong Wen, Kun Wang, Yufei Guo, Jiaheng Zhang

게시일 2026-03-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zherui Li, Zheng Nie, Zhenhong Zhou, Yue Liu, Yitong Zhang, Yu Cheng, Qingsong Wen, Kun Wang, Yufei Guo, Jiaheng Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

DiffuGuard: 새로운 AI 의 '안전장치'를 찾아서

이 논문은 **확산형 대규모 언어 모델 (dLLM)**이라는 새로운 종류의 AI 가 가진 치명적인 약점과, 이를 해결하는 획기적인 방어 기술인 **'DiffuGuard'**에 대해 설명합니다.

기존의 AI 가 한 글자씩 순서대로 글을 쓴다면, 이 새로운 AI 는 빈 종이를 한 번에 채우면서 여러 번 수정하는 방식으로 글을 씁니다. 이 독특한 방식이 오히려 해킹 (Jailbreak) 에 취약한 구멍을 만들어냈는데, DiffuGuard 는 그 구멍을 막아주는 '스마트 안전장치'입니다.

1. 새로운 AI 의工作方式: "한 번에 다 써보고 고쳐보기"

기존 AI(autoregressive) 는 연필로 글을 쓸 때처럼, 한 글자 한 글자 순서대로 써나갑니다. "안녕" -> "하세요" -> "오늘" 순서로요.

하지만 이 논문에서 다루는 dLLM은 마치 페인트로 그림을 그리는 것과 같습니다.

처음에는 종이가 완전히 **흰색 (MASK)**으로 덮여 있습니다.
AI 는 종이의 모든 부분을 동시에 보며 "여기엔 뭐가 들어갈까?"라고 추측합니다.
그리고 가장 확실한 부분만 남기고, 나머지는 다시 흰색으로 지우고 다시 그립니다.
이 과정을 여러 번 반복하며 그림이 선명해집니다.

이 방식은 글을 쓰는 속도가 매우 빠르고 유연하지만, 안전성 측면에서는 큰 문제가 있었습니다.

2. 발견된 치명적인 약점: "나쁜 생각이 먼저 잡히면 끝장"

연구팀은 이 새로운 AI 가 해킹당하는 두 가지 핵심 원인을 찾아냈습니다.

① 한 번의 시도에서 생기는 혼란 (Intra-step)

AI 가 종이를 다시 그릴 때, "죄송합니다, 도와드릴 수 없습니다"라는 안전한 말과 "네, 알려드릴게요"라는 위험한 말이 동시에 높은 확률로 떠오릅니다.
기존 방식은 AI 가 가장 확신하는 (높은 점수를 받은) 단어를 무조건 선택합니다. 문제는 위험한 단어가 조금 더 확신 있게 느껴지면, AI 가 안전한 단어를 버리고 위험한 단어를 선택해버린다는 점입니다. 마치 가장 큰 소리를 내는 사람이 옳은 사람인 것처럼 착각하는 상황입니다.

② 첫 단추가 잘못되면 모든 게 망가짐 (Inter-step)

이게 더 무서운 부분입니다. dLLM 은 초반에 고정된 단어가 이후 모든 글의 방향을 결정합니다.

만약 첫 단계에서 AI 가 "네, 알겠습니다"라는 단어를 고정해버리면, 그 이후로 AI 는 무조건 그 방향으로 글을 써내려갑니다.
마치 기차가 레일을 잘못 타고 출발하면, 중간에 레일을 고치려 해도 이미 너무 늦어버린 것과 같습니다. 연구에 따르면, 초반에 안전한 단어를 넣으면 해킹 성공률이 20% 이상 떨어지지만, 나중에는 효과가 거의 없습니다.

3. 해결책: DiffuGuard (디퓨가드)

이런 약점을 막기 위해 개발된 것이 DiffuGuard입니다. 이 기술은 AI 를 재교육하지 않고도, 글을 쓰는 과정에 개입하여 안전을 지키는 두 가지 전략을 사용합니다.

전략 1: "조금의 혼란을 주는 것" (Stochastic Annealing Remasking)

기존에는 AI 가 가장 확신하는 단어를 무조건 선택했는데, DiffuGuard 는 초반 단계에서는 일부러 약간의 '랜덤성 (우연)'을 섞어줍니다.

비유: AI 가 "위험한 길"로 가려 할 때, AI 의 머릿속에 **"잠깐, 다른 길도 한번 생각해봐!"**라고 속삭여 주는 것입니다.
이렇게 하면 AI 가 위험한 길로만 가지 않고, 안전한 길도 고려할 기회를 얻게 됩니다. 시간이 지나고 글이 어느 정도 완성되면, 다시 확신에 찬 선택으로 돌아와 글의 품질을 유지합니다.

전략 2: "초반의 실수를 바로잡는 감시관" (Block-level Audit and Repair)

글을 쓸 때, AI 가 **첫 번째 문단 (블록)**을 작성하면, DiffuGuard 는 그 내용을 즉시 감시합니다.

감시 (Audit): "이 문단이 원래 의도했던 안전한 답변과 너무 다르게 쓰였나?"라고 내부 신호를 분석합니다.
수리 (Repair): 만약 위험한 방향으로 쓰였다면, 그 문단을 다시 지우고 (Remask) 안전한 방향으로 다시 쓰게 합니다. 이때 AI 가 다시 같은 실수를 하지 못하도록, 위험한 단어는 아예 선택 목록에서 삭제해버립니다.
비유: 건축가가 건물의 1 층 기초를 잘못 쌓으면, 2 층부터는 다 무너집니다. DiffuGuard 는 1 층이 지어지는 순간 감시하며, 기초가 흔들리면 즉시 다시 쌓게 합니다.

4. 결과는 어떨까요?

실험 결과, DiffuGuard 는 놀라운 성과를 보였습니다.

해킹 방어율: 다양한 해킹 시도 중 성공률을 약 48% 에서 15% 로 대폭 낮췄습니다. (약 3 배 이상 개선)
품질 유지: 안전만 지키는 게 아니라, AI 가 평소 하던 수학 문제 풀이나 글쓰기 능력은 그대로 유지되었습니다.
속도: 안전 장치를 달았다고 해서 글쓰기 속도가 느려지지 않았습니다.

요약

이 논문은 **"새로운 방식의 AI 는 기존 방식과 다른 새로운 약점이 있다"**고 경고하며, **"그 약점을 정확히 찌르는 두 가지 방어 기술 (혼란 주기 + 초반 감시)"**을 제안합니다.

DiffuGuard 는 마치 **AI 가 글을 쓸 때 옆에서 지켜보는 '현명한 편집자'**와 같습니다. AI 가 위험한 방향으로 글을 쓰려 하면, 초반에 **"잠깐, 다시 생각해보자"**라고 말려주거나, **"이 부분은 다시 써야 해"**라고 지우게 함으로써, AI 가 본래 가진 안전성을 되찾아주는 혁신적인 기술입니다.

1. 문제 정의 (Problem)

최근 등장한 확산 대규모 언어 모델 (Diffusion LLMs, dLLMs) 은 autoregressive (AR) 모델과 달리, 전체 시퀀스를 마스크된 상태에서 병렬적으로 생성하고 반복적으로 정제 (iterative refinement) 하는 방식을 사용합니다. 이 독특한 생성 패러다임은 AR 모델과는 근본적으로 다른 새로운 취약점을 야기합니다.

새로운 공격 표면: dLLM 의 병렬 생성 및 반복 정제 과정은 기존 AR 모델용 안전 연구로는 포착되지 않는 새로운 공격 경로를 제공합니다.
내재적 취약점:
- 단일 단계 내 (Intra-step) 문제: 낮은 신뢰도 (low-confidence) 를 가진 토큰을 재마스크 (remask) 하는 탐욕적 (greedy) 전략이 해로운 토큰을 선택하게 만들어 안전 신호를 잃게 합니다.
- 단계 간 (Inter-step) 문제: 초기 단계에서 생성된 토큰이 이후 모든 생성 과정에 결정적인 영향을 미치는 'Denoising-path Dependence (노이즈 제거 경로 의존성)' 현상이 존재합니다. 초기에 안전 토큰이 손실되면 모델은 해로운 생성 경로를 따라가게 됩니다.
기존 방어 실패: AR 모델을 위해 설계된 기존 안전 연구 (프롬프트 필터링 등) 는 dLLM 의 이러한 고유한 취약점에는 효과적이지 않습니다.

2. 방법론 (Methodology)

저자들은 dLLM 의 안전 메커니즘을 단일 단계 내 (Intra-step) 와 단계 간 (Inter-step) 두 차원으로 분석하고, 이를 해결하기 위해 DIFFUGUARD 라는 훈련이 필요 없는 (training-free) 방어 프레임워크를 제안합니다.

A. 핵심 분석 (Key Analysis)

Intra-step 분석: 탐욕적 (greedy) 인 재마스크 전략이 해로운 토큰을 선호하는 편향을 보임을 발견. 무작위성 (randomness) 을 도입하면 안전성이 향상되지만, 생성 품질 (Perplexity) 이 저하되는 안전 - 품질 트레이드오프가 존재함을 확인.
Inter-step 분석: 초기 단계의 토큰 안전성이 최종 출력에 결정적 영향을 미친다는 Denoising-path Dependence 현상을 규명. 초기 단계에서 안전 토큰을 주입하면 공격 성공률 (ASR) 이 크게 감소함.

B. DIFFUGUARD 프레임워크

이러한 분석을 바탕으로 두 단계의 방어 모듈을 설계했습니다.

Stochastic Annealing Remasking (단일 단계 내 취약점 해결):
- 목적: 탐욕적 선택의 해로운 편향을 완화.
- 방식: 재마스크 시 확률적 (Stochastic) 요소를 도입하되, 생성 품질을 해치지 않기 위해 어닐링 (Annealing) 전략을 적용합니다.
- 수식: $I = \arg \text{top-}k [(1-\alpha) \cdot \text{Prob} + \alpha \cdot R_i]$ $I = ar g top- k [(1 - α) \cdot Prob + α \cdot R_{i}]$
  - 초기 단계에서는 무작위성 계수 $\alpha$ 를 높여 안전 토큰이 선택될 기회를 늘리고, 후기 단계에서는 $\alpha$ 를 낮춰 신뢰도 기반 선택을 복원하여 생성 일관성을 유지합니다.
Block-level Audit and Repair (단계 간 취약점 해결):
- 목적: 초기 단계의 오류가 후속 블록으로 전파되는 것을 차단.
- Audit (감사): 입력 프롬프트의 원본 의도 ( $p_{origin}$ ) 와 템플릿이 적용된 최종 입력 ( $p_0$ ) 간의 내부 표현 (hidden states) 차이를 계산하여 안전성 발산 (Safety Divergence, SD) 을 측정합니다. SD 가 임계값을 초과하면 해당 블록이 위험하다고 판단합니다.
- Repair (수정): 위험한 블록이 감지되면, 해당 블록의 일부 토큰을 무작위로 재마스크한 후 가이드 재생성 (Guided Regeneration) 을 수행합니다. 이때 원래 해로운 토큰의 확률을 $-\infty$ 로 설정하여 모델이 안전한 경로만 탐색하도록 유도합니다.

3. 주요 기여 (Key Contributions)

dLLM 안전성에 대한 심층 분석: dLLM 의 고유한 생성 메커니즘 (병렬 생성, 반복 정제) 이 어떻게 안전성을 약화시키는지 'Intra-step'과 'Inter-step' 차원에서 최초로 체계적으로 규명했습니다.
새로운 취약점 발견: 'Denoising-path Dependence'라는 개념을 정립하고, 초기 토큰의 안전성이 전체 생성 경로를 결정한다는 사실을 실험적으로 증명했습니다.
DIFFUGUARD 제안: 훈련 데이터 수정 없이 적용 가능한 플러그 앤 플레이 (plug-and-play) 방어 프레임워크를 개발하여, dLLM 의 내재적 안전 잠재력을 활성화했습니다.
광범위한 실험 검증: 4 개의 다양한 dLLM 모델 (LLaDA, Dream, MMaDA 등) 과 6 가지의 다양한 자일브레이크 공격 (WildJailbreak, PAD, DIJA 등) 에 대해 효과를 입증했습니다.

4. 실험 결과 (Results)

공격 성공률 (ASR) 감소: 4 개의 dLLM 모델과 6 가지 공격 방법에 대한 평균 ASR 을 47.9% 에서 14.7% 로 대폭 감소시켰습니다 (약 33.2%p 감소).
- 특히 dLLM 전용 공격인 PAD 와 DIJA 에 대해서는 ASR 을 96.8% 에서 27.9% 로 획기적으로 낮췄습니다.
일반 성능 유지: 안전성 강화가 모델의 일반적 능력 (MMLU, GSM8K, HumanEval 등) 에 미치는 부정적 영향은 미미했습니다.
효율성: 추론 지연 시간 (Latency) 이 거의 증가하지 않아 실시간 적용이 가능합니다.
적응형 공격 저항성: 공격자가 방어 메커니즘을 알고 설계한 적응형 공격 (Adaptive Attacks) 에 대해서도 강력한 방어 능력을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 확산 기반 LLM (dLLM) 이 급속도로 발전함에 따라 제기되는 새로운 안전성 위기에 대응하는 중요한 이정표입니다.

이론적 기여: AR 모델과는 다른 dLLM 고유의 안전성 취약점 (병렬성, 경로 의존성) 을 규명함으로써, 향후 dLLM 안전 연구의 방향성을 제시했습니다.
실용적 기여: 모델 재학습 없이도 높은 안전성을 확보할 수 있는 DIFFUGUARD 를 통해, dLLM 의 상용화와 배포를 가속화할 수 있는 실질적인 해결책을 제공했습니다.
미래 전망: dLLM 의 고유한 아키텍처를 고려한 맞춤형 방어 메커니즘의 필요성을 강조하며, 훈련 기반 안전 정렬 (Safety Alignment) 과 훈련 없는 방어 전략의 결합이 차세대 안전한 AI 를 구축하는 핵심 열쇠임을 시사합니다.

요약하자면, 이 연구는 dLLM 이 가진 고유한 약점을 정확히 짚어내고, 이를 역이용하여 모델을 보호하는 효율적인 방어 체계를 제시함으로써 AI 안전 연구 분야에 중요한 기여를 했습니다.