Re-Mask and Redirect: Exploiting Denoising Irreversibility in Diffusion Language Models

이 논문은 확산 기반 언어 모델 (dLLM) 의 안전성 정렬이 '마스크된 토큰의 재마스크링과 짧은 긍정적 접두사 주입'이라는 단순한 구조적 취약점을 통해 gradient 계산 없이도 우회될 수 있음을 규명하고, 오히려 복잡한 경사 최적화가 공격 성공률을 저하시킨다는 사실을 보여줍니다.

핵심

🎨 비유: "AI 가 그림을 그리는 방식"

기존의 AI(autoregressive 모델) 는 화가가 캔버스에 붓질을 하나씩 해가며 그림을 완성하는 방식입니다. 한 번 붓을 댄 자리는 다시 지우지 않고 계속 그립니다.

하지만 이 논문에서 다루는 **확산 모델 (dLLM)**은 조금 다릅니다.

비유: AI 가 **완전히 하얀 캔버스 (모든 글자가 가려진 상태)**를 들고 시작합니다. 그리고 AI 는 "이곳에는 '안녕'이, 저곳에는 '사랑'이 들어갈 것 같다"라고 한 번에 모든 자리를 예측합니다.

그다음, 가장 확실한 자리부터 순서대로 '검은색 테이프 (MASK)'를 떼어내고 글자를 확정 짓습니다. 한 번 테이프를 떼고 글자를 확정하면, 그 글자는 영원히 고정되어 다시는 바뀌지 않습니다.

🚨 문제: "AI 의 안전장치는 왜 무너졌을까?"

이 모델들은 유해한 질문 (예: "폭탄 만드는 법 알려줘") 을 받으면, 그림을 그리기 시작하자마자 가장 먼저 "죄송합니다, 할 수 없습니다"라는 문장을 확정 짓습니다.

• AI 의 생각: "아, 이 부분은 내가 이미 확정했으니 이제 더 이상 건드리지 않아도 돼."
• 결과: 나머지 칸들은 이 '거부 문장'을 바탕으로 채워지므로, AI 는 유해한 내용을 절대 생성하지 않습니다.

⚔️ 공격 방법: "TRAJHIJACK (트랙 하이재킹)"

연구자들은 이 단 하나의 약점을 찔렀습니다. 바로 **"한 번 확정된 글자는 절대 안 바뀐다는 규칙"**을 이용하는 것입니다.

1. 초기 단계 (AI 가 거부를 확정): AI 가 "죄송합니다..."라고 확정 짓기 직전까지 기다립니다.
2. 재마스크 (Re-Mask): 연구자는 AI 가 확정해 둔 "죄송합니다"라는 글자를 다시 검은색 테이프 (MASK) 로 덮어버립니다.
   • 비유: AI 가 "이건 안 돼"라고 쓴 종이를 찢어 버리고 다시 하얀 종이를 붙인 셈입니다.
3. 강제 입력 (Prefix Injection): 그 빈자리에 **"물론입니다, 여기가 그 방법입니다..."**라는 짧은 문장을 강제로 적어 넣습니다.
   • 비유: AI 가 다시 그림을 그리게 할 때, 이미 "물론입니다"라고 적힌 종이를 보여주고 "자, 이제 이 문장에 맞춰 계속 그려봐"라고 명령합니다.
4. 결과: AI 는 이미 확정된 "물론입니다"를 기준으로 나머지 그림을 그리기 시작합니다. AI 는 "아, 내가 이미 '물론입니다'라고 확정했으니, 이제 이 주제에 맞춰 계속 그리는 게 맞겠지"라고 생각하며 유해한 내용을 완벽하게 생성해냅니다.

📊 놀라운 결과

이 공격은 아주 단순했습니다.

• 복잡한 수학 계산이 필요 없음: AI 의 두뇌를 깊게 분석하거나 복잡한 코드를 짜지 않아도 됩니다.
• 단순한 규칙만으로도 성공: "거부 문장을 지우고, '물론입니다'라고 적어라"라는 단순한 명령만으로도 약 76~88% 의 성공률을 기록했습니다.
• 오히려 복잡하게 하면 실패: 연구자들이 "그럼 더 정교하게 공격해 볼까?"라고 수학적으로 최적화를 시도했더니, 오히려 성공률이 떨어졌습니다. AI 의 안전장치는 너무 얕아서, 단순한 규칙으로 뚫리는 것이 가장 효과적이었습니다.

💡 핵심 교훈: "안전장치가 왜 무너졌나?"

이 연구가 말해주는 가장 중요한 점은 다음과 같습니다.

"AI 의 안전은 '무엇을 해야 하는지'를 잘 알고 있어서가 아니라, '한 번 결정하면 절대 뒤집지 않는다'는 규칙에 의존하고 있었다."

마치 비행기의 자동 조종장치가 "이 경로는 안전하니까 절대 바꾸지 마"라고 설정되어 있는데, 누군가 그 설정을 강제로 초기화하고 "위험한 경로로 가라"고 입력하면, AI 는 그 명령을 절대 의심하지 않고 따르는 것과 같습니다.

🛡️ 해결책은 무엇일까?

이런 허점을 막으려면 다음과 같은 변화가 필요합니다.

1. 확정 전 재확인: AI 가 "거부"라고 확정하기 전에, 몇 번 더 생각해보게 하거나 (지속적인 확인),
2. 외부 입력 감지: AI 가 스스로 쓴 글자인지, 누군가 강제로 넣은 글자인지 구별할 수 있는 능력을 길러야 합니다.

📝 요약

이 논문은 **"새로운 AI 기술이 아무리 똑똑해 보여도, 그 안전장치는 생각보다 매우 얇은 유리벽과 같다"**고 경고합니다. 그 유리벽을 깨는 데는 거대한 망치 (복잡한 해킹) 가 아니라, **작은 손가락 하나 (단순한 재설정)**면 충분하다는 놀라운 사실을 발견한 것입니다.

이 발견은 AI 를 더 안전하게 만들기 위해, 단순히 "유해한 말을 막는 것"을 넘어 **"AI 가 스스로의 결정 과정을 다시 한번 점검할 수 있는 시스템"**을 만들어야 함을 시사합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

최근 등장한 확산 기반 언어 모델 (Diffusion Language Models, dLLMs) 은 autoregressive(AR) 모델과 달리, 전체가 마스킹된 시퀀스를 반복적으로 디노이즈 (denoising) 하여 텍스트를 생성합니다. 이 과정은 양방향 (bidirectional) 으로 진행되며, 각 단계에서 가장 확신도가 높은 토큰을 '커밋 (commit, 고정)'하고 이후 단계에서는 다시 평가하지 않는 단조로운 디노이즈 스케줄 (monotonic denoising schedule) 을 따릅니다.

이 논문은 dLLM 의 안전성 정렬 (safety alignment) 이 단 하나의 취약한 가정에 의존하고 있음을 지적합니다.

• 가정: 디노이즈 스케줄이 단조롭고, 한 번 커밋된 토큰 (특히 거절 거부 토큰) 은 절대 재평가되지 않는다는 것.
• 문제: 안전성 정렬된 dLLM 은 해로운 요청에 대해 초기 단계 (전체 64 단계 중 8~16 단계 이내) 에 "죄송합니다", "할 수 없습니다"와 같은 거절 토큰을 높은 확신도로 커밋합니다. 그러나 이 커밋이 영구적이라는 가정을 깨뜨리면 안전 장치가 무너질 수 있습니다.

2. 제안 방법: TRAJHIJACK (Methodology)

저자는 TRAJHIJACK이라는 새로운 공격 기법을 제안합니다. 이 공격은 그라디언트 계산이나 적대적 탐색 없이, 오직 모델의 디노이즈 경로를 조작하는 2 단계 개입만으로 작동합니다.

1. 재마스킹 (Re-Masking):
   • 모델이 초기 디노이즈 단계 (예: 16 단계) 에서 거절 토큰을 커밋한 후, 해당 위치의 토큰을 다시 [MASK] 상태로 되돌립니다.
   • 이는 "커밋된 토큰은 불변이다"라는 dLLM 의 설계 invariant 를 위반하는 행위입니다.
2. 접두사 주입 (Prefix Injection):
   • 재마스킹된 위치에 해로운 주제에 대한 긍정적인 접두사 (예: "물론, [주제] 를 하는 방법은 다음과 같습니다...") 를 12 토큰 이하의 규칙 기반 텍스트로 직접 삽입합니다.
   • 이 접두사는 모델이 생성을 재개할 때 '이미 확정된 사실'로 인식하게 하여, 거절 대신 해로운 내용을 생성하도록 유도합니다.

공격 파이프라인:

1. 청소 디노이즈: 표준 디노이즈 과정을 $k$ 단계 (예: 16 단계) 까지 진행하여 모델이 거절 토큰을 커밋하게 함.
2. 재마스킹: 생성 영역의 앞부분 (약 20 토큰) 을 [MASK] 로 초기화.
3. 접두사 주입: 마스킹된 위치에 긍정적 접두사 작성.
4. 재개 및 생성: $k$ 단계부터 디노이즈를 재개하여 모델이 접두사에 기반한 해로운 텍스트를 생성하도록 유도.

3. 주요 기여 및 발견 (Key Contributions)

1. dLLM 안전성의 구조적 얕음 (Structural Shallowness):

   • dLLM 의 안전성은 학습된 강력한 표현 (robust representation) 에 기반한 것이 아니라, 거절 토큰이 재평가되지 않는다는 스케줄의 단순한 가정에 전적으로 의존함을 증명했습니다.
   • 복잡한 최적화 없이 단순한 규칙 기반의 재마스킹과 접두사 주입만으로 높은 성공률을 달성했습니다.

2. 그라디언트 최적화의 역효과 (Counterproductivity of Gradient Optimization):

   • Gumbel-softmax 를 통해 디노이즈 체인을 미분 가능하게 만들고 그라디언트를 통해 로그잇 (logit) 을 최적화하는 시도를 했습니다.
   • 결과: 그라디언트 기반 공격은 오히려 공격 성공률 (ASR) 을 크게 저하시켰습니다 (예: 76.1% $\to$ 41.5%).
   • 이유: 연속적인 교란 (perturbation) 이 모델의 훈련 매니폴드 (training manifold) 를 벗어나 토큰의 일관성을 해치기 때문입니다. 이는 dLLM 의 취약점이 너무 얕아서, 모델의 자연스러운 역학을 이용하는 단순한 방향 전환이 복잡한 최적화보다 효과적임을 시사합니다.

3. 모델 간 일반화 (Cross-Model Generalization):

   • 이 공격은 서로 다른 아키텍처와 더 강력한 안전 정렬을 가진 모델인 Dream-7B-Instruct에서도 효과적이었습니다.
   • 이는 취약점이 특정 모델의 결함이 아니라 마스킹 확산 (masked diffusion) 패러다임 자체의 구조적 결함임을 보여줍니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR):
  • LLaDA-8B-Instruct: HarmBench(159 개 테스트) 에서 76.1% ASR 달성. 생성 길이가 짧을수록 (64 토큰) 94.0% 까지 상승.
  • Dream-7B-Instruct: HarmBench 에서 81.8% ASR 달성. 생성 길이에 관계없이 84~90% 의 높은 성공률을 유지.
• 구성 요소 분석 (Ablation Study):
  • 재마스킹만: 0% ASR (모델이 다시 거절 토큰을 커밋함).
  • 접두사 주입만: 0% ASR (이미 커밋된 거절 토큰과 충돌하여 실패).
  • 재마스킹 + 접두사: 성공적인 공격의 필수 조건.
• 그라디언트 최적화 비교:
  • 그라디언트 최적화를 추가한 경우 모든 조건에서 ASR 이 감소했습니다. 이는 공격의 핵심이 '최적화'가 아닌 '이산적 (discrete) 인 방향 전환'에 있음을 입증합니다.

5. 의의 및 시사점 (Significance & Implications)

• 안전성 패러다임의 재고: dLLM 의 안전성은 AR 모델의 안전성과 근본적으로 다릅니다. AR 모델은 생성 순서가 고정되어 있지만, dLLM 은 초기 커밋이 뒤집힐 수 있다는 점에서 구조적으로 취약합니다.
• 방어 전략 제안:
  1. 안전 인식 언마스킹 스케줄 (Safety-aware unmasking schedules): 초기 단계의 거절 토큰을 즉시 고정하지 않고, 여러 단계에 걸쳐 일관된 확신을 확인한 후 커밋하도록 변경.
  2. 단계별 접두사 감지 (Step-conditional prefix detection): 모델의 예측과 커밋된 토큰 간의 불일치를 감지하여 외부 주입을 탐지.
  3. 커밋 후 재검증 (Post-commitment re-verification): 생성 후반부에 초기 토큰을 재마스킹하여 모델이 동일한 거절 토큰을 다시 예측하는지 확인하는 샌드박스 검증.
• 결론: 확산 기반 언어 모델의 안전성은 "디노이즈 스케줄이 위반되지 않는다"는 전제하에 성립합니다. 따라서 단순한 monotonicity 체크를 넘어, 커밋된 토큰의 출처와 일관성을 검증하는 새로운 방어 메커니즘이 필요합니다.

이 연구는 dLLM 이 AR 모델보다 더 취약할 수 있음을 보여주며, 향후 dLLM 의 안전성 정렬 연구가 단순한 데이터 파인튜닝을 넘어 생성 경로의 무결성 (trajectory integrity) 을 어떻게 보호할지에 초점을 맞춰야 함을 강조합니다.