💻 computer science

Beyond the Bidirectional Promise: Re-evaluating the Robustness of Diffusion Language Models

이 논문은 확산 언어 모델(Diffusion Language Models)이 그들의 확률적 손실 지형(stochastic loss landscapes) 덕분에 본질적으로 경사 기반 적대적 공격에는 저항력을 갖지만, 자연적인 노이즈에는 취약하며, 이들의 강건성이 구조적 이점이 아닌 가중치 특정 디코더 라우팅(weight-specific decoder routing)에 의존하기 때문에 체계적인 과잉 확신을 보인다는 점을 밝히며, 이는 표면적인 해결책이 아닌 디코딩 과정으로의 근본적인 통합이 필요함을 시사한다.

원저자: Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

게시일 2026-07-31

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 퍼즐을 풀고 있다고 상상해 보세요. 하지만 조각들을 왼쪽에서 오른쪽으로 하나씩 놓는 대신, 모든 조각을 테이블 위에 한꺼번에 던져놓고 매번 전체를 훑어보며 어디에 들어갈지 천천히 알아가는 방식입니다. 이것이 바로 **확산 언어 모델(Diffusion Language Model, DLM)**이라 불리는 새로운 종류의 인공지능이 가진 기본 개념입니다. 전통적인 AI가 인간이 문장을 타이핑하듯 (한 번에 한 단어씩, 뒤를 돌아보지 않고) 글을 쓰는 것과 달리, DLM은 빈 페이지 혹은 마스킹된 페이지에서 시작하여, 문장 전체를 한꺼번에 보면서 단계적으로 "노이즈를 제거(denoise)"하며 단어를 드러냅니다. 이는 마치 초능력처럼 들립니다. 만약 초기에 오타가 발생한다면, 전통적인 AI는 혼란에 빠져 횡설수설할 수 있지만, 전체 그림을 보는 DLM은 이론적으로 자신의 실수를 스스로 바로잡을 수 있어야 하기 때문입니다. 하지만 여기서 중요한 질문이 생깁니다. 이 모델들이 상황이 엉망이 되었을 때 실제로 더 강하고 똑똑한 것일까요, 아니면 그저 그럴듯한 이론일 뿐일까요?

이 연구에서 연구원들은 이 "초강력한" 확산 모델들을 전통적인 "단어 단위" 모델들과 대결시켜 테스트했습니다. 그들은 단순히 시를 쓰게 한 것이 아니라, 오타, 뒤섞인 단어, 이상한 키보드 실수, 심지어 까다로운 수학 문제까지 모든 것을 던져주었습니다. 그들은 새로운 확산 방식이 진정으로 오류에 대한 마법 같은 방패가 될 것인지, 아니면 이 모델들도 기존 모델들처럼 다른 방식으로 똑같이 취약한 것인지 확인하고 싶었습니다.

위대한 강건성 테스트

연구진은 공정한 대결을 준비했습니다. 그들은 확산 모델과 동일한 수의 뇌세포(파라미터)를 가진 전통적 모델을 짝지었습니다. 예를 들어, LLaDA-8B 확산 모델을 LLaMA-3-8B 전통 모델과 매칭하고, Dream-7B 확산 모델을 Qwen2.5-7B 전통 모델과 매칭했습니다. 그런 다음 그들에게서 'teh'라고 치는 것(the 대신)과 같은 철자 교체부터, 단어 전체 삭제, 혹은 다른 알파벳의 유사한 글자 사용에 이르기까지 32가지 유형의 "노이즈"를 가했습니다.

결과는 반전이었습니다. 확산 모델이 본질적으로 더 강건할 것이라는 생각은 허구로 밝혀졌습니다. 승부를 결정지은 것은 아키텍처가 아니라 특정 학습이었습니다. 한 확산 모델(LLaDA)은 실제로 라이벌인 전통 모델보다 훨씬 더 강건하여 노이즈를 능숙하게 처리했습니다. 하지만 다른 확산 모델(Dream)은 라이벌을 이기지 못했을 뿐만 아니라, 어떤 경우에는 오히려 더 나쁜 성능을 보이기도 했습니다. 연구진은 강건성이 단순히 확산 방식을 사용하는지에 달린 것이 아니라, 모델의 특정 가중치와 학습 데이터에 달려 있다는 것을 발견했습니다. 강건한 모델을 원한다면 단순히 확산 모델을 고르는 것이 아니라, 올바른 확산 모델을 골라야 합니다.

과도하게 자신만만한 낙관주의자

하지만 모든 확산 모델이 공유하는 하나의 특성이 있었는데, 그것은 위험한 것이었습니다. 바로 **과도한 자신감(overconfidence)**이었습니다. 이 모델들이 실수를 할 때, 그들은 단순히 실패하는 데 그치지 않고 절대적인 확신을 가지고 실패했습니다. 전통적인 모델은 오타를 발견하면 (예를 들어, "이 부분은 확실하지 않다"라고 말하며) 자신감을 낮출 수 있지만, 확산 모델들은 틀린 답을 내놓고 있을 때조차 자신감이 매우 높아서 종종 100%에 육박했습니다.

마치 시험을 치는 학생이 문제를 틀렸음에도 불구하고 손을 번쩍 들며 "저는 이 답이 100% 맞다고 확신합니다!"라고 외치는 것과 같습니다. 그것이 이 모델들의 위험 요소입니다. 현실 세계에서 모델이 자신만만하게 틀린 답을 내놓는다면, 모델이 불안해하며 확신이 없다고 말할 때보다 그 오류를 잡아내기가 훨씬 더 어렵습니다. 연구는 노이즈가 심할 때도 확산 모델들이 완고하게 자신감을 유지하며, 누군가가 그 출력을 신뢰하려고 할 때 "위험 요소"를 만들어낸다는 것을 보여주었습니다.

"고칠 수 없다"는 발견

이 연구에서 가장 흥미로운 부분은 이 모델들이 왜 실패하는지를 파헤치는 것이었습니다. 연구진은 모델의 뇌 내부에서 무슨 일이 일어나고 있는지 보기 위해 특별한 "기계적 프로브(mechanistic probe)"(AI의 뇌를 위한 X-레이 같은 것)를 사용했습니다. 그들은 놀라운 사실을 발견했습니다: 모델은 실제로 입력값이 손상되었다는 것을 알고 있었습니다.

내부 신호를 살펴보았을 때, 모델은 93% 이상의 정확도로 오타와 오류를 감지할 수 있었습니다. 모델의 "눈"은 완벽하게 작동하고 있었습니다. 노이즈를 명확히 보고 있었던 것입니다. 문제는 모델이 실수를 볼 수 없었던 것이 아니라, 그것을 무시할 수 없었다는 점이었습니다. 일단 노이즈가 시스템에 들어오면, 모델의 "디코더"(다음에 무엇을 말할지 결정하는 부분)가 이를 걸러내는 데 실패했습니다. 이는 마치 식재료가 상했다는 냄새를 완벽하게 맡으면서도, 어떻게 멈춰야 할지 몰라 계속 요리를 하는 요리사와 같았습니다.

문제가 "냄새를 맡는 단계"(입력)가 아니라 "요리하는 단계"(디코딩)에 있었기 때문에, 연구진은 영리한 해결책을 시도했습니다. 모델이 요리를 시작하기 전에 입력을 깨끗하게 만드는 방법을 시도한 것입니다. 그들은 **입력 프롬프트 마스킹(Input Prompt Masking, IPM)**이라는 기술을 사용하여, 모델이 보기 전에 오타를 식별하고 숨기려고 노력했습니다. 하지만 결과는 어땠을까요? 효과가 없었습니다. 입력을 깨끗하게 만드는 것이 모델을 더 강건하게 만들지 못했습니다. 이는 문제를 해결하기 위해 입력을 패치하는 것만으로는 부족하며, 모델이 텍스트를 생성하는 방식 자체에 해결책이 내장되어야 함을 증명했습니다.

적대적 공격의 의외성

하지만 한 가지 밝은 면도 있었습니다. 연구진이 모델을 속이기 위해 "적대적 공격(adversarial attacks)"을 시도했을 때(특히, 모델이 원치 않는 말을 하도록 유도하기 위해 끝에 이상한 문자열을 추가하는 방식), 확산 모델들은 놀랍게도 잘 무너지지 않았습니다. 전통적인 모델들은 이러한 공격에 무너졌지만, 확산 모델들은 저항했습니다.

왜 그럴까요? 알고 보니 확산 모델은 "울퉁불퉁하고" 혼돈스러운 내부 지형을 가지고 있었습니다. 공격자가 모델을 속이기 위한 경로를 찾으려 할 때, 그 경로가 계속 변하고 바뀌기 때문에 실수로 가는 안정적인 경로를 찾는 것이 불가능해집니다. 이는 마치 발을 내디딜 때마다 바위의 위치가 계속 바뀌는 산을 오르는 것과 같습니다. 이것이 모든 공격에 면역력을 준다는 뜻은 아니지만, 전통적인 모델을 쉽게 속이는 특정 종류의 경사 기반(gradient-based) 공격에 대해서는 자연적인 저항력을 갖게 합니다.

결론

그렇다면 핵심은 무엇일까요? 확산 언어 모델은 AI를 자동으로 더 안전하거나 강건하게 만드는 마법의 탄환이 아닙니다. 그것은 다른 강점과 약점을 가진 새로운 도구입니다. 그들은 내부 수학 구조가 혼란스럽기 때문에 특정 해킹 시도를 막아내는 데 자연스럽게 능숙하지만, 자신이 확신이 없는 상태인지 파악하는 데는 서툴러서 입력이 엉망일 때도 자신만만하게 틀린 답을 내놓곤 합니다.

연구진은 우리가 이 모델들을 더 좋게 만들기 위해 단순히 "패치"를 할 수는 없다고 결론지었습니다. 모델이 신뢰할 수 있게 만들려면, 단순히 시작하기 전에 노이즈를 제거하는 것이 아니라, 글을 쓰는 도중에 노이즈를 걸러내는 법을 가르치도록 모델의 학습 방식을 근본적으로 바꿔야 합니다. 그때까지 우리는 주의해야 합니다. 자신만만하게 틀린 답을 내놓는 확산 모델은 신뢰하기 매우 까다로운 존재이기 때문입니다.

기술 요약: 양방향성의 약속을 넘어 (Beyond the Bidirectional Promise)

문제 제기

확산 언어 모델(Diffusion Language Models, DLMs)은 자기회귀(Autoregressive, AR) 모델의 유망한 대안으로 부상하며, 양방향 문맥과 반복적 정제 능력을 제공한다. 이론적으로 DLM은 전체 시퀀스를 양방향으로 처리하기 때문에, 초기 오류가 앞으로 연쇄적으로 영향을 미치는 AR 모델과 달리 입력 노이즈(예: 오타, OCR 오류)에 대해 더 우수한 강건성(robustness)을 보여야 한다. 그러나 자연스러운 입력 노이즈 및 적대적 공격에 대한 DLM의 신뢰성은 아직 충분히 탐구되지 않았다. 최근 연구들이 의도적인 적대적 탈옥(jailbreak)에 대한 DLM의 취약성을 조사했으나, 자연스러운(benign) 입력 섭동(perturbation)에 대한 행동 양식과 파라미터가 매칭된 AR 베이스라인 대비 캘리브레이션(calibration) 특성에 관한 체계적인 평가는 부족한 실정이다.

방법론

저자들은 가중치 의존적 행동을 아키텍처적 특성으로부터 분리하기 위해 쌍을 이룬 설계(paired design)를 사용하여 체계적인 평가를 수행한다.

모델 및 데이터셋:
두 개의 파라미터 매칭된 DLM-AR 쌍이 평가된다:

LLaDA-8B (DLM) vs. LLaMA-3-8B (AR)
Dream-7B (DLM) vs. Qwen2.5-7B (AR)

평가는 세 가지 데이터셋을 대상으로 한다: TriviaQA (사실적 회상), GSM8K (수학적 추론), ARC-Challenge (과학 QA).

섭동 분류(Perturbation Taxonomy):
본 연구는 두 가지 수준에서 32가지의 구별되는 조건을 통해 자연스러운 입력 노이즈를 시뮬레이션한다:

문자 수준 (5가지 유형): 전치(transpositions), 무작위 삭제, 무작위 삽입, 키보드 인접 키 치환, 호몰로그래프(homoglyphs, 유니코드 유사 문자).
단어 수준 (4가지 유형): 무작위 내용어 삭제, 국소적 셔플링(local shuffling), 유의어 치환, 단어 반복.
섭동률( $r$ )은 0.05에서 0.30 사이이다.

평가 지표:

강건성 저하 지수 (Robustness Degradation Index, RDI): 클린 베이스라인 대비 정확도 하락 정도를 측정한다.
캘리브레이션 (Calibration): 선택적 예측을 위한 기대 캘리브레이션 오차(ECE) 및 AUROC. DLM의 신뢰도는 최종 확정된 시퀀스에 대한 토큰별 최대 소프트맥스 확률의 기하 평균으로 계산된다.
적대적 프로빙 (Adversarial Probing): DLM을 위한 Greedy Coordinate Gradient 공격을 변형한 새로운 Diffusion-GCG (D-GCG) 방법을 도입한다. 이는 모든 디노이징 단계를 역전파하지 않고 손실 지형(loss landscape)을 조사하기 위해 단일 샘플링 타임스텝과 마스크를 사용하여 그래디언트를 추정한다.
메커니즘 프로빙 (Mechanistic Probing):
- 토큰 수준 선형 프로빙: 입력 오염을 탐지하기 위해 은닉 상태(hidden states)에 로지스틱 회귀 분류기를 학습시킨다.
- 디노이징 궤적 분석: 클린 생성 경로와 노이즈 생성 경로 간의 발산을 추적한다.
- 어텐션 패턴 분석: AR 모델에서 오염된 토큰에 할당된 어텐션 질량(attention mass)을 측정한다.

완화 시도:
저자들은 **입력 프롬프트 마스킹 (Input Prompt Masking, IPM)**을 테스트한다. 이는 의심되는 오염 토큰을 마스킹하고 표준 생성 전 짧은 확산 패스를 통해 채워 넣는 사전 생성 전략이다.

주요 결과

1. 자연적 강건성은 아키텍처가 아닌 가중치에 의존한다

양방향 처리가 본질적으로 강건성을 보장한다는 가설과 달리, 결과는 강건성이 특정 모델의 가중치와 사전 학습 데이터에 결합되어 있음을 보여준다.

LLaDA vs. LLaMA-3: LLaDA는 88~91%의 노이즈 조건에서 일관되게 LLaMA-3보다 우수한 성능을 보인다.
Dream vs. Qwen2.5: Dream은 일관된 우위를 보이지 않는다. GSM8K에서는 Qwen2.5보다 성능이 낮았으며, TriviaQA와 ARC에서는 유의미한 차이를 보이지 않았다.
결론: 자연적 강건성은 확산 목적 함수(diffusion objective)의 보장된 기능이 아니며, 모델별로 검증되어야 한다.

2. 체계적 과잉 확신 (Systematic Overconfidence)

DLM은 AR 모델에 비해 일관된 아키텍처적 특성인 과잉 확신을 보인다.

DLM은 정확도가 급격히 떨어지는 높은 노이즈 상황에서도 거의 완벽한 신뢰도 점수(종종 >0.97)를 부여한다.
AR 모델은 신뢰도와 정확도 사이에 더 적절한 상관관계를 보여준다.
이러한 과잉 확신은 실질적인 배포 위험을 초래하는데, 이는 DLM이 잘못된 답을 낼 때 불확incity(불확실성)를 알리지 못하기 때문이다.

3. 그래디언트 기반 적대적 접미사(Suffix)에 대한 저항성

특정 제약 조건(D-GCG 프로브의 짧은 접미사, 제한된 최적화 단계) 하에서:

DLM은 그래디언트 기반 적대적 접미사에 대해 높은 저항성을 보이는 반면, AR 모델은 쉽게 성능이 저하된다.
메커니즘: 이 저항성은 그래디언트 소실 때문이 아니다 (DLM의 그래디언트 노름은 AR과 비슷하거나 더 크다). 대신, DLM의 손실 지형은 학습 목적 함수(무작위 타임스텝과 마스크에 대한 평균화)로 인해 매우 확률적(stochastic)이다. 이로 인해 그래디언트 방향이 일관되지 않아 그리디 좌표 치환 공격(greedy coordinate substitution attacks)이 수렴하는 것을 방해한다.

4. 메커니즘 통찰: 디코딩 단계의 병목 현상

선형 프로브 결과, 모든 모델(DLM 및 AR 모두)은 은닉 상태에서 93% 이상의 정확도로 입력 오염을 인지한다.

인코더는 노이즈를 성공적으로 인지한다.
실패는 디코더에서 발생한다. DLM은 AR 모델에서 볼 수 있는 보상적 라우팅 메커니즘(예: 호몰로그래프에 대한 어텐션을 억제하거나 삭제 후 초점을 재분배하는 기능)이 부족하다.
행동적 취약성은 반복적인 언마스킹(unmasking) 과정 동안 노이즈가 섞인 토큰을 격리하지 못하는 양방향 디코더의 능력 부재에 기인한다.

5. 표면적 패칭(Patching)의 실패

사전 생성 단계의 입력 패칭(IPM)이 취약성을 해결할 수 있다는 가설을 테스트했으나 실패했다.

5가지 IPM 변형 모두(내부 임계값 설정 및 외부 철자 검사를 포함) 노이즈가 있는 베이스라인보다 성능을 개선하지 못했다.
일부 경우, IPM은 유효한 도메인 특화 용어에 대해 모델이 환각(hallucination)을 일으키도록 강제함으로써 오히려 성능을 저하시켰다.
이는 강건성이 입력 편집을 통한 사후적 패칭으로 해결될 수 없음을 확인시켜 준다. 즉, 문제는 근본적으로 디코딩 루프 내에 있다.

의의 및 주장

본 논문은 AR 베이스라인에 대한 DLM의 강건성과 캘리브레이션에 대한 최초의 체계적이고 쌍을 이룬 평가를 제공한다고 주장한다. 주요 기여는 다음과 같다:

"내재적 강건성" 신화의 해체: 양방향 문맥이 자동으로 강건성을 보장하는 것이 아니라, 학습 레시피와 가중치의 함수임을 입증한다.
캘리브레이션 위험 식별: DLM이 체계적으로 과잉 확신을 보인다는 점을 강조하며, 이는 안전한 배포에 있어 중요한 문제이다.
메커니즘적 진단: 취약성의 원인이 노이즈를 인지하지 못하는 것이 아니라, 노이즈를 우회하여 경로를 찾는 디코딩 단계의 실패임을 명확히 한다.
향후 연구를 위한 시사점: DLM의 강건성을 개선하려면 사후적인 입력 정제가 아니라, 반복적 디코딩 과정 자체에 근본적으로 통합되어야 한다고 주장한다. 저자들은 이 방향을 지원하기 위해 코드를 공개한다.

저자들은 자신의 주장에 대해 겸허한 태도를 유지하며, 본 연구의 결과가 LLaDA 및 Dream의 7B–8B 파라미터 규모와 특정 학습 레시피에 국한됨을 명시한다. 더 큰 규모나 다른 사전 학습 기법을 사용하면 이러한 행동 프로필이 달라질 수 있음을 인정한다. 또한, 본 연구에서 DLM이 그래디언트 기반 접미사 공격에는 저항성을 보였으나, 이것이 다른 확산 네이티브(diffusion-native) 적대적 공격에 대한 면역력을 의미하는 것은 아니라고 밝힌다.