Lost in Diffusion: Uncovering Hallucination Patterns and Failure Modes in Diffusion Large Language Models

1. 문제 제기 (Problem)

최근 생성형 AI 분야에서 확산 기반 대규모 언어 모델 (Diffusion Large Language Models, dLLMs) 이 autoregressive (AR) 모델에 비해 병렬 생성, 전역 계획, 양방향 가시성 등의 이점을 가지며 주목받고 있습니다. 그러나 AR 모델에서 잘 알려진 할루시네이션 (Hallucination, 사실과 다른 정보 생성) 현상이 dLLMs 에서는 어떻게 발생하는지, 그리고 확산 메커니즘이 이를 완화하는지 악화시키는지에 대한 체계적인 연구는 부재했습니다.

• 핵심 질문: 확산 (Diffusion) 메커니즘은 AR 모델의 순차적 오류 전파 (Snowballing effect) 를 해결하여 할루시네이션을 줄이는가, 아니면 확산 과정의 확률적 노이즈로 인해 새로운 형태의 할루시네이션을 유발하는가?

2. 방법론 (Methodology)

저자들은 모델 규모, 사전 학습 데이터, 아키텍처 등 혼란 변수 (Confounding factors) 를 통제하여 dLLMs 과 AR 모델 간의 공정한 비교를 위해 제어된 쌍대 비교 (Controlled Pairwise Comparison) 프레임워크를 구축했습니다.

• 비교 그룹 설정:
  • Group I (아키텍처 정렬): LLaDA-8B (dLLM) vs LLaMA-3-8B (AR). 유사한 백본 아키텍처와 파라미터 규모를 가진 모델 비교.
  • Group II (파라미터 정렬): Dream-7B (dLLM) vs Qwen2.5-7B (AR). Dream 모델이 Qwen 가중치에서 초기화되었으므로, 파라미터 지식 (Parametric Knowledge) 을 동일하게 유지하고 생성 메커니즘 (확산 vs AR) 만이 다른 유일한 변수로 작용하도록 설계.
• 추론 설정:
  • AR 모델: 표준 Greedy Decoding 사용.
  • dLLM: 정통 확산 (Canonical Diffusion) 설정 사용. 시퀀스 길이 $L$만큼의 디노이징 단계 ($T=L$) 를 수행하여 반복적 정제 (Iterative Refinement) 능력을 최대한 발휘하도록 설정.
  • 온도 (Temperature) 를 0 으로 고정하여 샘플링 무작위성을 제거.
• 평가 프로토콜:
  • HalluLens 벤치마크를 기반으로 외적 할루시네이션 (Extrinsic Hallucination) 을 평가.
  • 세 가지 태스크: 정밀한 지식 회상 (PreciseWikiQA), 장문 사실 일관성 (LongWiki), 존재하지 않는 개체 거부 (NonExistentRefusal).
  • 자동 평가기 (Gemini-2.5-Flash) 와 인간 어노테이션을 결합하여 신뢰성 검증.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 비교 벤치마킹: AR 모델과 비교했을 때 현재 dLLMs 이 할루시네이션에 훨씬 더 취약함을 최초로 규명.
2. 추론 컴퓨트 역학의 발견: 디코딩 전략에 따라 확산 모델의 성능이 극명하게 갈리는 것을 발견 (준-자율적 생성은 초기 포화, 비순차적 생성은 지속적인 정제 가능).
3. 확산 특유의 실패 모드 규명: AR 모델에는 없는 새로운 유형의 오류 패턴 (조기 종료, 불완전한 디노이징, 컨텍스트 침입) 을 식별하고 분석.

4. 실험 결과 및 분석 (Results & Analysis)

A. 전반적 성능 (Main Results)

• 모든 태스크에서 dLLMs 은 AR 모델보다 할루시네이션 비율이 유의미하게 높았으며, 정확도는 낮았습니다.
  • PreciseWikiQA: Dream-7B 의 할루시네이션 비율 (92.54%) 이 Qwen2.5-7B (89.06%) 보다 높았으며, LLaDA-8B 의 정답률 (3.92%) 은 LLaMA-3-8B (10.30%) 보다 현저히 낮음.
  • LongWiki: dLLMs 은 정밀도 (Precision) 가 낮아 전체 F1 점수가 떨어짐.
  • NonExistentRefusal: dLLMs 은 존재하지 않는 개체를 거부하는 능력이 매우 부족함 (Dream-7B 는 98.50% 의 경우 실패).

B. 추론 컴퓨트 역학 (Dynamics of Inference Compute)

디노이징 단계 ($T$) 를 증가시켰을 때 두 모델의 반응이 달랐습니다.

• LLaDA-8B (준-자율적 생성): 단계 증가에 따른 성능 향상 없이 초기 포화 (Early Saturation) 현상 발생.
  • 원인: 선형 노이즈 스케줄러와 고신뢰도 (High-confidence) 디코딩 전략으로 인해, 이론적 양방향 가시성에도 불구하고 실제로는 왼쪽에서 오른쪽 (Left-to-Right) 순차 생성에 가까운 행동을 보임. AR 모델의 구조적 경직성을 그대로 가지면서 확산 노이즈만 추가됨.
• Dream-7B (비순차적 생성): 단계 증가에 따라 단조로운 성능 향상을 보임.
  • 원인: 최소 엔트로피 (Minimum Entropy) 디코딩을 사용하여 순차적 제약을 깨고 전역적으로 고신뢰도 토큰을 비순차적으로 정제 가능. 컴퓨트 리소스 증가가 할루시네이션 감소로 이어짐.

C. 확산 특유의 실패 모드 (Diffusion Failure Modes)

AR 모델의 순차적 오류 전파와 달리, dLLMs 은 다음과 같은 고유한 오류를 보임:

1. 조기 종료 (Premature Termination): 문법적 일치를 이루지 못하는 접두어와 접미사가 충돌할 때, 모델이 연결 고리를 찾지 못해 갑자기 [EOS] 토큰을 삽입하거나 구조가 깨진 채 종료됨.
2. 불완전한 디노이징 (Incomplete Denoising): 희귀 개체나 난해한 부분에서 무의미한 토큰에 고정 (Anchor) 되어, 양방향 어텐션이 이를 합리화하려다 전체 생성이 붕괴되거나 의미 없는 기호/반복 문자가 남음.
3. 컨텍스트 침입 (Context Intrusion): 미래 위치의 고빈도 토큰 (예: 수학 기호, 코드 키워드) 이 노이즈로 인해 먼저 고정되면, 모델이 이를 중심으로 논리적 경로를 구축하려다 원래 질문과 무관한 주제 (수학, 코딩 등) 로 급격히 전환됨.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰성 도전: dLLMs 이 일반 작업에서 AR 모델과 성능 격차를 좁혔음에도 불구하고, 할루시네이션 메커니즘의 차이는 모델 신뢰성에 대한 중요한 과제를 제기합니다.
• 구조적 한계: 현재 dLLMs 은 생성된 토큰을 사후에 재마스크 (Re-masking) 하거나 수정할 수 있는 메커니즘이 부족하여, 초기 디노이징 오류가 전체 생성 과정에 고착되는 문제가 발생합니다.
• 미래 방향: 확산 기반 생성의 잠재력을 실현하기 위해서는 단순한 디노이징을 넘어, 삽입, 삭제, 재마스크가 가능한 동적 시퀀스 편집 능력이 필요함을 시사합니다. 또한, 비순차적 생성이 가지는 유연성과 안정성 사이의 트레이드오프를 해결하는 연구가 필요합니다.

이 연구는 확산 기반 LLM 의 상용화를 위해 해결해야 할 핵심적인 신뢰성 문제를 규명하고, 향후 모델 개선 방향을 제시했다는 점에서 의의가 큽니다.