기술 요약: 확신의 오해: 확산 언어 모델을 위한 접미사 고정 및 고정-근접성 확신 조절

문제 정의

확산 언어 모델 (DLM) 은 마스킹된 토큰 시퀀스를 반복적으로 탈노이즈하여 텍스트를 생성하며, 여러 위치의 병렬 디코딩을 가능하게 합니다. 완전히 비자기회귀 (fully non-AR) 디코딩에서의 핵심 추론 시간적 과제는 각 단계에서 어떤 마스킹된 위치를 마스킹 해제할지 결정하는 것입니다. 대부분의 훈련 없는 전략은 모델 확신을 선택 신호로 활용하며, 높은 확신을 가진 위치가 디코딩 준비가 되었다는 가정 하에 작동합니다.

본 논문은 이러한 가정이 최적이지 않은 생성으로 이어지는 두 가지 치명적인 실패 모드를 식별합니다:

1. EOT 과신: 지시 튜닝된 DLM 은 종종 디코딩 과정 초기에 텍스트 종료 (EOT) 토큰에 높은 확신을 부여합니다. 확신 기반 전략은 이러한 토큰을 조기에 마스킹 해제하여 불완전하거나 극도로 짧은 생성물을 초래합니다.
2. 고정에 의한 국소 과신: 첫 번째 문제에 대한 간단한 완화책은 **접미사 고정 (suffix anchoring)**입니다. 즉, 응답 영역 끝 근처에 짧은 구조적 단서 (예: "The answer is") 를 삽입하여 계속 생성되도록 유도하는 것입니다. 그러나 이는 새로운 실패 모드를 도입합니다: 고정은 충분한 이전 문맥이 생성되기 전에 고정에 인접한 토큰에 오해의 소지가 있는 높은 확신을 유발합니다. 결과적으로 확신 기반 디코딩은 이러한 고정-인접 토큰을 너무 일찍 마스킹 해제하여 부정확한 출력 (예: 추론 단계가 완료되기 전에 생성된 최종 답변) 을 초래합니다.

방법론

저자들은 **접미사 고정 확신 조절 (Suffix-Anchored Confidence Modulation)**을 제안합니다. 이는 훈련이 필요 없는 플러그 앤 플레이 방식으로, 접미사 고정과 동적 확신 재가중 메커니즘을 결합합니다. 이 방법은 두 가지 주요 구성 요소로 이루어집니다:

1. 접미사 고정

디코딩 시작 전에 응답 영역 끝 근처 (예: 끝에서 20 위치 지점) 에 짧은 접미사 고정을 삽입합니다. 이는 EOT 토큰을 명시적으로 억제하거나 모델 재학습을 요구하지 않으면서 응답 지속을 위한 경량 단서 역할을 하여 조기 EOT 생성을 억제합니다.

2. 고정-근접성 확신 조절

고정으로 인한 국소 과신을 해결하기 위해, 이 방법은 고정과의 공간적 근접성과 디코딩 진행도라는 두 가지 요인에 기반하여 확신 점수를 조절합니다.

• 고정-근접성 가중치 ($w_i$): 고정 집합 $A$까지의 거리에 따라 각 토큰 위치 $i$에 가중치를 부여합니다. 고정과 가까운 위치는 더 높은 가중치를 받아 조기 마스킹 해제에 더 취약함을 나타냅니다.
  $$w_i = \min\left\{1, \beta \max_{a \in A} \exp\left(-\frac{|i - a|}{\kappa}\right)\right\}$$
  여기서 $\kappa$는 공간적 감쇠를 제어하고, $\beta$는 조절 강도를 제어합니다.

• 진행도 의존적 재가중: 확신 점수 $c_i^{(t)}$는 마스킹 해제된 토큰의 비율로 정의된 디코딩 진행도 $p(t)$를 사용하여 $\tilde{c}_i^{(t)}$로 재가중됩니다:
  $$\tilde{c}_i^{(t)} = c_i^{(t)} \left(1 - w_i (1 - p(t))^\gamma\right)$$

  • 초기 디코딩: $p(t)$가 낮을 때 (초기 단계), 항 $(1 - p(t))^\gamma$는 커집니다. 이는 고정 근처 위치의 확신을 크게 하향 조정하여 조기 마스킹 해제를 방지합니다.
  • 후기 디코딩: $p(t) \to 1$로 갈수록 하향 조정 인자는 0 에 가까워져 확신 점수가 원래 값으로 복원되도록 합니다. 이는 충분한 문맥이 생성되면 표준 확신 기반 선택 행동이 복원됨을 보장합니다.

이 방법은 모델 학습, 보조 모듈, 또는 아키텍처 변경을 필요로 하지 않습니다.

주요 결과

이 방법은 LLaDA 8B-Instruct, Dream 7B-Instruct, LaViDa-Instruct 등의 모델을 사용하여 텍스트 기반 추론, 비전 - 언어 추론, 코드 생성 벤치마크에서 평가되었습니다.

• 성능 향상: 이 방법은 모든 벤치마크에서 완전히 비자기회귀 디코딩을 일관되게 개선합니다.
  • GSM8K(수학 추론) 에서 LLaDA 와 최확률 디코딩을 사용할 경우, 정확도가 기준선인 **14.94%**에서 **76.88%**로 증가했습니다.
  • MATH-500에서도 마찬가지로 상당한 개선이 있었습니다 (예: 14.60% 에서 29.00% 로).
  • 비전 - 언어 작업 (MathVista, ChartQA) 에서 이 방법은 평균적으로 최확률 디코딩을 25.56% 에서 40.26% 로 개선했습니다.
• 대안과의 비교:
  • EOT 억제 대비: 제안된 방법은 모든 벤치마크에서 명시적 EOT 억제 (EOT 토큰 확신을 $-\infty$로 설정) 보다 우수하여, 확신 조절을 수반한 구조적 안내가 단순한 강압적 억제보다 효과적임을 시사합니다.
  • 반자기회귀 디코딩 대비: 이 방법은 다양한 단계 예산에서 블록 단위로 생성하는 반자기회귀 디코딩보다 우수합니다. 특히 제한된 단계 예산 (예: $T=32$) 하에서 조절이 적용된 완전히 비자기회귀 방법은 GSM8K 에서 **57.70%**의 정확도를 달성하여 최상의 반자기회귀 구성 (36.32%) 을 크게 능가했는데, 이는 유연한 병렬 위치 선택의 가치를 입증합니다.
• 효율성: 이 방법은 무시할 수 있는 오버헤드를 도입합니다. 처리량과 지연 시간은 기준선과 유사하게 유지됩니다 (약 25.0 토큰/초 및 샘플당 10.2 초).

중요성과 주장

본 논문은 완전히 비자기회귀 DLM 의 확신 기반 위치 선택이 단일 신호가 아니며, 특정 맥락 (EOT 토큰 및 고정-인접 영역) 에서 오해의 소지가 있을 수 있다고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

1. 특정 실패 모드 식별: 단순히 구조적 고정 (접미사 고정) 을 추가하는 것만으로는 부족하며, 동적 확신 처리와 결합되지 않을 경우 새로운 오류 (국소 과신) 를 유발할 수 있음을 강조합니다.
2. 간단하고 훈련 없는 솔루션: 제안된 접미사 고정 확신 조절은 생성 품질을 희생하거나 모델 적응을 요구하지 않으면서 완전히 비자기회귀 생성의 병렬 디코딩 장점을 유지하는 견고한 플러그 앤 플레이 개선을 제공합니다.
3. 광범위한 적용 가능성: 이 방법은 다양한 작업 (수학, 상식 추론, 비전 - 언어, 코드) 과 다양한 기본 모델에서 효과적이므로, 구조적 단서와 확신 역학 간의 상호작용이 확산 기반 텍스트 생성의 근본적인 과제임을 시사합니다.

저자들은 한계를 지적하며, 이 방법은 모델 지식이나 추론 능력 부족에서 비롯된 오류를 수정하는 것이 아니라 모델의 확신이 높지만 잠재적으로 조급할 때 토큰의 선택을 최적화한다는 점을 인정합니다. 또한 이 방법은 다양한 고정 선택과 위치에 대해 견고하지만, 향후 연구에서는 고정 선택을 위한 적응형 전략을 탐구할 수 있음을 제안합니다.