기술 요약: 핵심에 집중 (FoCore)

1. 문제 제기

확산 기반 대규모 언어 모델 (DLM) 은 반복적 제거 (iterative denoising) 패러다임을 통해 전역적 문맥 모델링을 가능하게 함으로써 자기회귀 (AR) 모델과 구별되는 장점을 제공합니다. 그러나 현재 디코딩 전략들은 이러한 능력을 활용하지 못해, 이미 제거된 위치와 가까운 토큰들이 불균형적으로 높은 신뢰도 점수를 받는 "국소 편향 (locally-biased)" 경향을 보입니다. 이러한 국소 편향은 자연어에 내재된 이질적인 정보 밀도를 간과합니다.

본 논문은 자연어 문맥이 다음과 같은 혼합물을 포함한다고 주장합니다:

• 저정보 밀도 (LD) 토큰: 중복된 배경 패딩 (예: "for", "she"와 같은 구조적 단어).
• 고정보 밀도 (HD) 토큰: 생성 궤적을 주도하는 핵심 추론 단위 또는 논리적 앵커 (예: 개체, 숫자, 특정 제약 조건).

현재 전략들은 종종 이러한 HD 토큰들을 간과하여, 특히 수학 및 코드 생성과 같은 복잡한 추론 작업에서 생성 품질이 저하됩니다. 또한, 표준 디코딩 과정은 HD 토큰이 주변 토큰들보다 더 일찍 수렴 (안정화) 한다는 관찰을 완전히 활용하지 못해 추론 가속화의 기회를 놓치고 있습니다.

2. 방법론

본 논문은 훈련이 필요 없는 디코딩 전략인 FoCore(핵심에 집중) 와 그 효율적인 변형인 FoCore_A를 제안합니다. 이 방법론은 HD 토큰에 관한 세 가지 주요 경험적 발견에 기반합니다:

1. HD 토큰에 대한 명시적 조건부 설정은 출력 품질을 크게 향상시킵니다.
2. HD 토큰은 초기 디코딩 경향을 보이며, 주변 토큰들보다 일찍 최종 상태로 수렴합니다.
3. HD 토큰은 전역 문맥 마스킹에 매우 민감하여, 문맥이 가려질 때 LD 토큰과 달리 신뢰도가 크게 하락합니다.

A. HD 토큰 식별

코드 생성에서 실패하는 도메인별 휴리스틱을 피하기 위해, 저자들은 분포 안정성 (Distribution Stability) 기반의 자동 식별 메커니즘을 제안합니다:

• 지표: 연속된 디코딩 단계 ($t$ 및 $t-1$) 간의 토큰 예측 확률 분포의 불안정성을 측정하기 위해 Top-K 잘린 제이슨-샤논 (JS) 발산을 활용합니다.
• 논리: HD 토큰은 반복을 통해 상당한 분포 변화를 유발하는 반면, LD 토큰은 안정적인 분포를 유지합니다.
• 정제: 단계별 발산 점수에 지수 이동 평균 (EMA) 을 적용하여 역사적 불안정성을 추적하고, 일시적인 변동을 필터링하며 누적 불안정성이 높은 토큰 ($S^{(i)}_t$) 을 식별합니다.

B. FoCore 메커니즘 (자기 대비)

FoCore는 재학습 없이 생성을 안내하기 위해 식별된 HD 토큰을 자기 대비 (self-contrast) 방식으로 활용합니다:

1. 부정 샘플 구성: 각 반복에서 가장 불안정한 (수렴된) 상위 $K$개의 HD 토큰을 일시적으로 재마스킹 ( [MASK] 로 교체) 하여 "무조건부" 입력 시퀀스 ($\tilde{X}_t$) 를 생성합니다.
2. 대비적 안내: 모델은 원래 시퀀스 ($X_t$) 와 재마스킹된 시퀀스 ($\tilde{X}_t$) 에 대해 두 번의 순전파를 수행합니다.
3. 로그이트 조정: 최종 로그이트는 조건부 및 무조건부 출력을 대비하여 계산됩니다:
   $$\hat{L}_t = L_{cond} + \omega \cdot (L_{cond} - L_{uncond})$$
   이는 모델이 이러한 중요한 앵커가 존재하는 궤적에서의 편차를 패널티함으로써 핵심 HD 토큰에 주의를 엄격히 고정하도록 강제합니다.

C. FoCore_A (가속 변형)

HD 토큰이 일찍 수렴한다는 발견을 활용하여, FoCore_A는 병렬 디코딩 메커니즘을 도입합니다:

• 모니터링: 해독되지 않은 위치들의 평균 불안정 점수를 지속적으로 모니터링합니다.
• 조기 종료: 평균 불안정성이 임계값 ($\tau$) 아래로 떨어지면, 핵심 HD 토큰이 충분히 수렴했음을 나타내며 시스템이 병렬 디코딩을 트리거합니다.
• 실행: 단일 단계에서 로컬 문맥 창 내의 일반적으로 LD 토큰인 $m$개의 추가 고신뢰도 토큰을 디코딩하여, 순전파 및 디코딩 단계의 총 수를 크게 줄입니다.

3. 주요 기여

1. HD 토큰의 경험적 분석: HD 토큰의 행동 특성을 체계적으로 조사하여, 의미적 안내 (품질) 에 필수적일 뿐만 아니라 초기 수렴 (효율성) 을 보인다는 이중적 이점을 규명했습니다.
2. FoCore 디코딩 전략: 수렴된 HD 토큰을 부정 샘플로 동적으로 재마스킹하여 생성 품질을 향상시키는 훈련 불필요 자기 대비 방법입니다.
3. FoCore_A 가속: HD 토큰의 초기 디코딩 경향을 활용하여 병렬 디코딩을 가능하게 하는 효율적인 변형으로, 지연 시간을 크게 단축합니다.
4. 종합 평가: 수학, 코드, 논리적 추론 벤치마크에 걸친 광범위한 실험을 통해 최첨단 베이스라인보다 일관된 개선을 입증했습니다.

4. 실험 결과

이 방법들은 LLaDA 8B 및 Dream 7B 백본을 사용하여 GSM8K, MATH500, HumanEval, MBPP, SVAMP, Countdown 등 여섯 가지 벤치마크에서 평가되었습니다.

• 품질 향상:

  • HumanEval에서 FoCore는 pass@1을 39.02(표준 CFG) 에서 42.68로 향상시켰습니다.
  • MBPP에서 FoCore는 생성 길이에 따라 38.40/40.40/40.00의 점수를 달성하여 Prophet 및 KLASS와 같은 경쟁자들을 능가했습니다.
  • MATH500에서 FoCore는 43.80에 도달하여 42.60 의 최상위 베이스라인 (Confidence) 을 능가했습니다.
  • 이 방법은 생성 길이 (128 에서 512) 에 따라 단조 증가 (monotonic scaling) 를 보인 반면, 많은 베이스라인들은 더 긴 길이에서 성능 저하를 겪었습니다.

• 효율성 향상 (FoCore_A):

  • 디코딩 단계: 표준 CFG 대비 HumanEval 에서 2.07 배 감소했습니다.
  • 지연 시간: HumanEval 의 샘플당 지연 시간이 20.76 초에서 8.64 초로 감소 (58.4% 감소).
  • 가속: 다른 효율적인 방법인 Prophet 및 KLASS 대비 작업 정확도를 유지하거나 향상시키면서 벤치마크 전반에 걸쳐 1.45 배에서 2.29 배의 가속을 달성했습니다.

5. 중요성 및 주장

본 논문은 핵심에 집중 (Focus on the Core) 이 DLM 디코딩의 근본적인 병목 현상, 즉 중복된 배경 정보와 핵심 추론 앵커를 구분하지 못하는 문제를 해결한다고 주장합니다.

• 이론적 통찰: 이 연구는 조건부 엔트로피와 분포 불안정성을 연결하는 이론적 프레임워크를 제공하며, HD 토큰이 디코딩 궤적을 지배하는 정보 병목으로 작용함을 증명합니다. 자기 대비를 통해 이러한 토큰들의 불확실성을 압축함으로써 FoCore 는 생성 경로를 안정화합니다.
• 실용적 영향: 제안된 프레임워크는 추론 품질과 추론 속도를 동시에 향상시키는 훈련 불필요 솔루션을 제공합니다. 이는 DLM 을 구조적 변경뿐만 아니라 텍스트의 이질적인 정보 밀도 특성을 존중하는 더 지능적인 디코딩 전략을 통해 더 효율적으로 만들 수 있음을 보여줍니다.
• 향후 방향: 저자들은 이러한 "핵심 집중" 인식을 매개체 수준 훈련 (예: RL 기반 사후 훈련) 에 통합하는 것이 유망한 향후 방향이라고 제안하지만, 현재 작업은 엄격하게 추론 시간 디코딩에 초점을 맞추고 있습니다.