기술 요약: Diffusion MLLM을 위한 ST-Veto

문제 정의

시각 언어 모델(VLM)은 연쇄 사고(Chain-of-Thought, CoT) 프롬프팅을 통해 강력한 추론 능력을 보여주었으나, 이는 자기회귀(Auto-Regressive, AR) 생성에 의존합니다. 이러한 순차적 접근 방식은 높은 지연 시간을 초축하고, 오류 누적 문제를 겪으며, 모델이 자신의 잠재적으로 잘못된 출력을 다시 입력으로 소비하기 때문에 견고한 자기 수정 메커니즘이 부족합니다.

디퓨전 멀티모달 거대 언어 모델(dMLLM)은 순서에 구애받지 않는 반복적인 디노이징(denoising) 과정을 통해 토큰을 생성함으로써 대안을 제시합니다. 이 패러다임은 양방향 문맥 모델링과 잠재적인 자기 수정을 가능하게 합니다. 그러나 dMLLM은 현재 추론 능력 측면에서 초기 단계에 머물러 있습니다. 기존 연구는 주로 짧은 생성 길이에 집중되어 있어, dMLLM이 비사소한(non-trivial) 수준의 장문 추론을 지속할 수 있는지는 불분명합니다. 또한, AR 모델을 위해 설계된 표준 CoT 프롬프팅 전략은 디퓨전 디코딩에 효과적으로 전이되지 않습니다. AR 방식은 중간 추론 과정이 후속 토큰을 조건화하는 안정적인 순차적 이력을 가정하는 반면, dMLLM은 모든 토큰 위치를 병렬로 업데이트합니다. 결과적으로, 단일 단계에서 "확신(confident)"이 있다고 선택된 토ке은 전체 디노이징 궤적 전체를 놓고 보았을 때 불안정하거나 근거가 약할 수 있으며, 이는 신뢰할 수 없는 추론 경로로 이어집니다.

방법론: ST-Veto

저자들은 디퓨전 모델이 모든 타임 스텝에 걸쳐 모든 토큰 위치를 관찰할 수 있는 고유한 능력을 활용하여, dMLLM의 추론 능력을 향상시키기 위해 설계된 훈련이 필요 없는 디코딩 타임 방법론인 **ST-Veto (Spatio-Temporal Token Veto)**를 제안합니다. ST-Veto는 생성 궤적에 확정되기 전에 신뢰할 수 없는 토큰을 필터링하는 "Veto-and-Swap(거부 및 교체)" 정책을 통해 작동합니다.

이 방법은 거부해야 할 토큰을 식별하기 위해 두 가지 주요 신호에 의존합니다:

1. 시간적 불안정성 (Taylor Prediction):
   AR 모델과 달리, dMLLM은 모든 마스킹된 위치에 대한 신뢰도 점수의 진화를 관찰할 수 있는 가시성을 제공합니다. ST-Veto는 디퓨전 스텝에 따른 토큰의 신뢰도 점수 $c(t)$를 추적합니다. 이 모델은 로컬 4단계 이력($c(t-3)$에서 $c(t)$까지)을 사용하는 **2차 테일러 전개(second-order Taylor expansion)**를 사용하여 다음 단계에서의 예상 신뢰도($\hat{c}(t)$)를 예측합니다.

   • **테일러 잔차(Taylor residual, $e_i = c(t)_i - \hat{c}(t)_i$)**는 예상 궤적으로부터의 편차를 측정합니다.
   • 신뢰도가 예상보다 크게 떨어지는(음의 잔차가 큰) 토큰은 시간적으로 불안정한 것으로 간주되어 거부(veto)됩니다.

2. 시각적 접지 (Image Attention Mass):
   토큰은 텍스트적으로는 그럴듯할 수 있지만, 시각적 입력과는 의미적으로 단절될 수 있습니다. ST-Veto는 특정 중간 트랜스포머 레이어($L/3, L/2, 2L/3$)에서 이미지 토큰에 할당된 **이미지 어텐션 질량(image attention mass)**을 집계하여 시각적 접지 정도를 측정합니다.

   • **이미지 어텐션 비율($\rho_i$)**은 토큰이 이미지 토큰으로 향하는 어텐션의 비율을 계산합니다.
   • 이러한 레이어들에서 평균 어텐션 비율이 낮은 토큰은 시각적 근거가 약한 것으로 간주되어 거부됩니다.

Veto-and-Swap 정책:
ST-Veto는 단순히 토큰을 거부하는 것이 아니라 대체합니다.

• Veto 기준: 토کن의 시간적 잔차 또는 시각적 접지 점수가 모집단 분포(강건한 통계치인 중앙값 및 중앙값 절대 편차로 정의됨)에서 음의 방향으로 벗어날 경우 거부됩니다.
• 교체 후보 (Swap Candidates): 거부된 토큰은 "안전한" 후보들로 교체됩니다. 이 후보들은 더 엄격한 기준(높은 시간적 안정성 및 높은 시각적 접지)을 충족해야 하며, 저신뢰 노이즈의 유입을 방지하기 위해 원래의 top-$k$ 선택의 신뢰도 임계값 근처에 있는 "후보 라인(candidate line)" 내에 존재해야 합니다.
• 실행: 충분한 안전한 후보가 존재하면 모델은 거부된 토큰을 교체합니다. 그렇지 않으면 부분적인 교체를 수행하거나 더 나은 대안이 없는 경우 원래의 선택을 유지합니다.

주요 기여

1. dMLLM 추론의 체계적 평가: 저자들은 AR 기반 VLM을 위해 설계된 추론 방법(예: DDCoT, CCoT)이 순차적 조건화와 병렬 반복 정제 사이의 근본적인 불일치로 인해 디퓨전 디코딩으로 효과적으로 전이되지 못함을 입증했습니다.
2. ST-Veto 프레임워크: 신뢰도 진화 역학(테일러 예측을 통해)과 시각적 접지 신호를 결합하여 토큰 선택을 가이드하는 새로운 훈련 불필요 디코딩 전략을 제안했습니다.
3. 성능 향상: 이 방법은 추가 학습이나 생성 비용 증가 없이 여러 모델과 벤치마크에서 일관된 성능 향상을 달으했습니다.

실험 결과

이 방법은 네 가지 벤치마크(M3CoT, ScienceQA, MMBench, V*Bench)에 대해 두 가지 최첨단 dMLLM(LaViDa-Reason, MMaDA-MixCoT)을 대상으로 평가되었습니다.

• 정확도 향상: ST-Veto는 표준 디코딩 정책(Base-Confidence, Base-Margin, Base-Entropy) 및 디퓨전에 맞게 조정된 기존 VLM 추서 방법보다 일관되게 우수한 성능을 보였습니다.
  • 정확도는 최대 **9%**까지 향상되었습니다.
  • 예를 들어, 생성 길이가 256인 LaViDa의 경우, ST-Veto는 M3CoT 점수를 29.55(Base)에서 31.87로, MMBench 점수를 31.55에서 38.25로 개선했습니다.
• 효율성: 표 2에서 알 수 있듯이, ST-Veto는 베이스 모델과 비교하여 계산 오버헤드가 미미합니다. 반면, AR 기반 방법을 디퓨전에 적응시키는 것은 순차적 추론을 모사하기 위해 생성 비용을 두 배(두 번의 추론 패스)로 늘리는 경우가 많지만, ST-Veto는 단일 디퓨전 추론 과정 내에서 작동합니다.
• 절제 연구 (Ablation Studies):
  • Taylor Veto 또는 Image Attention Veto 중 하나라도 제거하면 성능이 낮아졌으며, 이는 시간적 안정성과 시각적 접지 모두가 필요함을 확인시켜 줍니다.
  • 2차 테일러 예측(4단계 이력 사용)이 성능과 복잡성 사이의 최적의 절충안을 제공했습니다.
  • 여러 중간 레이어에 걸쳐 어텐션 신호를 평균 내는 것이 단일 레이어를 사용하는 것보다 더 견고했습니다.

의의 및 주장

본 논문은 ST-Veto가 **디퓨전 네이티브 추론(diffusion-native reasoning)**의 토대를 구축한다고 주장합니다. 디퓨전 모델에 내재된 토큰 진화의 전역적 가시성을 활용함으로써, ST-Veto는 생성을 시간적으로 안정적이고 시각적으로 접지된 경로로 유도합니다.

저자들은 자신들의 접근 방식이 범위 면에서 겸손함을 강조합니다:

• 이는 매개변수 업데이트를 요구하지 않는 훈련이 필요 없는(training-free) 추론 시점의 개입입니다.
• 멀티모달 생성 시스템의 모든 위험(예: 편향 또는 환각)을 제거하는 것은 아니지만, 토큰 선택의 신뢰도를 높입니다.
• 이 방법은 현재 dMLLM이 병렬 디코딩의 불안정성으로 인해 장기 생성 설정에서 일관된 추론을 유지하지 못하는 특정 구조적 격차를 해결합니다.

이 연구는 향avel dMLLM 추론의 향후 개선 방향이 순차적 의존성을 비순차적 패러다임에 강제로 적용하려는 시도가 아니라, 디퓨전 프로세스에 특화된 메커니즘(예: 신뢰도 역학 모니터링 및 시각적 앵커링)에 집중해야 함을 시사합니다.