기술 요약: 이미지 생성을 위한 다중 스케일 지역적 추측적 디코딩

문제 제기

자기회귀 (AR) 모델은 텍스트-이미지 정렬 및 의미 이해에 뛰어난 통합 멀티모달 대규모 언어 모델 (MLLM) 내에서 이미지 합성 분야에서 상당한 성공을 거두었습니다. 그러나 AR 디코딩의 순차적 특성은 특히 토큰 시퀀스가 해상도에 따라 이차함수적으로 증가하는 고해상도 출력의 경우 심각한 지연 시간 제약을 부과합니다. 추측적 디코딩 (SD) 은 경량 "드래fter" 모델을 사용하여 "타겟" 모델이 병렬로 검증할 토큰을 제안함으로써 가속화를 위한 유망한 길을 제시하지만, 기존 접근법들은 시각 도메인에서 다음과 같은 치명적인 한계에 직면해 있습니다:

1. 토큰 모호성: 시각 토큰 분포는 텍스트보다 종종 더 평탄하고 모호하여 표준 SD 의 낮은 수용률을 초래합니다.
2. 공간 인식 부재: 기존 방법들은 토큰 수준에서 작동하여 이미지의 고유한 공간적 구조와 다중 스케일 특성을 무시합니다.
3. 재샘플링 비효율성: 표준 SD 는 첫 번째 거부 발생 시 래스터 스캔 순서대로 후속 시퀀스 전체를 거부하는데, 이는 국소적 의존성이 강하지만 원거리 의존성은 약한 이미지에는 비효율적입니다.

방법론: MULO-SD

저자들은 다중 해상도 드래프팅과 공간 정보 기반 검증을 통합하여 AR 이미지 생성을 가속화하도록 설계된 다중 스케일 지역적 추측적 디코딩 (MULO-SD) 프레임워크를 제안합니다. 이 방법은 세 가지 핵심 메커니즘을 통해 작동합니다:

1. 다중 스케일 드래프팅

MULO-SD 는 타겟 해상도에서 토큰을 드래프트하는 대신, 업샘플러 ($U_r$) 와 짝을 이루는 저해상도 드래fter ($M_q$) 를 사용합니다.

• 프로세스: 드래fter 는 낮은 해상도 ($s_q$) 에서 토큰 시퀀스를 생성합니다. 이러한 토큰은 해상도 비율 ($r$) 의 제곱인 $r^2$배만큼 시퀀스 길이를 확장하여 타겟 해상도 ($s_p$) 와 일치하도록 업샘플링됩니다.
• 근거: 이는 이미지 해상도의 자연스러운 위계 구조를 활용합니다. 먼저 거친 구조를 생성함으로써 고해상도 타겟 모델 ($M_p$) 에 필요한 함수 평가 횟수 (NFE) 를 줄입니다.
• 드래프팅 전략: 표준 SD 가 $n$개의 토큰을 드래프트하는 것과 달리, 여기서 드래fter 는 업샘플러가 일관된 고해상도 패치를 생성하도록 전체 행을 생성합니다.

2. 지역적 검증 및 확장

토큰 모호성으로 인한 낮은 수용률과 래스터 스캔 거부의 비효율성을 해결하기 위해 MULO-SD 는 지역적 검증 전략을 도입합니다.

• 완화된 수용: LANTERN 에서 영감을 받아, 이 방법은 코드북 공간에서 $k$개의 가장 가까운 이웃에 걸친 확률 질량을 풀링합니다. 풀링된 확률이 임계값 $\tau$를 초과하면 드래프트 토큰이 수용됩니다.
• 지역적 거부 및 재샘플링: 결정적으로, 토큰이 거부될 때 이 방법은 후속 시퀀스 전체를 폐기하지 않습니다. 대신 거부된 토큰 주변의 지역적 이웃을 정의합니다. 이 이웃 내의 토큰 (및 거부된 토큰 자체) 만 타겟 모델에 의해 재샘플링됩니다.
• 메커니즘: 이는 AR 시각 모델의 공간적 국소성을 활용합니다. 즉, 토큰 예측은 즉각적인 이웃에 의해 크게 영향을 받지만 원거리 지역에는 약하게 영향을 받습니다. 이러한 "거부 섬" 접근법은 수용된 원거리 토큰을 보존하여 효율성을 크게 향상시킵니다.

3. 병렬 디코딩과의 통합

MULO-SD 는 병렬 디코딩 전략과 직교하도록 설계되었습니다.

• 병렬 드래프팅: 저해상도 드래프팅 단계는 드래프트 행을 순차적이 아닌 동시에 생성하기 위해 병렬 디코딩 (예: ZipAR) 을 활용합니다.
• 병렬 재샘플링: 거부된 토큰 집합 (그들의 지역적 이웃으로 확장됨) 은 "거부 섬" (8-연결 구성 요소) 으로 그룹화됩니다. 이러한 섬들은 타겟 모델에 의해 병렬로 재샘플링되어 순차적 의존성을 추가로 줄입니다.

주요 기여

1. 다중 스케일 드래프팅 프레임워크: 고해상도 이미지 생성을 위한 후보 토큰을 제안하기 위해 저해상도 드래fter 와 업샘플링을 활용하는 최초의 추측적 디코딩 방법으로, 드래프팅 전략에 거칠기에서 정밀함으로의 편향을 주입합니다.
2. 지역적 검증 메커니즘: 전체 래스터 스캔 시퀀스가 아닌 지역적 공간 이웃에서 작동하는 새로운 거부 및 재샘플링 전략으로, 시각 도메인에서 표준 SD 의 비효율성을 해결합니다.
3. 직교적 통합: MULO-SD 가 병렬 디코딩 기술과 결합되어 생성된 토큰의 품질을 훼손하지 않으면서 상당한 속도 향상을 달성할 수 있음을 보여줍니다.

실험 결과

이 방법은 Tar-1.5B/7B(멀티모달 LLM) 와 **LlamaGen (XL)**을 사용하여 MS-COCO 2017 5k 검증 분할에서 평가되었습니다. 측정 항목에는 디코딩 효율성 (속도 향상), 의미 정렬 (GenEval, DPG-Bench), 그리고 지각적 품질 (FID, HPSv2) 이 포함되었습니다.

• 속도 향상: MULO-SD 는 표준 순차 디코딩에 비해 최대 5 배 (특히 1024p 에서 Tar-7B 의 경우 5.33 배) 의 속도 향상을 달성합니다.
• 비교: 낮은 수용률로 인해 이미지에서 종종 음의 속도 향상을 보이는 EAGLE-2를 포함하여 LANTERN 및 ZipAR과 같은 강력한 기준선보다 우수한 성능을 보입니다.
  • 1024p 에서 MULO-SD(4 배 업스케일링) 는 기준선에 비해 GenEval(+0.2) 및 HPSv2(-0.8) 에서 최소한의 저하로 5.33 배의 속도 향상을 달성했습니다.
  • 의미 정렬을 동등하거나 더 잘 유지하면서 LANTERN 일관적으로 더 높은 속도 향상을 제공합니다.
• 애블레이션 연구:
  • 업샘플링: 훈련이 필요 없는 픽셀 공간 업샘플러가 모델 중립성으로 인해 경쟁력 있고 선호되는 것으로 나타났습니다.
  • 확률 풀링: 코드북 이웃에 걸친 확률을 풀링하면 성능이 안정화되고 수용률이 향상됩니다.
  • 지역적 확장: 지역적 거부 및 확장 메커니즘이 결정적입니다; 이를 생략하면 성능이 크게 저하됩니다.
  • 병렬 디코딩: 드래프팅 및 재샘플링에 병렬 디코딩을 활성화하면 일관된 엔드-투-엔드 지연 시간 개선을 가져옵니다.

중요성 및 주장

이 논문은 MULO-SD 가 이미지 합성을 위한 추측적 디코딩 분야에서 새로운 최첨단 (state-of-the-art) 을 설정하여 추론 효율성과 생성 충실도 사이의 간극을 성공적으로 연결했다고 주장합니다.

• 효율성 대 충실도: 이 프레임워크는 기존 가속화 방법들을 종종 괴롭히는 트레이드오프를 희생하지 않고 의미 정렬이나 지각적 품질을 희생하지 않으면서 상당한 가속 (최대 5 배) 을 달성할 수 있음을 보여줍니다.
• 호환성: 특정 샘플링 일정이 필요한 전용 다중 스케일 모델 (예: VAR) 과 달리 MULO-SD 는 다음 토큰 예측 목표 및 통합 MLLM 과 원활하게 통합되어 고해상도 이미지 합성을 위한 실용적인 솔루션이 됩니다.
• 확장성: 이 방법은 토큰 시퀀스의 이차 함수적 성장이 함수 평가 횟수 감소를 가장 크게 만드는 고해상도 (1024p) 에서 특히 효과적입니다.

저자들은 두 개의 서로 다른 체크포인트 (드래fter 및 검증자) 가 필요하여 메모리 사용량이 증가하고 두 모델 간의 분포 정렬에 의존한다는 점을 주요 한계로 지적합니다. 그들은 잠재적인 미래 해결책으로 자기 추측적 디코딩을 제안합니다.