기술 요약: 시각적 합성을 위한 생성적 정제 네트워크 (Generative Refinement Networks)

문제 정의

시각적 생성 분야는 현재 확산 모델(Diffusion Models)이 주도하고 있으나, 이들은 높은 품질에도 불구하고 계산 효율성 측면에서 한계를 보입니다. 확산 모델은 복잡도와 관계없이 모든 샘플에 균등한 계산량을 할당하므로 적응형 단계(adaptive-step) 능력이 부족합니다. 반면, 자기회귀(Autoregressive, AR) 모델은 가변적인 가능도(likelihood)를 통해 내재적인 복잡도 인지 능력을 제공하지만, 다음과 같은 두 가지 결정적인 결함으로 인해 어려움을 겪습니다:

1. 손실이 있는 이산 토큰화 (Lossy Discrete Tokenization): 표준 AR 모델은 이산 토크나를 기반으로 하며, 이는 역사적으로 연속적 표현에 비해 열등한 재구성 품질을 초래했습니다.
2. 오류 누적 (Error Accumulation): 엄격하게 인과적인 예측 메커니즘(토큰 단위 또는 스케일 단위)은 모델이 실수를 소급하여 수정하는 것을 방지합니다. 일단 토큰이 생성되거나(또는 마스크된 AR 모델에서 높은 신뢰도의 토큰이 고정되면), 이를 정제할 수 없으므로 오류 전파가 발생합니다.

방법론

저자들은 확산 모델의 고정된 계산 비용과 표준 AR 모델의 오류 누적 문제를 극복하기 위해 설계된 차세대 시각적 합성 패러다임인 **생성적 정제 네트워크 (Generative Refinement Networks, GRN)**를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 계층적 이진 양자화 (Hierarchical Binary Quantization, HBQ)

이산 토크나이저와 연속 토크나이저 사이의 재구성 품질 격차를 해결하기 위해, 저자들은 HBQ를 도입합니다.

• 메커니즘: Haar 웨이브릿에서 영감을 받은 HBQ는 다단계 계층적 이진 양자화를 통해 연속적인 VAE 특징을 이산적인 이진 레이블로 변환합니다. 특징값은 $(-1, +1)$로 매핑되며, 이진 버킷 트리(binary tree of buckets)를 기반으로 $M$ 단계의 이진 분할 과정을 거칩니다.
• 이론적 이점: 양자화 오차는 단계($j$)가 진행됨에 따라 지수적으로 감소합니다($< 1/2^j$). 이를 통해 이산 토크나이저는 잠재 채널 차원을 늘리지 않고도 연속적 표현에 필적하는 준손실 없는(near-lossless) 재구성을 달实现할 수 있습니다.
• 구현: 저자들은 생성을 위한 두 가지 변형을 제안합니다: GRNind(이산 인덱스 $0 \dots 2^M-1$ 예측) 및 GRNbit(연결된 이진 비트 예측).

2. 글로벌 정제 메커니즘 (Global Refinement Mechanism)

엄격하게 인과적이고 되돌릴 수 없는 방식으로 토큰을 생성하는 전통적인 AR 모델과 달리, GRN은 인간의 드로잉 과정을 모방한 글로벌 정제 루프를 사용합니다.

• 과정: 생성은 무작위 토큰 맵에서 시작됩니다. 각 단계 $t$에서 모델은 복합 상태 $F_t$를 기반으로 새로운 드로잉 맵 $Y_{t+1}$을 예측합니다.
• 상태 구성: $F_t$는 이진 선택 맵 $S_t$에 따라 현재의 드로잉 $Y_t$와 무작위 맵 $Y_{rand}$ 사이에서 선택하여 구성됩니다.
• 정제: 선택 맵 $S_t$는 이전 단계에서 유지할 토큰의 비율과 무작위 노이즈로 대체될 토큰의 비율을 제어합니다. 과정이 반복됨에 따라, 유지되는 "실제" 토큰의 비율은 단조롭게 증가합니다. 결정적으로, 이 메커니즘을 통해 모델은 더 많은 컨텍스트가 축적됨에 따라 이전의 오류를 **지우고 수정(erase and correct)**할 수 있으며, 이는 오류 전파를 효과적으로 완화합니다.

3. 복잡도 인지 샘플링 (Complexity-Aware Sampling)

GRN은 적응형 단계 생성을 가능하게 하기 위해 엔트로피 유도 샘플링 전략을 통합합니다.

• 엔트로피 계산: 모델은 각 단계에서 예측된 분포의 평균 엔트로피 $H(Y_t)$를 계산합니다.
• 적응형 스케줄링: 스케줄링 함수는 선택 비율 $l_t$(유지할 토큰의 비율)를 결정합니다.
  • 낮은 엔트로피 (높은 신뢰도): 더 적은 정제 단계가 할당되며, 선택 비율이 급격히 증가합니다.
  • 높은 엔트로피 (높은 복잡도): 더 많은 정제 단계가 할당되며, 추가적인 수정을 허용하기 위해 선택 비율이 완만하게 증가합니다.
• 이점: 이는 계산 자원을 동적으로 배분하여, 복잡한 샘플에는 더 많은 단계를 할당하고 단순한 샘플에는 더 적은 단계를 할당함으로써 시각적 품질을 저하시키지 않으면서 효율성을 높입니다.

주요 기여

1. GRN 프레임워크: 글로벌 정제 메커니즘과 복잡도 인지 생성을 결러합하여 견고하고 효율적인 시각적 생성을 달성하는 새로운 시각적 합성 프레임워크입니다.
2. 계층적 이진 양자화 (HBQ): 이산 이미지/비디오 토크나이저가 잠재 차원을 늘리지 않고도 높은 압축률에서 연속 토크나이저의 재구성 품질에 도달할 수 있게 하는 양자화 방식입니다 (예: ImageNet에서 0.56 rFID 달성).
3. 최첨단 성능 (SOTA): GRN은 이미지 재구성과 클래스 조건부 생성(class-conditional generation)에서 새로운 기록을 세웠으며, 확산 모델 및 기존 자기회귀 모델들을 능가합니다.

실험 결과

이미지 재구성 및 클래스-투-이미지 (C2I)

• 토크나이저 성능: ImageNet 256×256 벤치마크에서 HBQ 토크나이저는 0.56 rFID를 달성하여, SD-VAE(0.87)와 같은 연속형 베이스라인 및 VAR(0.85), LlamaGen(2.19)과 같은 이산형 베이스라인을 모두 넘어섰습니다.
• 생성 성능: 2B 파라미터 규모의 GRN-G 모델은 ImageNet에서 1.81 gFID와 299.0의 Inception Score (IS)를 달성했습니다. 이는 더 많은 파라미터를 가진 많은 최상위 확산 모델들과 DiT, SiT 및 VAR, LlamaGen과 같은 자기회귀 모델들을 능가하는 수치입니다.

텍스트-투-이미지 (T2I) 및 텍스트-투-비디오 (T2V)

• T2I: 2B 파라미터로 확장된 GRN은 0.76의 전체 GenEval 점수를 기록했습니다. 이는 거대 독점 모델(6B–20B)보다는 작지만, 동일 규모의 모델인 SD3 Medium(0.62) 및 Infinity(0.71)를 유의미하게 앞질렀습니다.
• T2V: GRN은 480p 비디오(2~10초) 생성을 위해 확장되었습니다. GRN은 특정 지표에서 HunyuanVideo(13B) 및 Wan 2.1(14B)과 같은 더 큰 확산 모델을 능가하는 82.99의 전체 VBench 점수를 기록했으며, Emu3(8B) 및 Nova(0.6B)와 같은 자기회귀 모델보다 우수한 성능을 보였습니다.

효율성

• 적응형 단계: 복잡도 인지 샘플링은 C2I 생성을 위한 평균 추론 단계를 줄여, 고정된 50단계 베이스라인 대비 FID를 3.56에서 3.47로 개선하면서도 1.25배의 평균 속도 향상(최대 2.5배)을 달성했습니다.
• 추론 시간: 1024×1024 T2I의 경우, GRN은 평균 약 4초가 소요됩니다 (Qwen-Image의 33초 대비). 480p T2V의 경우 약 125초가 소요됩니다 (Wan 2.1의 480초 대비). 이때 베이스라인 모델들은 최적화된 라이브러리를 사용한 반면, GRN은 순수 PyTorch 환경에서 실행되었음을 유의해야 합니다.

의의 및 주장

본 논문은 GRN이 기존의 시각적 자기회귀 모델을 제한해 온 양자화 손실과 오류 누적 문제를 해결한다고 주장합니다. 글로벌 정제 메커니즘을 도입함으로써, GRN은 표준 인과적 AR 모델에는 없는 소급적 오류 수정 능력을 제공합니다.

또한, 저자들은 GRN이 전적으로 이산 토큰을 기반으로 구축되었기 때문에 대규모 언어 모델(LLM)과의 **통합 학습(unified learning)**에 독보적으로 유리하다고 주장합니다. 이러한 통합은 텍스트와 시각적 토큰을 단일 이산 프레임워크 하에서 다룸으로써 멀티모달 이해와 생성을 자연스럽게 촉진할 수 있습니다. 저자들은 GRN이 현재 지배적인 "Transfusion"(확산-AR 하이브리드) 구조의 강력한 경쟁자로 부상할 잠재력이 있으며, 시각적 합성을 위한 더 효율적이고 이론적으로 탄탄한 경로를 제공할 것이라고 제언합니다.