CIAR: Interval-based Collaborative Decoding for Image Generation Acceleration

1. 문제 정의 (Problem)

최근 자동회귀 (Auto-Regressive, AR) 모델 (예: LlamaGen, Anole) 은 확산 (Diffusion) 기반 모델과 견줄 만한 고품질 이미지 생성 성능을 달성했습니다. 그러나 이러한 모델의 실용적 배포, 특히 온디바이스 (On-device) 환경에서는 두 가지 주요 병목 현상이 존재합니다.

1. 계산 부하 및 순차적 생성: AR 모델은 토큰을 하나씩 순차적으로 생성해야 하므로 추론 속도가 느리고, 고해상도 이미지를 위한 거대한 어휘 (Vocabulary) 로 인해 파라미터 크기가 커서 모바일 기기 등에 배포하기 어렵습니다.
2. 클라우드 - 디바이스 협업의 비효율성:
   • 통신 오버헤드: 이미지 토큰 수는 해상도에 따라 제곱으로 증가하여, 모든 토큰을 클라우드에서 검증하는 방식은 네트워크 대역폭과 지연 시간을 급증시킵니다.
   • 균일한 검증의 비효율: 기존 방법들은 이미지 내 모든 토큰을 동일하게 검증합니다. 그러나 이미지는 배경과 같은 '고정밀도 (High Redundancy)' 영역과 객체 경계와 같은 '고불확실성 (High Uncertainty)' 영역으로 나뉩니다. 예측이 명확한 영역까지 클라우드 자원을 낭비하는 것은 비효율적입니다.
   • 기존 불확실성 측정의 한계: 기존 엔트로피 기반 방법들은 이산적인 시각 토큰의 대규모 어휘와 공간적 맥락을 고려하지 못해 정확한 불확실성 측정이 어렵습니다.

2. 방법론 (Methodology)

저자들은 **CIAR (Collaborative Interval-based AutoRegressive Decoding)**이라는 클라우드 - 디바이스 협업 프레임워크를 제안합니다. 이는 온디바이스에서의 자체 검증 (Self-verification) 과 클라우드의 보정을 결합하여 지연 시간을 줄이고 품질을 유지합니다.

핵심 구성 요소:

1. 온디바이스 구간 기반 불확실성 정량화 (Interval-Based Uncertainty Quantifier):

   • Inter-Head 설계: 기존 LM Head 대신 토큰별 확률의 **상한 (Upper Bound) 과 하한 (Lower Bound)**을 출력하는 'Inter-Head'를 도입합니다. 이는 이산적인 선택지가 아닌 연속적인 확률 구간 (Probability Intervals) 을 표현하여 대규모 어휘에서도 계산 효율성을 높입니다.
   • 불확실성 점수 (Uncertainty Score): 토큰의 불확실성을 측정하기 위해 두 가지 요소를 곱한 새로운 지표를 사용합니다.
     • 전체 모호성 부피 (Total Ambiguity Volume, $\Omega$): 확률 구간의 총 합 (L1 노름).
     • 신뢰도 편차 (Confidence Disparity, $\Sigma$): 구간 폭들의 표준 편차.
     • 공식: $U(P_t) = \Omega_t \times \Sigma_t$. 이 공식은 전체 불확실성이 크고, 특정 토큰에 집중된 구조화된 불확실성이 있을 때 높은 점수를 부여합니다.
   • 작동 방식: 디바이스 모델이 토큰을 생성할 때 Inter-Head 로 불확실성을 계산합니다. 점수가 임계값 이하이면 디바이스에서 직접 수용 (Accept) 하고, 임계값을 초과하면 클라우드에 전송하여 검증받습니다.

2. 클라우드 강화 디코딩 (Cloud-Enhanced Decoding):

   • 접두사 주입 (Prefix Injection): 클라우드가 생성 초기의 짧은 토큰 시퀀스 (Prefix) 를 생성하여 디바이스에 제공합니다. 이는 디바이스 모델의 분포 이탈 (Distribution Drift) 을 방지하고 초기 생성 품질을 높입니다.
   • 구간 기반 특징 주입 (Interval-enhanced Decoding): 디바이스에서 수용된 토큰에 대해, 해당 토큰의 불확실성 정보 (구간 중심 및 반지름) 를 '구간 특징 (Interval Feature)'으로 변환하여 클라우드 모델에 주입합니다. 이를 통해 클라우드 모델은 디바이스의 신뢰도를 고려하여 토큰을 재샘플링하거나 검증함으로써 분포 정렬을 유지합니다.

3. 분포 정렬 훈련 전략 (Distribution Alignment Training Strategy):

   • Inter-DRO Loss: 디바이스의 Inter-Head 와 클라우드 모델 간의 분포 차이를 줄이기 위해 분포 강건 최적화 (Distributionally Robust Optimization, DRO) 개념을 적용한 손실 함수를 설계했습니다.
   • 하한 (Lower Bound) 을 '최악의 시나리오'로 간주하여, 예측이 어려운 샘플에 가중치를 두는 적대적 재가중치 (Adversarial Reweighting) 방식을 통해 클라우드와 디바이스의 출력 분포를 정렬합니다.

3. 주요 기여 (Key Contributions)

1. CIAR 프레임워크 제안: 온디바이스 불확실성 인식 검증을 통해 불필요한 균일 검증을 제거하고, 고품질 이미지 생성을 가속화하는 협업 AR 디코딩 프레임워크를 처음 제안했습니다.
2. Inter-Head 및 구간 기반 추정: 이산적 해 집합이 아닌 연속적인 확률 구간을 추정하는 Inter-Head 를 설계하여 대규모 시각 어휘에서의 불확실성 정량화 효율성을 극대화했습니다.
3. 분포 정렬 메커니즘: 구조적 차이에도 불구하고 클라우드와 디바이스 분포를 정렬하는 '구간 인식 DRO' 훈련 전략을 고안하여, 협업 과정에서의 품질 저하를 방지했습니다.

4. 실험 결과 (Results)

MS-COCO 데이터셋을 기반으로 LlamaGen 및 Anole 모델에 대한 실험을 수행했습니다.

• 가속도: 기존 방법 대비 **2.18 배 (Stage II 기준)**의 추론 속도 향상을 달성했습니다.
• 클라우드 요청 감소: 불필요한 토큰 전송을 줄여 클라우드 요청 횟수를 70% 감소시켰습니다 (약 30% 만 클라우드로 전송).
• 품질 유지: 가속화에도 불구하고 CLIP Score, FID, HPSv2 등 이미지 품질 지표에서 기존 베이스라인 및 다른 가속화 방법 (Lantern, CoDe 등) 과 비교해 동급 또는 우월한 성능을 보였습니다.
  • 예시: LlamaGen Stage II 에서 CIAR 은 FID 39.30, CLIP 0.2927 을 기록하며, Lantern(FID 41.87) 보다 우수한 품질을 유지하면서 지연 시간을 크게 단축했습니다.
• 비교 분석:
  • 텍스트용 스펙큘레이티브 디코딩을 이미지에 적용하면 성능이 급격히 떨어지는 것을 확인했습니다.
  • 엔트로피 기반 방법보다 구간 기반 방법이 시각적 세부 사항과 불확실성을 더 잘 포착하여 품질과 속도의 균형을 잘 이루었습니다.

5. 의의 및 결론 (Significance)

CIAR 은 온디바이스 환경에서 고해상도 이미지 생성을 위한 AR 모델의 실용적 배포 장벽을 해결하는 중요한 진전을 보여줍니다.

• 자원 효율성: 네트워크 대역폭과 클라우드 컴퓨팅 비용을 획기적으로 절감하면서도 고품질 생성을 가능하게 하여, 모바일 기기에서의 실시간 멀티모달 경험 제공에 기여합니다.
• 지능형 협업: 이미지의 공간적 특성을 고려하여 '어디를 검증할지'를 지능적으로 판단하는 메커니즘을 도입함으로써, 단순한 속도 향상을 넘어 효율적인 클라우드 - 엣지 협업의 새로운 패러다임을 제시합니다.
• 확장성: 제안된 구간 기반 불확실성 정량화 및 분포 정렬 기법은 다양한 생성 모델 아키텍처에 적용 가능한 일반적인 해결책으로 평가됩니다.

요약하자면, CIAR 은 불확실성 기반의 선택적 클라우드 검증과 구간 기반의 정밀한 분포 정렬을 통해, 이미지 생성 속도와 품질, 그리고 비용 효율성이라는 세 마리 토끼를 모두 잡은 혁신적인 프레임워크입니다.