Locality-aware Parallel Decoding for Efficient Autoregressive Image Generation

이 논문은 학습 가능한 위치 쿼리 토큰을 활용한 유연한 병렬 자기회귀 모델링과 국소성 인식 생성 순서 최적화를 통해 이미지 생성 품질을 유지하면서 생성 단계를 대폭 줄이고 지연 시간을 기존 병렬 자기회귀 모델 대비 최소 3.4 배 단축하는 '국소성 인식 병렬 디코딩 (LPD)' 기법을 제안합니다.

핵심

이 논문은 **"이미지를 그릴 때, 한 번에 여러 칸을 동시에 채우는 똑똑한 방법 (LPD)"**을 소개합니다.

기존의 AI 그림 그리기 기술은 마치 한 줄씩 글을 쓰는 사람처럼, 한 번에 한 칸 (패치) 씩만 그려나갔습니다. 이 방식은 매우 정확하지만, 256x256 크기의 그림을 그리려면 256 번이나 반복해서 그려야 해서 시간이 매우 오래 걸렸습니다.

이 논문은 **"한 번에 여러 칸을 동시에 그려도 그림이 망가지지 않게 하는 새로운 규칙"**을 찾아냈습니다. 이를 **LPD(Locality-aware Parallel Decoding)**라고 부릅니다.

---

🎨 핵심 비유: "벽화 그리기"와 "동시 작업"

1. 기존 방식: "한 줄씩 쓰는 서예가"

기존 AI 는 그림을 그릴 때 왼쪽에서 오른쪽, 위에서 아래로 한 칸씩만 그려나갔습니다.

• 문제점: 벽화 100 칸을 그릴 때, 1 번 칸을 그릴 때까지 2 번 칸은 절대 건드릴 수 없습니다. 100 번을 기다려야 하므로 시간이 매우 느립니다.
• 비유: 한 사람이 벽화 전체를 한 번에 한 칸씩 그려나가는 상황입니다.

2. 새로운 방식 (LPD): "함께 일하는 예술가 팀"

LPD 는 여러 칸을 동시에 그려도 됩니다. 하지만 무작정 동시에 그리면 그림이 엉망이 됩니다. (예: 눈과 입을 동시에 그리는데 위치가 어긋나거나 색이 안 맞을 수 있음)

이 논문은 두 가지 스마트한 규칙을 제안합니다.

---

💡 두 가지 핵심 아이디어

1. "주변을 잘 아는" 그리기 순서 (Locality-aware)

• 원리: 그림을 그릴 때, 이미 그려진 부분과 가까운 곳을 먼저 채우고, 동시에 그리는 칸들은 서로 멀리 떨어뜨려야 합니다.
• 비유:
  • 잘못된 방법: 벽화에서 '눈'과 '코'를 동시에 그리는데, 둘 다 벽화 구석구석에 흩어져 있으면 서로의 모양을 참고할 수 없어 엉망이 됩니다.
  • LPD 의 방법:
    1. 이미 그려진 '눈' 주변에 있는 '눈썹'을 먼저 그립니다. (이웃과 가까워야 정답을 알 수 있음)
    2. 동시에 그릴 때는 '눈썹'과 '코'처럼 서로 멀리 떨어진 곳을 선택합니다. (서로 간섭하지 않게 함)
  • 결과: 한 번에 20 칸을 동시에 그려도, 마치 한 번에 한 칸씩 그리는 것처럼 자연스럽고 정확한 그림이 나옵니다.

2. "위치 안내자" 토큰 (Flexible Parallelized Modeling)

• 원리: AI 가 "어디를 그릴지" 모르면 혼란스러워합니다. LPD 는 **"이곳을 그려!"라고 지시하는 특수한 토큰 (Position Query Token)**을 사용합니다.
• 비유:
  • 기존 방식: "다음 칸을 그려"라고만 하면 AI 는 순서대로만 그릴 수 있습니다.
  • LPD 방식: "이곳 (좌표 1,1) 과 이곳 (좌표 5,5) 을 동시에 그려!"라고 지시합니다. AI 는 이 지시를 받으면, 이미 그려진 주변 정보를 참고해서 두 곳을 동시에 완벽하게 채웁니다.

---

🚀 어떤 성과가 있었나요?

이 방법을 적용하자 놀라운 변화가 일어났습니다.

1. 속도 폭발:

   • 기존: 256 번의 작업을 256 번 반복 (약 10 초 이상 소요)
   • LPD: 256 번의 작업을 20 번으로 줄임 (약 0.5 초 소요)
   • 결과: 기존보다 최소 3.4 배, 최대 12 배 이상 빨라졌습니다.

2. 품질 유지:

   • 속도를 10 배나 높였지만, 그림의 선명도나 아름다움은 떨어지지 않았습니다. 오히려 다른 빠른 방법들보다 더 좋은 그림을 그렸습니다.

3. 유연한 편집:

   • 순서대로만 그리는 게 아니라, 임의의 순서로 그릴 수 있으므로, 그림의 일부만 지우고 다시 그리기 (인페인팅) 나, 그림을 확장하기 (아웃페인팅) 도 매우 쉽게 할 수 있습니다.

📝 한 줄 요약

"그림을 그릴 때, 한 번에 한 칸씩만 그리지 말고, '주변을 잘 보고' '서로 간섭하지 않는 곳'을 골라 여러 칸을 동시에 그리는 지능적인 팀워크를 도입하면, 그림 속도는 10 배 빨라지고 품질은 그대로 유지된다!"

이 기술은 앞으로 AI 가 더 빠르고 자연스럽게 이미지를 생성하고, 멀티모달 (텍스트, 이미지, 언어를 모두 이해하는) AI 로 발전하는 데 큰 역할을 할 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 자동회귀 이미지 생성 모델 (예: VQGAN, LlamaGen 등) 은 이미지를 패치 (patch) 단위로 분할하여 한 번에 하나의 패치만 예측하는 방식 (next-patch prediction) 을 따릅니다.

• 메모리 병목 현상 (Memory-bound): 각 생성 단계마다 전체 모델 파라미터를 GPU 메모리에서 불러와야 하므로, 생성 단계 수가 많을수록 지연 시간이 선형적으로 증가합니다.
• 병렬화의 한계: 기존 연구들은 여러 패치를 동시에 예측하여 속도를 높이려 시도했으나 (Multi-patch prediction), 공간적으로 인접한 패치 간의 강한 의존성으로 인해 생성 품질이 저하되거나 병렬화 수준이 제한적이었습니다.
• 순서 고정성: 전통적인 AR 모델은 래스터 순서 (Raster Order, 왼쪽에서 오른쪽, 위에서 아래) 와 같은 고정된 생성 순서를 따르므로, 유연한 편집이나 다양한 병렬화 전략 적용이 어렵습니다.

2. 방법론 (Methodology)

LPD 는 **유연한 병렬 자동회귀 모델링 (Flexible Parallelized Autoregressive Modeling)**과 **국소성 인식 생성 순서 (Locality-aware Generation Ordering)**라는 두 가지 핵심 기술을 결합합니다.

A. 유연한 병렬 자동회귀 모델링 (Flexible Parallelized Autoregressive Modeling)

기존 디코더 전용 (decoder-only) 아키텍처의 한계를 극복하기 위해 컨텍스트 표현과 토큰 생성을 분리합니다.

• 위치 쿼리 토큰 (Position Query Tokens): 생성할 목표 위치를 나타내는 학습 가능한 쿼리 토큰을 도입합니다. 이는 모델이 임의의 위치에서 병렬로 토큰을 생성할 수 있게 합니다.
• 전용 어텐션 마스크:
  • Context Attention: 이전에 생성된 이미지 토큰들이 이후의 모든 토큰에게 컨텍스트를 제공합니다.
  • Query Attention: 동일한 단계에서 병렬로 생성되는 쿼리 토큰들끼리는 **상호 가시성 (mutual visibility)**을 가지도록 하여, 그룹 내 일관성을 유지합니다. 동시에 이후 단계의 토큰이 현재 단계의 쿼리 토큰을 보지 못하도록 차단합니다.
• KV 캐싱 최적화: 생성된 이미지 토큰만 KV 캐시에 저장하고, 쿼리 토큰은 저장하지 않아 메모리 오버헤드를 줄입니다.

B. 국소성 인식 생성 순서 (Locality-aware Generation Order Schedule)

이미지 생성에서 어텐션 맵이 **공간적 국소성 (Spatial Locality)**을 가진다는 관찰 (인접한 토큰끼리 강한 의존성) 에 기반합니다.

• 원칙 1 (높은 근접성): 새로 생성할 토큰은 이미 생성된 컨텍스트 토큰과 공간적으로 가까워야 강력한 조건부 (conditioning) 를 받습니다.
• 원칙 2 (낮은 근접성): 동시에 병렬로 생성되는 토큰들은 서로 공간적으로 멀리 떨어져 있어야 상호 의존성을 최소화하여 생성 불일치를 방지합니다.
• 알고리즘: 위 두 원칙을 만족하도록, 각 단계에서 생성할 토큰 그룹을 선택합니다. 먼저 기존 컨텍스트와 가까운 토큰들을 우선 선택하고, 선택된 토큰들끼리는 특정 거리 (repulsion threshold) 이상 떨어져 있도록 필터링합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 아키텍처: 임의의 생성 순서와 병렬화 수준을 지원하면서도 KV 캐싱을 활용한 효율적인 추론이 가능한 유연한 AR 모델링 설계.
2. 최적화된 스케줄링: 이미지 생성의 공간적 국소성을 분석하여, 컨텍스트 의존성을 최대화하고 병렬 그룹 내 의존성을 최소화하는 새로운 생성 순서 스케줄링 알고리즘 제안.
3. 품질과 속도의 동시 달성: 기존 병렬 AR 모델들의 품질 저하 문제를 해결하며, 생성 단계를 획기적으로 줄임.

4. 실험 결과 (Results)

ImageNet 클래스 조건부 이미지 생성 (256x256 및 512x512) 에서 기존 모델들과 비교 평가되었습니다.

• 생성 단계 감소:
  • 256x256 해상도: 기존 256 단계 → 20 단계로 감소 (약 12.8 배).
  • 512x512 해상도: 기존 1024 단계 → 48 단계로 감소 (약 21.3 배).
• 지연 시간 (Latency) 개선:
  • 256x256 해상도에서 이전 병렬 AR 모델 (ARPG, RandAR 등) 대비 최소 3.4 배 ~ 4.2 배 빠른 추론 속도 달성.
  • LPD-XL 모델은 20 단계로 FID 2.10 을 달성하여, 64 단계의 ARPG-XL 과 유사한 품질을 보이면서 3.4 배 더 빠릅니다.
• 품질 유지: 생성 단계가 크게 줄어들었음에도 FID(Fréchet Inception Distance) 와 IS(Inception Score) 등 생성 품질 지표는 기존 SOTA 모델들과 경쟁 가능한 수준을 유지했습니다.
• 확장성: 1024x1024 해상도의 텍스트 - 이미지 생성 (GenEval 벤치마크) 으로도 확장 가능하며, 제로샷 이미지 편집 (인페인팅, 아웃페인팅, 클래스 조건부 편집) 도 자연스럽게 지원합니다.

5. 의의 및 결론 (Significance)

LPD 는 자동회귀 이미지 생성 분야에서 효율성과 품질 간의 트레이드오프를 성공적으로 극복한 획기적인 접근법입니다.

• 실용성: 메모리 병목 현상을 해결하여 실제 응용 환경에서 자동회귀 모델의 실용성을 크게 높였습니다.
• 유니버설 호환성: 다중 스케일 토큰을 사용하는 방식이 아닌, 평탄한 (flat) 토큰 표현을 유지하므로 기존 비전 백본 (CLIP, DINO 등) 및 멀티모달 시스템과의 호환성이 뛰어납니다.
• 미래 지향성: 대규모 언어 모델 (LLM) 의 확장성과 자동회귀 생성의 효율성을 결합하여, 차세대 멀티모달 생성 모델의 핵심 기술로 자리 잡을 가능성이 큽니다.

요약하자면, LPD 는 **"어떻게 하면 이미지 생성의 병목이 되는 순차적 단계를 줄이면서도, 공간적 의존성을 고려하여 고품질의 이미지를 생성할 수 있는가?"**에 대한 탁월한 해답을 제시한 연구입니다.