NAMI: Efficient Image Generation via Bridged Progressive Rectified Flow Transformers

이 논문은 해상도 단계별로 트랜스포머 레이어를 점진적으로 추가하고 BridgeFlow 모듈을 통해 연결하는 'NAMI'라는 새로운 아키텍처를 제안하여, 이미지 생성의 추론 속도를 64% 단축하면서도 품질을 유지하는 효율적인 방법을 제시합니다.

핵심

🎨 NAMI: 그림을 그리는 '스마트한 화가'의 비법

이 논문은 NAMI라는 새로운 인공지능 모델을 소개합니다. 이 모델은 텍스트를 입력하면 고화질 이미지를 만들어내는 '텍스트-투-이미지' 기술의 한계를 극복하기 위해 고안되었습니다.

기존의 AI 화가들은 고화질 그림을 그리려면 시간이 너무 오래 걸리고, 컴퓨터 성능을 많이 잡아먹는다는 문제가 있었습니다. NAMI는 이 문제를 "작은 스케치부터 시작해서 점점 디테일을 채워나가는" 방식으로 해결했습니다.

이해하기 쉽게 3 가지 핵심 비유로 설명해 드릴게요.

---

1. 🏗️ 건축 공사: "작은 모형부터 짓는 것"

기존의 AI 모델들은 1024x1024 픽셀의 고화질 그림을 그릴 때, 처음부터 끝까지 모든 디테일을 동시에 처리하려고 했습니다. 마치 100 층짜리 빌딩을 지을 때, 1 층부터 100 층까지 동시에 벽돌을 쌓으려다 보니 공사가 느리고 비효율적인 것과 같습니다.

NAMI의 방식:
NAMI는 공사를 단계별로 나눕니다.

1. 1 단계 (저해상도): 먼저 작은 모형 (스케치) 을 그립니다. 이때는 건물의 전체적인 윤곽과 배치만 빠르게 잡습니다. (작은 공구만 쓰면 되므로 빠릅니다.)
2. 2 단계 (중간 해상도): 모형이 완성되면, 이를 바탕으로 조금 더 큰 규모로 확대합니다. 이제 창문이나 문 같은 주요 구조를 추가합니다.
3. 3 단계 (고해상도): 마지막으로 전체를 확대해서 벽돌 하나하나의 질감, 그림자, 빛의 반사 등 미세한 디테일을 채워 넣습니다.

이렇게 작은 것부터 큰 것까지 순서대로 작업하니, 처음부터 고화질을 다룰 때보다 훨씬 빠르고 효율적입니다.

2. 🌉 다리 건설: "두 세계를 연결하는 '브릿지플로우'"

그런데 여기서 문제가 생깁니다. 작은 스케치 (저해상도) 를 갑자기 큰 그림 (고해상도) 으로 키울 때, 이미지가 뭉개지거나 끊어질 수 있습니다. 마치 작은 강을 건너 큰 강으로 넘어갈 때, 다리가 없으면 넘어갈 수 없는 것과 같습니다.

NAMI의 해결책: '브릿지플로우 (BridgeFlow)'
NAMI는 각 단계 사이를 이어주는 지능적인 다리를 만들었습니다.

• 이 다리는 단순히 그림을 확대 (Upsampling) 하는 게 아니라, 다음 단계가 필요한 정보의 흐름을 자연스럽게 맞춰줍니다.
• 마치 건축가가 "이제 1 층을 지었으니, 2 층을 올릴 때 이 기둥 위치를 이렇게 맞춰줘야 해"라고 정확히 지시하는 것처럼, AI 가 다음 단계로 넘어갈 때 정보를 잃지 않고 이어받게 해줍니다.
• 덕분에 화질은 떨어지지 않으면서도 속도는 비약적으로 빨라집니다.

3. 🧠 뇌의 학습: "어릴 때는 간단하게, 성인이 되면 복잡하게"

기존 모델은 그림을 그릴 때, 처음부터 끝까지 **똑같은 두뇌 (파라미터)**를 계속 사용했습니다. 하지만 그림의 초기 단계 (윤곽 잡기) 에는 복잡한 두뇌가 필요 없고, 마지막 단계 (디테일 채우기) 에만 고급 두뇌가 필요하지요.

NAMI의 전략:

• 초기 단계: 간단한 두뇌 (적은 레이어) 만 사용합니다. (빠르고 가볍습니다.)
• 후기 단계: 점점 더 복잡한 두뇌 (많은 레이어) 를 추가합니다. (정교하고 섬세합니다.)

이는 마치 아이들이 그림을 그릴 때 처음엔 막대인형으로 대충 그리다가, 나이가 들면서 점점 더 정교한 그림을 그리는 과정과 비슷합니다. NAMI 는 이 원리를 AI 에 적용하여 불필요한 계산을 줄이고 효율을 극대화했습니다.

---

🚀 NAMI 가 가져온 변화

이 기술 덕분에 NAMI 는 놀라운 성과를 냈습니다.

• ⚡ 속도: 같은 크기의 모델로 고화질 (1024x1024) 이미지를 만들 때, 기존 모델보다 64% 더 빠릅니다. (약 1.5 배 이상 빨라진 셈입니다.)
• 🎨 품질: 속도가 빨라졌다고 해서 화질이 나빠진 건 아닙니다. 오히려 텍스트의 지시를 정확히 따르고, 공간 감각과 미적 감각도 뛰어납니다.
• 📊 새로운 시험: 연구팀은 기존 평가 기준의 한계를 극복하기 위해 **'NAMI-1K'**라는 새로운 평가 기준을 만들었습니다. 이는 다양한 상황과 긴 문장을 포함하여 AI 의 능력을 더 현실적으로 평가합니다.

💡 결론

NAMI 는 "작은 스케치부터 시작해, 단계별로 디테일을 더하고, 각 단계마다 적절한 두뇌를 사용하며, 단계 사이를 자연스럽게 연결하는" 스마트한 그림 그리기 기술입니다.

이 기술은 앞으로 AI 가 고화질 영상을 만들거나, 실시간으로 그림을 그려주는 등 더 많은 분야에서 빠르고 저렴하게 활용될 수 있는 길을 열었습니다. 마치 고화질 영화를 볼 때, 더 이상 기다림 없이 바로 볼 수 있게 된 것과 같은 혁신입니다! 🎬✨

기술 요약

1. 문제 정의 (Problem)

최근 텍스트-이미지 (T2I) 생성 모델 (Diffusion 및 Autoregressive 기반) 은 품질과 효율성 측면에서 큰 진전을 이루었으나, 여전히 다음과 같은 한계가 존재합니다.

• 높은 추론 비용: 최신 모델 (예: FLUX, SD3) 은 방대한 파라미터 수와 복잡한 아키텍처로 인해 추론 지연 시간 (Latency) 과 계산 비용이 매우 높습니다.
• 비효율적인 자원 할당: 기존 확산 모델은 모든 샘플링 단계에서 동일한 해상도와 동일한 모델 파라미터를 사용하여 전체 과정을 처리합니다. 그러나 이미지 생성의 초기 단계는 대략적인 레이아웃과 컨셉 구상만 필요하고, 후기 단계에야 세부적인 디테일이 추가됩니다. 이러한 생성 메커니즘의 차이를 고려하지 않고 모든 단계에 고비용의 모델을 적용하는 것은 비효율적입니다.
• 평가 기준의 부족: 기존 벤치마크 (GenEval, DPG-Benchmark 등) 는 프롬프트 다양성이 부족하거나 분포 편향 (Distributional Bias) 이 있어, 모델의 실제 인간 선호도 (Human Preference) 를 종합적으로 평가하기 어렵습니다.

2. 제안 방법 (Methodology)

저자들은 NAMI (Bridged Progressive Rectified Flow Transformers) 를 제안하여 시간적 (Temporal), 공간적 (Spatial), 아키텍처적 차원에서 생성 과정을 분해하고 효율화합니다.

가. 점진적 직선 흐름 (Progressive Rectified Flow) 및 다중 해상도 분할

• 이미지 생성 과정을 K 개의 해상도 단계로 분할합니다 (예: 256 → 512 → 1024).
• 각 해상도 단계에 해당하는 시간 창 (Time Windows) 을 정의하여, 전체 직선 흐름 (Rectified Flow) 을 여러 구간으로 나눕니다.
• 저해상도 단계: 이미지 레이아웃과 컨셉 윤곽을 생성하므로, Transformer 레이어 수를 줄인 경량 모델을 사용합니다.
• 고해상도 단계: 세부 디테일을 보강하므로, 레이어 수가 점진적으로 증가하는 모델을 사용합니다.
• 이를 통해 저해상도 단계에서는 연산량을 크게 줄이고, 고해상도 단계에서만 정밀한 처리를 수행합니다.

나. BridgeFlow 모듈 (연결 모듈)

• 서로 다른 해상도 단계 간의 확률적 경로 (Probabilistic Path) 가 불연속적으로 끊어지는 문제를 해결하기 위해 BridgeFlow 모듈을 도입했습니다.
• 이전 단계의 끝점 (End point) 을 업샘플링 (Upsampling) 한 후, 학습 가능한 선형 변환 (Learnable Linear Transformation, $W \cdot x + B$) 을 적용하여 다음 단계의 시작점 (Start point) 분포에 정렬 (Align) 시킵니다.
• 기존 Pyramid Flow 의 비모수적 (Non-parametric) 재샘플링 방식보다 학습 가능한 어댑션을 통해 더 강건하고 효율적인 전환을 가능하게 합니다.

다. 다중 해상도 동시 학습 (Multi-Resolution Training)

• 기존 방식처럼 저해상도 학습 후 고해상도 미세 조정 (Fine-tuning) 을 하는 것이 아니라, 서로 다른 해상도의 데이터를 동시에 학습합니다.
• 각 배치에서 다양한 해상도의 데이터를 샘플링하여 모델이 저해상도에서의 의미론적 학습과 고해상도에서의 디테일 학습을 공유하도록 하여, 수렴 속도를 가속화하고 catastrophic forgetting 을 방지합니다.

3. 주요 기여 (Key Contributions)

1. NAMI 아키텍처 제안: 직선 흐름 (Rectified Flow) 을 해상도 기반 단계로 분할하고, BridgeFlow 모듈로 연결하여 다중 해상도 학습을 가능하게 함.
2. 효율성 극대화: 시간적 분리와 공간적 캐스케이드 (Spatial Cascading) 를 통해 1024x1024 해상도 이미지 생성 시간을 64% 단축하면서도 품질을 유지.
3. BridgeFlow 모듈: 단계 간 흐름 정렬을 위한 학습 가능한 선형 변환 모듈을 제안하여 효율성과 안정성을 동시에 확보.
4. NAMI-1K 벤치마크: 기존 벤치마크의 한계를 보완하기 위해 오픈 벤치마크, AI 생성 프롬프트, 인간 작성 프롬프트를 결합한 1,000 개 프롬프트 데이터셋을 구축하여 인간 선호도 평가 기준을 마련.

4. 실험 결과 (Results)

• 추론 속도: 동일한 2B 파라미터 크기의 FLUX 기반 모델과 비교했을 때, 1024 해상도 이미지 생성 시간이 8.47 초에서 2.98 초로 약 64.8% 감소했습니다. 이는 흐름 분할 (Flow piecewise) 로 인한 53% 감소와 모델 분할 (Model partition) 로 인한 추가 11% 감소가 합쳐진 결과입니다.
• 생성 품질:
  • GenEval, DPG-Benchmark: 2B 파라미터 모델 중 최상위권 성능을 보이며, 12B 모델 (FLUX-dev) 에 버금가는 텍스트-이미지 정렬 능력을 입증했습니다.
  • NAMI-1K (Human Evaluation): 인간 평가자 (5 명) 를 통한 평가에서 Relevance, Coherence, Aesthetic, Realism 등 4 가지 차원에서 2B 모델들 (SD3-medium, Infinity, Hunyuan-DiT 등) 보다 우월한 성능을 보였습니다.
• 학습 효율성: 다중 해상도 동시 학습을 통해 FLUX 기반 베이스라인 대비 더 빠른 수렴 속도와 더 낮은 메모리 사용량 (Peak Memory 55GB vs 67.6GB) 을 달성했습니다.

5. 의의 및 결론 (Significance)

• 효율성과 품질의 균형: NAMI 는 모델의 파라미터 수를 줄이지 않고도, 생성 과정의 특성을 분석하여 필요한 단계에만 리소스를 집중함으로써 추론 비용을 획기적으로 절감하는 새로운 패러다임을 제시했습니다.
• 상용화 가능성: 높은 추론 속도와 낮은 비용은 실시간 이미지 생성 서비스 및 상업적 적용에 있어 중요한 장점이 됩니다.
• 평가 체계 개선: NAMI-1K 벤치마크는 기존 벤치마크의 편향을 해소하고, 실제 사용자 관점에서의 모델 성능을 종합적으로 평가할 수 있는 토대를 마련했습니다.
• 확장성: 제안된 방법은 이미지 편집 등 다른 태스크에도 적용 가능하며 (Training-free Image Editing), 향후 다른 효율적 방법론과의 통합을 통해 더 발전할 수 있는 잠재력을 가지고 있습니다.

요약하자면, NAMI 는 **"생성의 초기 단계는 가볍게, 후기 단계는 정밀하게"**라는 직관을 아키텍처와 학습 전략으로 구현하여, 대규모 Diffusion Transformer 모델의 효율성 문제를 해결한 획기적인 연구입니다.