Amber-Image: Efficient Compression of Large-Scale Diffusion Transformers

이 논문은 60 레이어의 Qwen-Image 기반 Diffusion Transformer 를 재학습 없이 효율적으로 압축하는 프레임워크를 제안하고, 이를 통해 파라미터를 70% 줄이면서도 2,000 GPU 시간 미만의 비용으로 고품질 이미지 생성과 텍스트 렌더링 성능을 유지하는 Amber-Image(10B 및 6B) 모델을 개발했습니다.

핵심

안녕하세요! 헬로그룹 (HelloGroup) 이 발표한 **'Amber-Image(앰버 - 이미지)'**라는 새로운 인공지능 기술에 대해, 복잡한 전문 용어 없이 쉽고 재미있게 설명해 드릴게요.

상상해 보세요. **거대한 60 층짜리 초고층 빌딩 (기존의 거대 AI 모델)**이 있다고 가정해 봅시다. 이 빌딩은 아주 훌륭하지만, 유지비 (컴퓨팅 비용) 가 너무 비싸고, 일반인이 살기에는 (개인용 컴퓨터로 실행하기에는) 너무 무겁습니다.

Amber-Image는 바로 이 거대한 빌딩을 철거하지 않고, '리모델링'해서 가볍고 효율적인 아파트로 바꾸는 기술입니다.

---

1. 왜 필요한가요? (문제 상황)

지금까지 최고의 그림을 그리는 AI 들은 (Qwen-Image, FLUX 등) 성능은 좋지만, 너무 무겁고 비쌉니다.

• 비유: 마치 "고급 레스토랑에서 100 인분 요리를 하려면 거대한 주방과 수십 명의 셰프가 필요하다"는 것과 같습니다. 일반인 (개인 개발자나 중소기업) 이 이걸 쓰려면 주방을 통째로 빌려야 하죠.
• 해결책: 우리는 "셰프 100 명을 다 해고할 필요는 없어요. 중요한 역할만 남기고, 나머지는 효율적으로 재배치하면 30 명으로도 같은 맛을 낼 수 있어요!"라고 말합니다.

2. 어떻게 만들었나요? (핵심 기술 3 단계)

이 기술은 크게 세 가지 단계로 이루어져 있습니다.

① 단계: "불필요한 층을 잘라내다" (Depth Pruning)

• 상황: 60 층짜리 빌딩에서 그림을 그리는 데 정말 중요한 층과, 그냥 비슷비슷한 층을 구분합니다.
• 방법: AI 가 "어떤 층이 없으면 그림이 망가질까?"를 테스트해 봅니다. (예: 1 층은 입구, 60 층은 지붕이라 절대 못 뺍니다.)
• 결과: 가장 덜 중요한 30 층을 잘라내서 **30 층짜리 빌딩 (Amber-Image-10B)**으로 만듭니다.
• 중요한 점: 그냥 뚝 잘라내면 건물이 무너질 수 있죠? 그래서 이웃 층의 벽돌 (가중치) 을 섞어서 빈 공간을 메꾸었습니다. 마치 "이 층이 사라졌으니, 바로 위아래 층의 특징을 섞어서 새로운 층을 만들어 보자"는 식입니다.

② 단계: "두 개의 통로를 하나로 합치다" (Hybrid-Stream)

• 상황: 원래 AI 는 '글자'를 처리하는 통로와 '그림'을 처리하는 통로가 따로 있었습니다 (이중 스트림).
• 방법: 처음 10 층까지는 글자와 그림을 따로 처리하지만, 그 아래 20 층은 통로를 하나로 합칩니다.
• 비유: "초반에는 글자와 그림을 따로 분석하다가, 깊은 곳에서는 두 정보가 이미 섞여 있으니 굳이 따로 다닐 필요 없이 하나의 길로 합쳐서 가자!"는 전략입니다.
• 결과: 30 층이었던 빌딩이 다시 **20 층짜리 초고층 아파트 (Amber-Image-6B)**로 변신합니다. 파라미터 (AI 의 두뇌 크기) 가 70%나 줄었습니다.

③ 단계: "스승에게 배우고 다듬기" (Distillation & Fine-tuning)

• 상황: 건물을 줄이다 보니 원래의 세련미가 조금 떨어질 수 있습니다.
• 방법: 원래의 거대한 AI(스승) 가 그린 그림을 보고, 줄여진 AI(제자) 가 "선생님이 어떻게 그렸는지"를 따라 그리며 학습합니다.
• 결과: 거의 원본과 똑같은 퀄리티를 유지하면서, 훨씬 가볍고 빠른 AI 가 완성됩니다.

3. 얼마나 놀라운가요? (성과)

• 비용 절감: 처음부터 AI 를 새로 만드는 데는 보통 수만 시간의 슈퍼컴퓨터 시간이 필요합니다. 하지만 이 방법은 2,000 시간도 안 되는 시간 (약 10 일) 만에 끝냈습니다. 비용이 10 분의 1 이하로 줄어든 셈입니다.
• 성능:
  • 그림 실력: 복잡한 지시사항을 잘 따르고, 사물의 위치나 색상을 정확히 그립니다. (DPG-Bench, GenEval 테스트에서 상위권)
  • 글자 실력: 그림 안에 글자를 넣을 때도 잘 씁니다. (LongText-Bench)
  • 비유: "거대한 레스토랑의 메인 셰프가 만든 요리를, 작은 주방에서도 거의 똑같은 맛으로 만들어냈다"는 뜻입니다.

4. 결론: 왜 이것이 중요한가요?

이 기술은 **"거대하고 비싼 AI 를, 누구나 쉽게 쓸 수 있는 가볍고 빠른 AI 로 바꿀 수 있다"**는 것을 증명했습니다.

• 과거: "고퀄리티 그림을 그리려면 거대하고 비싼 서버가 필요하다."
• Amber-Image 이후: "이제 일반 컴퓨터나 작은 서버에서도 전문가 수준의 그림을 그릴 수 있다!"

앞으로 이 기술은 의료, 교육, 게임 등 다양한 분야에서 저렴하게 고품질 AI 서비스를 만드는 열쇠가 될 것입니다. 마치 "거대한 공장을 없애고, 작은 공장에서 고급 제품을 만드는 기술을 발명했다"고 생각하시면 됩니다.

---

한 줄 요약:

"거대하고 무거운 AI 빌딩을, 중요한 부분만 남기고 효율적으로 리모델링해서, 적은 비용으로도 똑똑하고 빠른 '앰버 - 이미지' 아파트를 지었습니다!"

기술 요약

Amber-Image: 대규모 확산 트랜스포머 (Diffusion Transformer) 의 효율적 압축

이 논문은 텍스트 - 이미지 (T2I) 생성 분야에서 획기적인 성능을 보인 Diffusion Transformer (DiT) 아키텍처가 가진 막대한 계산 비용과 배포 장벽을 해결하기 위해 제안된 효율적인 압축 프레임워크인 Amber-Image를 소개합니다. HelloGroup 의 Computational Intelligence Dept 에서 개발한 이 모델은 60 레이어의 대규모 MMDiT 기반 모델 (Qwen-Image) 을 처음부터 학습 (Training from scratch) 하지 않고, 구조적 가지치기와 지식 증류 (Knowledge Distillation) 를 통해 경량화했습니다.

1. 문제 정의 (Problem)

• 계산 비용과 배포 장벽: 최신 T2I 모델 (예: Stable Diffusion 3, Qwen-Image 등) 은 수십 억 개의 파라미터를 가진 거대한 아키텍처를 사용하여 높은 품질의 생성을 가능하게 하지만, 학습과 추론에 막대한 GPU 자원이 필요합니다. 이는 소비자 등급 하드웨어에서의 배포를 어렵게 만듭니다.
• 데이터 및 비용의 비효율성: 기존 경량화 연구들은 대부분 처음부터 모델을 학습시키거나 방대한 규모의 정제된 데이터셋을 필요로 하여, 개인 연구자나 소규모 팀이 접근하기 어렵습니다.
• 목표: 대규모 모델의 성능을 유지하면서 파라미터를 대폭 줄이고, 학습 비용을 획기적으로 낮추어 효율적인 T2I 모델을 만드는 것.

2. 방법론 (Methodology)

Amber-Image 는 60 레이어의 듀얼 스트림 (Dual-stream) MMDiT 백본을 기반으로 하며, 두 단계의 압축 파이프라인을 통해 Amber-Image-10B와 Amber-Image-6B를 도출합니다.

A. Amber-Image-10B (깊이 가지치기 및 복구)

• 시간 단계 민감도 기반 깊이 가지치기 (Timestep-sensitive Depth Pruning):
  • 60 개의 레이어 중 생성 품질에 가장 적은 영향을 미치는 30 개의 레이어를 식별하여 제거합니다.
  • 레이어 중요도 평가: 각 레이어를 제거했을 때의 노이즈 예측 오차 (Discrepancy) 를 측정하되, 확산 과정의 특성 (초기 시간 단계는 전역 구조, 후기 시간 단계는 세부 질감에 영향) 을 고려하여 시간 단계 (timestep) 에 따른 가중치를 부여합니다.
• 지역 가중치 평균화 (Local Weight Averaging):
  • 제거된 레이어의 인접한 레이어들의 가중치를 산술 평균하여, 남아있는 레이어를 초기화합니다. 이는 학습 시작 시 발생하는 급격한 손실 증가 (Loss spike) 를 방지하고 고품질의 워밍업 (Warm start) 을 제공합니다.
• 2 단계 복구 프로토콜:
  1. 타겟 증류 (Targeted Distillation): 재초기화된 레이어만 학습시키고, 원본 모델 (Teacher) 의 은닉 상태를 사용하여 지식 증류를 수행합니다.
  2. 전체 파라미터 미세 조정 (Full-parameter Fine-tuning): 제한된 고품질 데이터셋을 사용하여 전체 모델을 미세 조정하여 시각적 충실도를 회복합니다.

B. Amber-Image-6B (하이브리드 스트림 아키텍처)

• 하이브리드 스트림 변환:
  • 모델의 앞부분 (1~10 레이어) 은 텍스트와 이미지를 별도로 처리하는 듀얼 스트림을 유지하여 모달리티별 특징 추출 능력을 보존합니다.
  • 뒷부분 (11~30 레이어) 은 이미지 스트림의 가중치로 초기화된 싱글 스트림으로 변환합니다. 깊은 층에서는 텍스트와 이미지 간의 시맨틱 상관관계가 높아 별도의 스트림이 불필요하다는 관점에서 설계되었습니다.
• 점진적 정렬 및 정제:
  • 10B 모델 (Teacher) 의 텍스트와 이미지 은닉 상태를 결합한 타겟을 사용하여 6B 모델의 싱글 스트림 레이어를 증류합니다.
  • 이후 경량 미세 조정을 통해 최종 모델을 완성합니다.

3. 주요 기여 (Key Contributions)

1. 충실도 인식 초기화를 통한 구조적 깊이 가지치기: 전역 충실도와 시간 단계 민감도를 고려한 레이어 중요도 평가 방식을 제안하여, 60 레이어 MMDiT 에서 절반의 레이어를 안전하게 제거하고 가중치 평균화를 통해 성능 저하를 최소화했습니다.
2. 심층 레이어 단일 스트림 변환을 통한 점진적 아키텍처 단순화: 초기 레이어는 듀얼 스트림을 유지하고 심층 레이어는 단일 스트림으로 전환하는 하이브리드 아키텍처를 도입하여 파라미터를 추가로 40% 감소시켰습니다.
3. 대규모 데이터 없이 이루어지는 2 단계 지식 전달: 처음부터 학습하거나 수십 억 개의 데이터를 필요로 하지 않고, 원본 모델과 중간 압축 모델을 Teacher 로 사용하는 지식 증류와 소규모 고품질 데이터셋의 미세 조정만으로 고품질 모델을 완성했습니다.

4. 실험 결과 (Results)

• 학습 효율성: 전체 파이프라인 (10B 및 6B 버전 포함) 의 학습에 8 개의 NVIDIA A100 GPU 를 사용하여 약 10 일, 총 2,000 시간 미만의 GPU 시간이 소요되었습니다. 이는 동급 모델을 처음부터 학습하는 데 필요한 비용의 극히 일부분입니다.
• 일반 T2I 생성 성능 (DPG-Bench, GenEval):
  • Amber-Image-10B 와 6B 는 DPG-Bench 와 GenEval 벤치마크에서 모든 비교 대상 모델 (Seedream 3.0, GPT Image 1, Qwen-Image 등) 을 능가하는 최고 점수를 기록했습니다.
  • 특히 복잡한 지시사항 준수 (Compositional Reasoning) 와 객체 중심의 공간 인식 능력에서 뛰어난 성능을 보였습니다.
• 텍스트 렌더링 성능 (LongText-Bench, CVTG-2K):
  • Amber-Image-10B 는 폐쇄형 소스 모델 (Seedream 3.0) 보다 우수한 다국어 텍스트 렌더링 성능을 보였습니다.
  • 6B 모델은 일부 전문 텍스트 렌더링 모델 (Z-Image 등) 에 비해 격차가 있지만, 일반적인 이미지 생성 품질과 텍스트 가독성 사이의 균형이 매우 뛰어났습니다.
• 약점: OneIG-Bench 의 '스타일 (Style)'과 '다양성 (Diversity)' 항목에서는 상대적으로 낮은 점수를 보였으며, 이는 미세 조정 데이터의 다양성 부족과 압축 과정에서 손실된 미학적 선입견 (Aesthetic priors) 에 기인한 것으로 분석했습니다.

5. 의의 및 결론 (Significance)

• 비용 효율적인 모델 개발 패러다임: Amber-Image 는 거대 모델을 처음부터 학습하는 대신, 기존 거대 모델을 전략적으로 압축하고 정제하는 방식을 통해 매우 낮은 비용으로 SOTA(최첨단) 수준의 성능을 달성할 수 있음을 입증했습니다.
• 배포 가능성 확대: 파라미터를 70% 줄이고 (20B → 6B/10B) 학습 비용을 획기적으로 낮춤으로써, 소비자 하드웨어에서의 T2I 모델 배포와 산업 적용의 장벽을 낮췄습니다.
• 향후 전망: RLHF(인간 피드백 기반 강화 학습) 를 도입하여 스타일과 다양성을 개선하고, 2~3B 규모의 초경량 특화 모델을 개발하여 다양한 산업 분야에 적용할 계획입니다.

이 연구는 대규모 생성 모델의 효율성 문제를 해결하는 새로운 방향성을 제시하며, 오픈소스 생태계에서 고품질 T2I 모델의 접근성을 높이는 중요한 이정표가 되었습니다.