💻 computer science

Qwen-Image-VAE-2.0 Technical Report

Qwen-Image-VAE-2.0 는 글로벌 스킵 연결, 합성 렌더링을 통한 대규모 학습, 그리고 향상된 의미 정합과 같은 아키텍처 혁신을 통해 최첨단 재구성 충실도와 우수한 확산성을 달성하는 고압축 변이형 오토인코더 스위트로, 특히 텍스트가 풍부한 시나리오에서 탁월한 성능을 발휘합니다.

원저자: Zekai Zhang, Deqing Li, Kuan Cao, Yujia Wu, Chenfei Wu, Yu Wu, Liang Peng, Hao Meng, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zekai Zhang, Deqing Li, Kuan Cao, Yujia Wu, Chenfei Wu, Yu Wu, Liang Peng, Hao Meng, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue Chen, Yan Shu, Yanran Zhang, Yilei Chen, Yixian Xu, Yuxiang Chen, Zhendong Wang, Zihao Liu, Zikai Zhou, Yiliang Gu, Yi Wang, Xiaoxiao Xu, Lin Qu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

친구에게 번잡한 도시 거리의 고해상도 대용량 사진을 보내려는데 인터넷 연결이 매우 느리다고 상상해 보세요. 이때 두 가지 선택지가 있습니다:

옛날 방식: 사진을 약간만 축소합니다 (일반 엽서 크기처럼). 모양은 괜찮아 보이지만, 친구가 작은 거리 표지판이나 번호판을 읽으려 하면 글자들이 흐릿한 얼룩으로 변합니다.
새로운 방식 (Qwen-Image-VAE-2.0): 사진을 우표 크기까지 축소합니다 (고압축 비율). 보통 이렇게 하면 이미지가 엉망이 되지만, 이 새로운 기술은 그렇게 작게 축소하면서도 거리 표지판을 완벽하게 읽을 수 있게 하고 디테일을 선명하게 유지합니다.

보고서의 아이디어를 바탕으로 Qwen-Image-Image-VAE-2.0 팀이 이를 달성한 방법을 간단히 설명하면 다음과 같습니다:

1. 문제: "압착"의 트레이드오프

AI 이미지 생성 세계에는 이런 불문율이 있습니다: 이미지를 공간 절약 (압축) 을 위해 너무 작게 짜내면 보통 미세한 디테일 (재구성) 을 잃게 됩니다. 반면, 디테일을 유지하기 위해 "짜낸" 데이터를 크게 만들면 나중에 새로운 이미지를 생성하는 AI 가 혼란을 겪고 학습에 시간이 너무 오래 걸립니다 (확산성). 마치 도서관 전체를 신발상자에 넣으려 하는 것과 같습니다. 책들이 찢어지거나, 상자가 너무 무거워 아무도 들 수 없게 됩니다.

2. 해결책: 더 똑똑한 "여행가방"

Qwen 팀은 세 가지 영리한 작업을 통해 이 문제를 해결하는 새로운 종류의 디지털 여행가방 (VAE) 을 만들었습니다:

"글로벌 스킵 연결" (직통 회선):
여행가방을 싸는 상황을 상상해 보세요. 보통 모든 것을 깔끔하게 접으면 깨지기 쉬운 화분 (미세한 텍스트 디테일) 같은 것들이 으깨집니다. Qwen 팀은 원본 사진에서 여행가방으로 이어지는 "직통 회선"을 추가했습니다. 가장 중요하고 고주파수인 디테일 (글자의 날카로운 가장자리 등) 을 먼저 접지 않고 바로 여행가방 안으로 밀어 넣습니다. 이렇게 하면 이미지가 아주 작아져도 텍스트의 날카로운 가장자리가 온전하게 유지됩니다.
"더 넓은" 여행가방 (확장된 채널):
보통 이미지를 축소할 때 여행가방을 좁게 만듭니다. 하지만 담을 정보가 많다면 좁은 여행가방은 물건을 으깨버립니다. Qwen 팀은 여행가방을 더 넓게 만들었습니다 (채널 차원 증가). 이렇게 하면 축소된 이미지의 디테일을 잃지 않고 더 많은 공간을 확보할 수 있습니다. 여행가방이 더 넓어졌더라도 이를 나르는 AI 가 느려지거나 무거워지지 않는다는 것을 증명했습니다.
"훈련용 바퀴" (의미 정렬):
넓은 여행가방의 일반적인 문제는 이를 나르는 AI 가 안에 무엇이 들어있는지 혼란을 겪는다는 점입니다. 이를 해결하기 위해 팀은 여행가방이 "스마트 지도" (DINOv2 라는 도구 사용) 와 내용을 매칭하도록 contents 를 정리하는 법을 가르쳤습니다. 이 지도는 사물들이 개념적으로 어떻게 생겼는지 알고 있습니다. 여행가방의 내용물을 이 지도와 정렬함으로써 AI 는 더 빠르게 학습하고 나중에 더 좋은 이미지를 생성합니다. 그들은 단계별로 이를 수행했습니다: 먼저 엄격한 정렬을 강요해 기초를 가르친 뒤, 규칙을 완화하여 AI 가 그림을 아름답게 만드는 데 집중하도록 했습니다.

3. "텍스트가 풍부한" 도전 과제

대부분의 AI 테스트는 고양이 사진이나 풍경 사진을 사용합니다. 하지만 Qwen 팀은 텍스트가 축소하기 가장 어려운 요소임을 알고 있었습니다. 흐릿한 고양이는 여전히 고양이이지만, 흐릿한 글자 "A"는 덩어리로 보입니다.

이를 해결하기 위해 그들은 단순히 무작위 사진을 사용하지 않았습니다. 대신 다음과 같이 진행했습니다:

수십억 장의 이미지를 수집했습니다.
교과서, 포스터, 신문과 같은 수백만 개의 문서를 특별히 모았습니다.
텍스트를 무작위 배경 (벽돌 벽이나 나무에 표지판을 붙이는 것 등) 에 인쇄하는 **합성 파이프라인 (로봇 공장)**을 만들어 AI 가 혼란스러운 실제 세계 상황에서 텍스트를 처리하는 법을 배우도록 했습니다.

4. 새로운 테스트: "OmniDoc-TokenBench"

팀은 단순히 픽셀 밝기를 측정하는 기존 테스트가 텍스트 가독성을 확인하는 데 적합하지 않음을 깨달았습니다. 그래서 OmniDoc-TokenBench라는 새로운 테스트를 개발했습니다.

작동 방식: 문서를 가져와 AI 로 축소한 뒤, "읽기 로봇" (OCR) 이 원본과 축소된 버전의 텍스트를 읽게 합니다.
점수: 로봇이 읽은 내용을 비교합니다. 원본에서 "Hello"를 읽었는데 축소된 버전에서 "Helo"로 읽으면 점수가 떨어집니다. 이는 색상이 올바른지 여부가 아니라 텍스트가 실제로 가독성이 있는지를 측정합니다.

5. 결과

재구성: 모델을 테스트했을 때, 이미지를 16 배 또는 32 배까지 축소 (원본 크기의 1/16 또는 1/32) 해도 텍스트를 완벽하게 읽을 수 있었습니다. 같은 크기에서 다른 모델들은 텍스트를 뜻 모를 글자 더미로 만들었습니다.
속도: "인코더" (여행가방을 싸는 부분) 를 매우 가볍게 만들고 무거운 "어텐션" 메커니즘을 제거했기 때문에 이미지를 매우 빠르게 압축합니다.
생성: 이 압축된 여행가방을 사용해 새로운 이미지 생성기 (DiT) 를 학습시켰을 때, 다른 고압축 모델들보다 훨씬 빠르게 학습했습니다.

요약

Qwen-Image-VAE-2.0 은 초고효율 포장 서비스와 같습니다. 텍스트가 풍부한 대용량 문서를 글자를 으깨지 않고 아주 작은 크기로 축소할 수 있으며, 내용을 매우 잘 정리하여 다음 사람 (이미지 생성기) 이 이를 풀어서 매우 빠르게 고품질의 새로운 이미지를 만들 수 있게 합니다. 이는 기존에 "작은 파일 크기", "선명한 텍스트", "빠른 생성" 중 하나를 선택해야 했던 문제를 해결하며, 이 모델은 세 가지를 모두 제공합니다.

기술 요약: Qwen-Image-VAE-2.0

문제 정의

잠재 확산 모델 (LDMs) 은 일반적으로 이미지를 잠재 공간으로 투영하기 위해 공간 압축 비율이 8 인 ( $f8$ ) 변이 오토인코더 (VAE) 에 의존하며, 이미지 합성을 위한 지배적인 패러다임이 되었습니다. 그러나 산업계가 네이티브 고해상도 합성으로 전환함에 따라 $f8$ 표준은 계산 병목 현상을 초래합니다. 현대의 확산 트랜스포머 (DiT) 의 복잡성은 잠재 토큰 수에 따라 이차적으로 증가하므로, 효율성을 위해 공간 압축 비율을 높이는 것 (예: $f16$ 또는 $f32$ ) 이 필수적입니다.

고압축 VAE 의 발전에도 불구하고, 압축 비율, 재구성 충실도, 그리고 확산 용이성 (확산으로 분포를 모델링하기 쉬운 정도) 사이에는 중요한 삼자 간의 트레이드오프가 존재합니다.

재구성 충실도: 더 높은 압축 비율은 종종 재구성 품질의 심각한 저하로 이어지며, 특히 세밀한 디테일과 가독성이 손실되는 텍스트가 풍부한 시나리오에서 두드러집니다.
확산 용이성: 정보 병목 현상을 완화하기 위해 잠재 채널 차원을 단순히 늘리는 것은 종종 과도하게 복잡하고 비구조화된 잠재 분포를 초래합니다. 이는 하류 확산 모델의 수렴과 생성 성능을 방해합니다.
평가 격차: 표준 벤치마크 (예: ImageNet, FFHQ) 와 픽셀 수준 지표 (PSNR, SSIM) 는 텍스트가 풍부한 재구성을 평가하는 데 적합하지 않습니다. 왜냐하면 미세한 획 왜곡이 픽셀 지표에 큰 영향을 주지 않으면서도 텍스트를 읽을 수 없게 만들 수 있기 때문입니다.

방법론

Qwen-Image-VAE-2.0 은 아키텍처 혁신, 포괄적인 데이터 엔지니어링, 그리고 강화된 학습 전략을 통해 이러한 과제를 해결합니다.

1. 모델 아키텍처

대용량 채널을 통한 고압축: 이 모델은 $f16$ 및 $f32$ 의 공간 압축 비율을 채택합니다. 공간 정보 손실을 보상하기 위해 채널 차원 ( $C$ ) 을 크게 확장 (최대 192 채널) 하여, DiT 가 잠재 공간을 고정된 은닉 차원으로 투영하므로 DiT 학습 효율성을 저해하지 않으면서 총 정보 병목 용량 ( $N(z) = CHW/f^2$ ) 을 증가시킵니다.
글로벌 스킵 연결 (GSC): 공격적인 다운샘플링 과정에서 손실된 세밀한 디테일을 보존하기 위해 아키텍처는 GSC 를 도입합니다. 이는 픽셀에서 잠재 공간으로 초기 다운샘플링을 우회하는 직접적인 잔차 경로를 설정합니다. 공간 - 채널 연산을 사용하여 공간 정보를 채널 차원에 '접어넣어' 네트워크에 고주파 신호를 제공합니다.
어텐션 없는 백본: 초고해상도 입력에 대한 처리량과 확장성을 보장하기 위해, 모델은 어텐션 없는 백본을 활용합니다. 이는 자기 어텐션의 $O(N^2)$ 계산 및 메모리 복잡성을 피하고 대신 합성곱 연산에 의존합니다.
비대칭 인코더 - 디코더: 경량 인코더는 확산 훈련 중 인코딩 오버헤드를 최소화하는 반면, 무거운 디코더는 고충실도 재구성을 보장합니다.

2. 데이터 엔지니어링

규모 및 큐레이션: 학습 코퍼스는 수십억 장의 이미지로 확장되었습니다. 명확성 및 흐림 필터를 사용하여 저품질 샘플을 제거했습니다.
텍스트 풍부 초점: 실제 문서 (학술 논문, 슬라이드, 포스터, 웹 페이지) 의 전문 컬렉션을 큐레이션했습니다. OCR 필터는 문자 밀도가 높은 샘플을 우선시했습니다.
합성 렌더링 파이프라인: 합성 데이터와 실제 데이터 간의 격차를 해소하기 위해, 일반 도메인 이미지에서 무작위로 샘플링된 배경 위에 텍스트를 렌더링하는 파이프라인을 구축했습니다. 이 '배경 포함 합성'은 배경이 없는 데이터로 훈련된 모델에서 관찰되는 poor 일반화를 방지합니다. 이 파이프라인은 다양한 문자 크기 (5~20 픽셀) 를 가진 알파벳 (영어) 및 표의문자 (중국어) 언어를 지원하여 세밀한 디테일 포착을 강제합니다.

3. 학습 전략

단순화된 손실 함수: 학습 목적 함수는 Kullback-Leibler (KL) 정규화와 GAN 손실을 제거합니다.
- KL 손실 제거: 가우시안 사전 제약 조건을 제거하면 의미론적 정렬 목표와의 충돌을 방지하여 더 유연한 잠재 공간을 허용합니다.
- GAN 손실 제거: 충분한 데이터와 반복 횟수로 픽셀 수준 ( $L1$ ) 및 지각적 ( $L_{lpips}$ ) 손실만으로도 날카로운 재구성이 가능하므로, 최적화를 단순화하고 안정성을 향상시킵니다.
의미론적 정렬: 잠재 공간이 '확산 용이성 친화적'이 되도록, 모델은 사전 훈련된 DINOv2 인코더의 중간 특징과 잠재 표현을 정렬합니다.
- 레이어 선택: 더 부드러운 공간 맵을 제공하기 위해 최종 레이어 대신 인코더의 중간 레이어를 사용합니다.
- 손실 구성 요소: 정렬 손실 ( $L_{align}$ ) 은 특징 방향을 정렬하는 마진 코사인 유사도 (Marginal Cosine Similarity) 와 상대적 공간 배치를 보존하는 마진 거리 행렬 유사도 (Marginal Distance Matrix Similarity) 를 결합합니다.
단계적 학습 패러다임:
- 해상도: 저해상도에서 2K 까지 커리큘럼 학습.
- 텍스트 주입: 일반 이미지에서 실제 텍스트가 풍부한 샘플로, 그리고 마지막으로 다양한 난이도의 합성 텍스트 데이터로 진행.
- 정렬 보정: 학습은 DiT 수렴을 가속화하기 위해 엄격한 의미론적 정렬로 시작하여, 의미론적 일관성과 픽셀 수준 재구성 품질 사이의 균형을 맞추기 위해 마진을 점진적으로 완화합니다.

주요 기여

고압축 VAE 스위트: 효율적인 네이티브 고해상도 이미지 생성을 위한 강력한 솔루션인 $f16$ 및 $f32$ 이미지 VAE 도입.
우수한 재구성 성능: 여러 벤치마크에서 최첨단 (SOTA) 재구성 달성. 이 모델은 전통적인 고압축 모델이 실패하는 텍스트가 풍부한 시나리오에서도 극단적인 $f32$ 압축에서도 예외적인 가독성을 유지합니다.
향상된 잠재 확산 용이성: 정교한 의미론적 정렬을 통해 대용량 채널 VAE 가 우수한 확산 용이성을 달성할 수 있음을 입증. 이는 대규모 잠재 차원에도 불구하고 빠른 DiT 수렴을 가능하게 하여 삼자 간 트레이드오프를 해결합니다.
OmniDoc-TokenBench: 9 개 카테고리와 영어/중국어 모두를 포함하는 약 3,000 개의 다양한 텍스트가 풍부한 문서 이미지로 구성된 새로운 벤치마크 제안. 단어 수준 바운딩 박스 주석이 필요 없이 페이지 수준 문서 가독성을 평가하기 위해 OCR 기반 정규화된 편집 거리 (NED) 지표를 사용합니다.

결과

재구성 충실도

일반 도메인: ImageNet 및 FFHQ 에서 Qwen-Image-VAE-2.0 은 압축 계층 ( $f16$ 및 $f32$ ) 내에서 SOTA 재구성 충실도를 달성합니다. 특히 $f32c192$ 변형은 4 배 압축 계수에도 불구하고 확립된 $f8$ VAE(예: Wan2.1) 와 비교할 만한 성능을 발휘합니다.
텍스트 풍부 시나리오 (OmniDoc-TokenBench):
- $f16$ 설정에서, 이 모델은 $f16c128$ 로 NED 0.9617 을 달성하여 선도적인 $f8$ 베이스라인 (예: FLUX.1-dev 의 0.9546) 을 능가합니다.
- 경쟁사들이 거의 완전한 텍스트 파괴 (NED < 0.57) 를 보이는 $f32$ 설정에서, $f32c192$ 모델은 NED 0.8555 를 달성하여 모든 $f32$ 경쟁사를 능가하고 심지어 여러 $f16$ 베이스라인을 상회합니다.
- 정성적 결과는 이 모델이 날카로운 문자 경계와 단어 간격을 보존하는 반면, 베이스라인은 흐림, 획 병합, 또는 완전한 텍스트 붕괴를 겪음을 보여줍니다.

확산 용이성

하류 DiT 성능: ImageNet 256x256 에서 SiT 를 훈련하는 실험은 Qwen-Image-VAE-2.0 잠재 공간이 빠른 DiT 수렴을 촉진함을 보여줍니다.
생성 품질: 모델은 큰 잠재 차원에도 불구하고 Inception Score (IS) 및 생성 FID (gFID) 에서 기존 고압축 베이스라인을 일관되게 능가합니다.
기반 모델 통합: 이 VAE 는 Qwen-Image-2.0 기반 모델에 통합되어 대규모에서 복잡한 오픈 보카불러리 조건부 및 정교한 구성 제약을 성공적으로 지원합니다.

의의

본 논문은 Qwen-Image-VAE-2.0 을 압축, 충실도, 확산 용이성 사이의 역사적 트레이드오프를 성공적으로 극복한 선도 모델로 위치시킵니다. 확장된 채널 차원, 글로벌 스킵 연결, 그리고 새로운 의미론적 정렬 전략을 활용함으로써, 텍스트 가독성이나 생성 수렴 속도를 희생하지 않고 효율적인 고해상도 합성을 가능하게 합니다. OmniDoc-TokenBench 의 도입은 텍스트가 풍부한 재구성을 평가하기 위한 필수 기준을 제공하여 현재 벤치마킹 관행의 중요한 격차를 해소합니다. 이 작업은 특히 네이티브 고해상도 기능과 견고한 텍스트 처리가 필요한 차세대 시각 합성 시스템에 대한 기술적 경로를 제시합니다.