💻 computer science

Pixel-Space Diffusion Transformers

이 논문은 잠재 공간 압축의 한계를 우회하여 픽셀 자체를 직접 모델링함으로써 고충실도의 엔드 투 엔드 최적화와 시각적 생성 및 이해를 단일 트랜스포머 아키텍처 내에 통합하는 통일된 멀티모달 시스템을 가능하게 하는 픽셀 공간 디퓨전 트랜스포머(pDiTs)를 검토한다.

원저자: Renye Yan, Jikang Cheng, You Wu, Ling Liang, Wei Peng, Athanasios V. Vasilakos, Qingyu Zhao, Yu Zhang, Ehsan Adeli, Kilian M. Pohl, Guoying Zhao

게시일 2026-07-21

📖 5 분 읽기🧠 심층 분석

CC0 1.0

원저자: Renye Yan, Jikang Cheng, You Wu, Ling Liang, Wei Peng, Athanasios V. Vasilakos, Qingyu Zhao, Yu Zhang, Ehsan Adeli, Kilian M. Pohl, Guoying Zhao

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 걸작을 그리는 법을 가르치려 한다고 상상해 보세요. 오랫동안 이를 위한 가장 똑똑한 방법은 로봇에게 '컨닝 페이퍼'를 주는 것이었습니다. 먼저, 실제 사진을 가져와서 메모리를 아끼기 위해 아주 작고 흐릿한 스케치(즉, '잠재 공간(latent space)')로 압축합니다. 로봇은 이 스케치를 바탕으로 그림을 그리는 법을 배우고, 그 후 당신은 그것을 다시 고해상도 사진으로 펼치려고 노력합니다. 이는 빠르고 효율적이었지만, 고화정 영화를 저해상도 썸네일로부터 재현하려는 것과 같아서 건물의 날카로운 모서리, 표지판의 특정 글꼴, 혹은 고양이의 털 질감 같은 미세한 디테일을 놓치는 경우가 많았습니다. 로봇은 빠진 조각들이 어떻게 생겼을지 추측하는 데 갇혀 있었던 것입니다.

이제, 새로운 물결을 일으키는 연구자들은 이렇게 질문합니다. "스케치를 아예 건너뛰면 어떨까?" 이미지를 압축하는 대신, 픽셀 하나하나를 사용하여 전체 해상도의 캔버스 위에 직접 그림을 그리도록 로봇을 가르치는 것입니다. 이것은 **픽셀 공간 확산(Pixel-Space Diffusion)**의 세계입니다. 이것은 복잡한 레시피를 주요 재료 목록만 적어서 설명하는 것과, 실제로 요리하면서 모든 향신료의 맛을 직접 보는 것의 차이라고 생각하면 됩니다. 훨씬 더 어렵고 많은 에너지(컴퓨팅 파워)가 필요하지만, 결과물은 빠진 풍미 없이 정확히 맞는 맛을 냅니다. 이 논문은 강력하고 새로운 유형의 뇌 구조인 **트랜스포머(Transformer)**를 사용하여 이 "직접 그리기" 방법을 어떻게 마침내 잘 해내고 있는지 탐구합니다. 트랜스포머는 그림 속 멀리 떨어진 점들을 연결하는 데 매우 뛰어난 구조입니다.

거대한 전환: 스케치에서 원본 픽셀로

이 논문은 **픽셀 공간 확산 트랜스포머(pDiTs)**라고 불리는 빠르게 변화하는 분야에 대한 방대한 가이드입니다. 저자들은 기본적으로 기존의 방식, 즉 이미지를 생성하기 전에 압축된 "잠재" 공간으로 찌그러뜨리는 방식이 한계에 부딪혔다고 말합니다. 이 오래된 방식은 효율적이긴 하지만, 우리가 중요하게 여기는 선명한 텍스트, 복잡한 패턴, 완벽한 해부학적 구조와 같은 미세한 디테일을 버리는 필터 역할을 합니다. 일단 "압축" 과정에서 정보가 손실되면, 로봇은 그것을 결코 진정으로 되찾을 수 없습니다.

논문은 우리가 이제 원본의 고해상도 형태로 이미지를 직접 모델링할 수 있는 새로운 시대에 진입하고 있다고 주장합니다. 이미지를 압축한 뒤 생성하는 2단계 과정 대신, pDiT는 이를 하나의 매끄러운 단계로 수행합니다. 즉, 노이즈가 섞인 지저도한 픽셀을 가져와 깨끗하고 완벽한 이미지로 바꾸는 법을 배웁니다. 이는 흐릿한 설계도를 보고 집을 재건축하려는 것에서, 실제로 건설 현장을 걸어 다니며 벽돌 하나하나를 직접 고치는 것으로 넘어가는 것과 같습니다.

"기존 방식"의 문제점

저자들은 이전의 이미지 생성 챔피언들인 **잠재 확산 모델(LDMs)**이 "압축 후 확산" 전략에 의존했음을 설명합니다. 거대하고 상세한 그림을 아주 작은 우편함 구멍을 통해 보내야 한다고 상상해 보세요. 구멍을 통과하기 위해 그림을 아주 꽉 접어야(압축) 합니다. 문제는 반대편에서 그것을 펼쳤을 때, 어떤 주름은 영구적으로 남게 되어 미세한 디테일이 사라진다는 점입니다.

기술적인 용어로, 이 모델들은 이미지를 압축하기 위해 사전 학습된 "토크나이저(tokenizer)"(VAE와 같은)를 사용합니다. 논문은 이것이 "병목 현상"을 만든다고 지적합니다. 만약 토크나이저가 미세한 디설을 유지하는 데 완벽하지 않다면, 확산 모델이 나중에 그것을 마법처럼 만들어낼 수는 없습니다. 이는 근본적인 한계입니다. 저장하지 않은 것은 생성할 수 없습니다. 더욱이, 압축과 생성은 별도로 학습되기 때문에 서로 무엇이 중요한지에 대해 의견이 일치하지 않는 경우가 많으며, 이는 최종 이미지가 얼마나 좋을 수 있는지에 대한 제한 요소가 됩니다.

새로운 영웅: 픽셀 공간 확산 트랜스포머

그렇다면 해결책은 무엇일까요? 논문은 pDiT를 소개합니다. 이 모델들은 압축 단계를 완전히 건너뜁니다. 이들은 이미지의 원본 픽셀을 직접 바라보고 이를 직접 생성하는 법을 배웁니다.

하지만 저자들은 이것이 단순히 "옛날로 돌아가는 것"이 아님을 주의 깊게 명시합니다. 픽셀 기반 생성의 초기 시도들은 컴퓨터가 엄청난 양의 데이터를 처리할 수 없었기 때문에 너무 느리고 지저분했습니다. 새로운 pDiT는 다릅다. 이들은 **트랜스포머(Transformers)**를 사용하는데, 이는 이미지의 서로 다른 부분 사이의 관계를, 아무리 멀리 떨어져 있더라도 이해하는 데 매우 뛰어난 AI 구조입니다.

논문은 이 새로운 모델들이 원본 픽셀을 다룰 때 발생하는 거대한 과제들을 어떻게 해결하는지 설명합니다:

"데이터가 너무 많다"는 문제: 모든 픽셀을 하나씩 보는 것은 계산 비용이 많이 듭니다. 논문은 속도를 높이기 위해 "큰 패치(large patches)"(픽셀을 그룹화함)를 사용하거나, 큰 그림을 먼저 본 다음 세부 사항으로 줌인하는 "계층적(hierarchical)" 구조를 사용하는 등의 영리한 기술을 설명합니다.
"노이즈" 문제: 이미지를 생성하는 초기 단계에서 그림은 그저 정적인 노이즈일 뿐입니다. 논문은 이 모델들이 노이즈를 더 효율적으로 헤쳐 나가기 위해 더 나은 수학적 방법(예: "플로우 매칭(Flow Matching)")을 사용하여, 노이즈를 단계별로 추측하는 대신 최종적인 깨끗한 이미지를 직접 예측한다고 설명합니다.
"하나의 뇌로 모든 것을 한다"는 문제: 아마도 이 논문에서 가장 흥럽은 부분은 **통합 멀티모달 모델링(Unified Multimodal Modeling)**의 개념일 것입니다. 전통적으로 이미지를 이해하는 AI(예: 고양이를 인식함)와 이미지를 생성하는 AI(예: 고양이를 그림)는 서로 분리되어 있었습니다. pDiT는 텍스트, 이미지, 명령어를 모두 동일한 "토큰 공간"에 넣을 수 있다고 제안합니다. 프롬프트를 읽고, 이미지를 이해하고, 그 결과를 그려내는 일을 서로 다른 언어로 번역할 필요 없이 한 번에 수행하는 단일한 뇌를 상상해 보세요.

이 논문이 실제로 찾아낸 것 (그리고 찾아내지 못한 것)

저자들은 최근의 다양한 방법들을 검토하며, 픽셀 공간 확산이 계산 비용은 더 많이 들지만 품질의 상한선(ceiling)이 더 높다고 제안합니다. 그들은 읽을 수 있는 텍스트, 정밀한 의료 스캔, 또는 복잡한 3D 장면과 같이 극도의 충실도가 필요한 작업에서는 픽셀 공간 접근 방식이 압축 필터로 인해 정보를 잃지 않기 때문에 더 우수하다고 주장합니다.

그러나 논문은 이것이 무엇을 의미하지 않는지에 대해서도 매우 명확히 밝힙니다:

잠재 확산(Latent Diffusion)이 죽었다는 뜻이 아닙니다. 저자들은 잠재 모델이 여전히 더 빠르고 저렴하기 때문에 많은 일반적인 작업에 더 낫다는 점을 명시적으로 언급합니다. 픽셀 공간 접근 방식은 트레이드오프입니다. 더 나은 디테일을 얻기 위해 더 많은 컴퓨팅 파워를 지불하는 것입니다.
마법의 탄환이 아닙니다. 논문은 단순히 픽셀로 전환하는 것만으로는 충분하지 않으며, 모델이 매끄러운 색상과 날카로운 모서리를 각각 따로 처리하도록 하는 "주파수 분리(frequency decoupling)"와 같은 특정 구조적 설계가 필요하다고 제안합니다.
아직 "해결된" 상태가 아닙니다. 논문은 특히 계산 비용과 이미지 품질 사이의 균형을 맞추는 것과, 모델이 이미지를 이해하려고 노력할 때 이미지를 생성하는 법을 "잊어버리는" 것을 방지하는 것 등 여전히 과제가 남아 있음을 강조합니다.

미래: 통합된 비전

논문은 이러한 모델들이 **통합 비전 파운데이션 모델(Unified Vision Foundation Models)**의 기초가 될 미래를 그리며 마무리됩니다. 이해를 위한 AI와 생성을 위한 AI가 따로 있는 대신, 두 가지를 모두 매끄럽게 수행할 수 있는 단일 시스템을 갖게 될 수도 있습니다. 사진을 보고, 이야기를 이해하고, 조명을 편집하고, 완벽한 텍스트와 질감을 가진 새로운 버전을 생성하는 일을 한 번에 할 수 있는 시스템 말입니다.

저자들은 우리가 엄청난 컴퓨팅 비용을 관리하는 최선의 방법을 여전히 찾아가는 중이지만, 방향은 명확하다고 제안합니다. 고정된 손실 압축에서 벗어나, 가공되지 않은 시각적 세계를 직접, 엔드 투 엔드로 모델링하는 방향으로 나아가고 있습니다. 이는 "디테일을 추측하는 것"에서 "디테일을 보는 것"으로의 전환이며, AI가 생성한 이미지가 단순히 인상적인 수준을 넘어, 가장 미세한 입자까지도 현실과 구별할 수 없게 되는 미래를 약속합니다.

기술 요약: 픽셀 공간 확산 트랜스포머 (pDiT)

1. 문제 정의

본 논문은 현재 지배적인 패러다임인 **잠재 확산 모델(Latent Diffusion Models, LDMs)**의 근본적인 한계를 지적한다. LDMs는 사전 학습된 변이형 오토인코더(VAE)를 통해 이미지를 저차원 잠재 공간으로 압축한 후 디노이징을 수행함으로써 효율성을 달 Achieve하지만, 이 2단계 접근 방식은 돌이킬 수 없는 **정보 병목 현상(information bottleneck)**을 초래한다.

손실 압축: 고정된 비주얼 토크나이저는 압축 단계에서 고주파 텍스처, 날카로운 경계, 미세한 국소 구조를 버린다. 이러한 정보는 다운스트림 확산 모델에 의해 복구될 수 없으며, 이는 최대 시각적 충실도(visual fidelity)를 제한하는 상한선이 된다.
목적 함수의 불일치: VAE의 재구성 목적(픽셀 재구성 오차 최소화)은 종종 확산 모델의 생성 목적과 충돌한다. 이러한 분리는 엔드투엔드(end-to-end) 최적화를 방해하며, 표현 학습과 생성 사이의 불일치를 만든다.
통합 모델에서의 입도 격차(Granularity Schism): 통합 멀티모달 모델에서 시각적 이해는 추상적이고 불변하는 표현을 필요로 하는 반면, 시각적 생성은 공간적 레이아웃과 세밀한 디테일에 대한 절대적인 민감도를 요구한다. 전통적인 파이프라인은 별도의 모듈(예: 생성을 위한 VAE, 이해를 위한 CLIP/DINO)을 사용함으로써 트레이드오프를 강요하며, 진정한 공유 표현 공간을 구현하는 것을 방해한다.

결과적으로, 본 논문은 픽셀 공간 확산(Pixel-Space Diffusion)으로의 회귀를 주장한다. 이는 픽셀을 직접 모델링하여 VAE 병목을 제거하고, 표현과 생성 모두의 엔드투엔드 최적화를 가능하게 한다. 그러나 이 접근 방식은 역사적으로 고차원 공간에서의 과도한 계산 비용과 최적화의 어려움에 직면해 왔다.

2. 방법론 및 아키텍처의 진화

본 논문은 **픽셀 공간 확산 트랜스포머(pDiTs)**에 의해 주도되는 픽셀 공간 확산의 부활을 검토한다. 초기 픽셀 모델이 컨볼루션 U-Net을 사용했던 것과 달리, 현대적인 pDiT는 고차원 문제를 극복하기 위해 확장 가능한 트랜스포머 아키텍처와 고급 훈련 전략을 활용한다.

A. 이론적 기초

본 논문은 픽셀 공간 모델링에 사용되는 두 가지 주요 수학적 프레임워크를 대조한다:

확률적 디노이징 (DDPM): 생성을 이산 시간 마르코프 역과정(discrete-time Markov reverse process)으로 정식화하며, 일반적으로 노이즈( $\epsilon$ ) 또는 깨끗한 이미지( $x_0$ )를 예측한다.
연속 흐름 (Flow Matching & Rectified Flow): 생성을 결정론적 연속 수송 문제(deterministic continuous transport problem)로 재정의하여, 샘플을 노이즈 분포에서 데이터 분포로 이동시키는 속도장(velocity field)을 학습한다. 특히 Rectified Flow 방식은 궤적을 직선화하여 적분 오차를 줄이고 샘플링 안정성을 향상시킨다.

B. 아키텍처 분류

고해상도 이미지에 대한 전역 셀프 어텐션(global self-attention)의 이차 복잡도(quadratic complexity)와 전역적 의미론 및 국소적 디테일 간의 충돌을 해결하기 위해, 본 논문은 현대적 pDiT 아키텍처를 7가지 유형으로 분류한다:

단일 스트림 대형 패치 트랜스포머 (Single-Stream Large-Patch Transformers): (예: JiT) 토큰 수를 줄이기 위해 큰 패치 크기를 사용하며, 깨끗한 이미지( $x_0$ -prediction)를 직접 예측하여 훈련 목적 함수를 단순화한다.
계층적 및 아워글래스 pDiT (Hierarchical and Hourglass pDiTs): (예: HDiT) 여러 해상도에 걸쳐 토큰을 구성하며, 저해상도에서 전역적 상호작용을 집계하고 업샘플링 경로를 통해 디테일을 복원한다.
전역-국소 분리 아키텍처 (Global–Local Decoupled Architectures): (예: DiP, PixelDiT) 전역적 의미 모델링(큰 패치)과 국소적 디테일 복구(작은 패치 또는 경량 모듈)를 명시적으로 분리한다.
주파수 분리 아키텍처 (Frequency-Decoupled Architectures): (예: DeCo) 저주파 의미 모델링과 고주파 텍스처 복구를 분리하며, 종종 스펙트럼 필터링이나 별도의 손실 가중치를 사용한다.
암시적 신경장 디코딩 (Implicit Neural Field Decoding): (예: PixNerd) 패치 토큰을 국소 암시적 신경장의 조건부 표현으로 해석하여, 픽셀의 연속적인 좌표 기반 디코딩을 허용한다.
교차 스케일 의미론적 앵커링 (Cross-Scale Semantic Anchoring): (예: HyperDiT) 거친 의미 토큰을 미세한 디테일 토큰과 연결하여 국소 재구성을 위한 전역적 가이드를 제공한다.
통합 멀티모달 공유 토큰 아키텍처 (Unified Multimodal Shared-Token Architectures): (예: HiDream-O1-Image) 텍스트 토큰, 작업 조건, 그리고 원시 픽셀 패치를 단일 공유 토큰 공간으로 매핑하여, 하나의 통합된 트랜스포머가 생성, 편집, 이해를 동시에 처리할 수 있도록 한다.

C. 훈련 전략

본 논문은 픽셀 공간의 실행 가능성을 가능하게 하는 핵심 알고적인 변화를 강조한다:

직접 깨끗한 이미지 예측 ( $x_0$ -prediction): 최적화를 데이터 매니폴드에 직접 고정하여, 노이즈 예측에 비해 수렴을 가속화한다.
표현 정렬 (Representation Alignment): REPA(Representation Alignment) 및 SGA(Spatial Gram Alignment)와 같은 기법은 동결된 비전 파운데이션 모델(VFM)을 사용하여 의미론적 사전 지식을 제공한다. 다만, 본 논문은 고주파 디테일을 억제할 수 있는 경직된 토큰 단위 정렬에 대해 주의를 준다.
구조적 손실 가중치 (Structured Loss Weighting): 전역 구조와 국소 충실도의 균형을 맞추기 위해 서로 다른 주파수 대역이나 공간 영역에 대한 손실 가중치를 동적으로 조정한다.

3. 주요 기여

본 논문은 픽셀 공간 확산 트랜스포머에 전념한 **최초의 체계적인 서베이(survey)**이다. 주요 기여는 다음과 같다:

포괄적 분류 체계: 토큰의 입도, 전역-국소 조정, 주파수 분리 방식을 기준으로 현대적 pDiT 아키텍처를 구조적으로 분류하였다.
이론적 해체: 수학적 기초(DDPM vs. Flow Matching)와 고차원 픽셀 모델링의 구체적인 과제(이차 복잡도, 최적화 어려움, 주파수 간섭)에 대한 상세한 분석을 제공한다.
통합 모델링 프레임워크: 픽셀 공간 확산이 어떻게 고정된 VAE 병목 없이 시각적 이해와 생성을 잇는 "네이티브" 공유 토큰 공간을 가능하게 하는지 탐구한다.
응용 분야: 표준 이미지 생성을 넘어 픽셀 수준의 충실도가 결정적인 비디오, 3D 재구성, 의료 영상 등의 pDiT 응용 사례를 검토한다.
비판적 논의: **계산-충실도 트레이드오프(Compute-Fidelity Trade-off)**에 대한 균형 잡힌 논의를 통해, pDiT가 LDMs의 보편적인 대체제가 아니라 극도의 충실도와 엔드투엔드 최적화가 필요한 작업을 위한 특화된 솔루션임을 주장한다.

4. 결과 및 응용

본 논문은 기존 문헌(예: Simple Diffusion, JiT, PixelDiT, HiDream-O1)의 연구 결과를 종합하여 다음을 입증한다:

고충실도 생성: pDiT는 VAE 압축 아티팩트에 제약받지 않으므로 LDM에 비해 우수한 텍스트 렌더링, 날카로운 가장자리, 복잡한 텍스처를 가진 이미지를 생성할 수 있다.
편집 및 복원: 직접적인 픽셀 모델링은 픽el 레벨의 정밀한 로컬 편집 및 인페인팅을 가능하게 하며, 레이턴트 디코딩으로부터의 전파 오류 없이 편집되지 않은 영역을 보존한다.
3D 및 볼륨 데이터: 이 패러다임은 해부학적 타당성과 미세한 구조적 디테일 보존이 매우 중요한 3D 가우시안 스플랫(PixGS), 의료 볼륨 데이터(PRDiT, PPDM)로 확장된다.
통합된 능력: HiDream-O1-Image와 같은 모델은 텍스트-이미지 생성, 지시 기반 편집, 대상 개인화(subject personalization)가 단일 아키텍처 내에서 통합되어, 작업 전반에 걸쳐 시각적 표현을 공유할 수 있음을 보여준다.

5. 의의 및 향후 전망

본 논문은 pDiT의 의의가 단순히 이미지 품질을 개선하는 데 그치지 않고, 시각적 생성의 기초를 재정의하는 데 있다고 주장한다. VAE 인터페이스를 제거함으로써 pDiT는 다음을 가능하게 한다:

엔드투엔드 최적화: 표현 학습과 생성 목적 함수를 공동으로 최적화한다.
통합 멀티모달 학습: 텍스트, 조건, 픽셀이 직접 상호작용하는 공유 토큰 공간을 생성하여, 의미론적 추론과 픽셀 수준의 정밀도(예: OCR, 복잡한 편집)를 모두 요구하는 작업을 용이하게 한다.

그러나 저자들은 pDiT의 즉각적인 지배력에 대해서는 신중한 태도를 유지한다. 그들은 고해상도 픽셀 모델링의 계산 비용이 여전히 중요한 장벽임을 강조한다. 이 분야의 미래는 단순히 LDMs를 대체하는 것이 아니라, 픽셀 공간 모델링의 고충실도 이점과 계산 효율성 사이의 균 균형을 맞추는 확장 가능한 구조적 계산 메커니즘(동적 토큰 입도, 적응형 어텐션, 비침습적 가이드 등)을 개발하는 것이다. 궁극적인 목표는 고충실도 생성, 미세한 제어, 교차 모달 이해를 동시에 지원할 수 있는 차세대 비전 파운데이션 모델을 구축하는 것이다.