기술 요약: RaPD (해석 무관 픽셀 확산)

1. 문제 제기

자연 이미지는 본질적으로 연속적이지만, 현대의 생성 모델들은 주로 이산적인 공간 그리드 (VAE 잠재 공간 또는 픽셀 공간 내) 에서 작동합니다. 이러한 이산화는 근본적인 한계를 부과합니다: 임의의 보지 못한 해상도에서 이미지를 생성하려면 토큰 수와 계산 비용이 증가해야 하므로, 네이티브 고해상도 생성이 어렵습니다.

임의 해상도 생성에 대한 기존 접근법들은 일반적으로 디코딩 단계에서만 연속성을 도입합니다.

• GAN은 좌표 쿼리 MLP 를 사용하지만 제한된 생성 용량을 겪습니다.
• 잠재 확산 모델 (LDM) 은 유연한 디코더를 사용하지만, 확산 과정 자체는 여전히 이산적이고 압축된 잠재 공간에 국한되어 VAE 병목 현상을 물려받으며 의미를 이산적 콘텐츠에 묶습니다.
• 픽셀 확산 모델은 직접 픽셀에서 작동하지만 여전히 고정된 이산 그리드에서 생성합니다.
• 신경 이미지 필드 (NIF) (LIIF 및 CLIF 등) 는 해상도 없는 렌더링을 가능하게 하지만 주로 보간 및 재구성을 위해 훈련됩니다. 이들의 잠재 공간은 국소적 외관 단서에 최적화되어 있으며 고품질 생성 모델링에 필요한 의미 구조가 부족합니다.

해결된 핵심 문제는 재구성–생성 간극입니다: 기존 연속 표현들은 초해상도 재구성에는 탁월하지만 텍스트-이미지 생성에 직접 사용될 때는 실패합니다. 본 논문은 이미지 생성이 이산적 그리드나 압축된 대리체가 아닌 '연속 픽셀' 위에서 공식화될 수 있는지 질문합니다.

2. 방법론

저자들은 RaPD (해석 무관 픽셀 확산) 를 제안합니다. 이는 연속적인 신경 이미지 필드 (NIF) 잠재 공간 내에서 직접 확산을 수행하는 프레임워크입니다. 이 프레임워크는 두 가지 주요 단계와 세 가지 핵심 기술 구성 요소로 구성됩니다.

2.1 기본 프레임워크

RaPD 는 두 단계 설계를 채택합니다:

1. 1 단계 (NIF 학습): 인코더 $E_\phi$가 입력 이미지를 공간 다운샘플링 없이 밀집된 고해상도 NIF 잠재 $z$로 매핑합니다. 좌표 쿼리 어텐션 렌더러 (CQAR) 는 이 잠재 공간을 임의의 목표 좌표에서 렌더링합니다.
2. 2 단계 (확산 훈련): 인코더와 렌더러는 고정됩니다. 텍스트 임베딩을 조건으로 하여 정규화된 NIF 잠재 공간에서 흐름 매칭 속도를 예측하도록 DiT 스타일 디노이저가 훈련됩니다.

추론 시, 단일 디노이즈된 잠재 공간은 출력 크기와 관계없이 확산 비용을 고정된 상태로 유지하면서 쿼리 좌표 그리드만 변경하여 임의의 목표 해상도에서 렌더링됩니다.

2.2 의미 표현 안내 (SRG)

재구성 지향 NIF 와 생성 모델링 간의 간극을 메우기 위해 RaPD 는 표현 및 확산 훈련 수준 모두에서 작동하는 SRG 를 도입합니다:

• 의미 증류: 표준 NIF 잠재 공간이 의미 구조를 결여하고 있으므로, RaPD 는 1 단계 동안 고정된 비전 기반 모델 (DINOv2 ViT-B/14) 로부터의 의미를 밀집된 NIF 잠재 공간에 주입합니다.
  • NIF 잠재 $z$는 DINOv2 패치 그리드와 일치하도록 투영됩니다.
  • 코사인 손실(위치별 의미 일치 강제) 과 거리 행렬 유사도 손실(쌍별 관계 기하학 보존) 로 구성된 정렬 손실이 최적화됩니다.
  • 이는 형성적 감독으로 작용하여 좌표 렌더링 능력을 희생하지 않으면서 잠재 공간을 생성 인식 표현으로 형성합니다.
• 잠재 밀도 인식 시간 단계 이동: 표준 흐름 매칭 스케줄은 압축된 VAE 잠재 공간을 위해 설계되었습니다. RaPD 의 NIF 잠재 공간은 밀집되고 고해상도입니다. 이러한 증가된 정보 밀도를 보상하기 위해 저자들은 흐름 매칭 스케줄에서 더 큰 시간 단계 이동 인자 ($s=32$) 를 도입합니다. 이는 밀집된 잠재 공간에서 일관된 콘텐츠를 생성하는 데 중요한 무거운 노이즈 단계 (작은 $t$) 를 우선시합니다.

2.3 좌표 쿼리 어텐션 렌더러 (CQAR)

기존 암시적 디코더 (예: LIIF, CLIF) 는 국소 특징을 독립적으로 처리하는 포인트별 MLP 나 얕은 CNN 을 사용합니다. 이러한 방법들은 SRG 에 의해 주입된 전역 의미 구조를 활용하지 못합니다.

RaPD 는 이를 CQAR로 대체하여 입력 잠재 그리드가 아닌 쿼리된 출력 좌표에 대해 어텐션을 수행합니다.

• 토큰 구성: 각 목표 좌표에 대해 토큰은 가장 가까운 이웃 잠재 특징, 절대 좌표, 상대 오프셋, 셀 크기로 구성됩니다.
• 윈도우 어텐션: 이러한 토큰은 Swin 스타일 윈도우 자기 어텐션 블록에 의해 처리됩니다. 이는 픽셀 간 의미 추론을 가능하게 하여 렌더러가 쿼리된 픽셀 전반에 걸쳐 전역적으로 추론하면서도 확장 가능한 계산 비용을 유지합니다.

3. 주요 기여

1. RaPD 프레임워크: NIF 잠재 공간에서 직접 연속 이미지 신호를 생성하여 확산 비용을 출력 해상도에서 분리하는 해석 무관 픽셀 확산 프레임워크.
2. 의미 표현 안내 (SRG): 의미 증류 및 적응형 흐름 매칭 스케줄을 통해 재구성 지향 연속 잠재 공간을 생성 인식 표현으로 변환하는 전략.
3. 좌표 쿼리 어텐션 렌더러 (CQAR): 국소 암시적 연산자를 좌표 조건부 및 규모 인식 어텐션으로 대체하여 공간적으로 일관된 임의 해상도 렌더링을 가능하게 하는 새로운 디코더.

4. 실험 결과

본 논문은 RaPD 를 최첨단 잠재 확산 모델 (예: SD3, FLUX.1-dev) 과 픽셀 확산 모델 (예: PixelGen, DeCo, PixNerd) 과 비교 평가합니다.

• 생성 품질: GenEval에서 RaPD 는 전체 점수 0.85를 기록하여 PixelGen (0.79) 과 DeCo (0.83) 를 상회하며, 구성 카테고리 (두 개 객체, 카운팅, 색상) 에서 유의미한 개선을 보입니다. DPG-Bench에서 RaPD 는 81.6점을 기록하여 픽셀 확산 베이스라인을 능가합니다.
• 임의 해상도 생성: RaPD 는 $512^2$까지의 감독으로 훈련되었음에도 불구하고 분포 외 해상도 (최대 $4096^2$) 에 대한 강력한 일반화를 보여줍니다. 생성된 이미지는 고해상도에서도 일관된 전역 구조와 세밀한 디테일을 유지합니다.
• 효율성: 중요한 장점은 계산 확장성입니다. 고정 그리드 픽셀 확산 모델 (PixelGen, DeCo) 은 해상도에 따라 추론 시간이 이차적으로 증가하는 반면, RaPD 는 디노이징 비용을 거의 고정된 상태로 유지합니다.
  • $4096^2$에서 PixelGen 과 DeCo 는 61 초 이상 소요됩니다.
  • RaPD 는 동일한 해상도에서 2.13 초만 소요되며, 이는 확산 비용이 출력 크기와 무관하기 때문입니다.

5. 의의 및 한계

의의:
본 논문은 RaPD 가 '연속 픽셀' 위에서 과정을 공식화함으로써 이미지 생성의 패러다임을 근본적으로 전환했다고 주장합니다. VAE 의 정보 병목이나 이산 픽셀 확산의 이차적 비용 확장 없이 고품질 해석 무관 생성이 가능함을 성공적으로 입증합니다. 잠재 공간을 이산적 그리드가 아닌 연속 신호로 취급함으로써 RaPD 는 고해상도에서 생성 품질과 추론 효율성의 독특한 조합을 달성합니다.

한계:
저자들은 몇 가지 제약 조건을 인정합니다:

1. 데이터 규모: 모델은 약 3600 만 장의 이미지 (BLIP3o) 로 훈련되었으며, 이는 상업적 규모 모델 (예: SD3, FLUX) 보다 현저히 적어 절대적 생성 품질을 제한할 수 있습니다.
2. 텍스트 인코더: 고정된 상대적으로 소형인 Qwen3-1.7B 텍스트 인코더의 사용은 더 큰 언어 모델을 사용하는 시스템에 비해 복잡한 프롬프트 이해를 제한할 수 있습니다.
3. 추론 최적화: 현재 구현은 FlashAttention, 퓨즈드 커널, FP8 양자화와 같은 고급 최적화를 아직 활용하지 않으므로, 보고된 지연 시간은 보수적인 상한선입니다.

본 논문은 향후 연구가 데이터셋/모델 확장, 제어 가능한 생성/편집으로의 프레임워크 확장, 하드웨어 인식 추론 가속 구현에 초점을 맞출 수 있다고 결론지었습니다.