기술 요약: FREPix

문제 제기

잠재 공간 확산 모델은 효율성으로 인해 이미지 생성의 지배적 패러다임이 되었으나, 구조적 병목 현상을 도입합니다: 생성 품질은 데이터를 압축하는 데 사용되는 변이형 오토인코더 (VAE) 의 재구성 충실도에 의해 엄격히 제한됩니다. 이는 표현 아티팩트를 피하기 위해 원시 이미지에서 직접 작동하는 모델인 픽셀 공간 생성에 대한 관심을 다시 불러일으켰습니다. 그러나 기존 픽셀 공간 방법들은 대부분 이미지 생성을 주파수 동질적 과정으로 취급합니다. 이들은 전체 이미지를 단일 상태와 공유 보간 경로로 모델링하며, 전역 구조 (저주파) 와 세부 사항 (고주파) 사이의 분리를 네트워크가 발견하도록 암묵적으로 의존합니다. 이 접근법은 이러한 주파수 구성 요소들의 고유한 통계적 특성, 에너지 분포, 학습 역학을 간과하여 생성 과정에 불필요하게 제한적인 귀납적 편향을 부과합니다.

방법론: FREPix

저자들은 전체 파이프라인에 걸쳐 픽셀 공간 이미지 생성을 저주파 및 고주파 구성 요소로 명시적으로 분해하는 FREPix(주파수 이질적 흐름 매칭) 를 제안합니다. 방법론은 네 가지 핵심 혁신으로 구성됩니다:

1. 주파수 분해 상태 공간 및 이질적 보간

이미지 $x_t$를 단일 동질 상태로 취급하는 대신, FREPix 는 직교 Discrete Wavelet Transform(DWT) $W$를 사용하여 상태를 재매개화합니다. 이미지는 저주파 하위 상태 $l_t$(구조) 와 고주파 하위 상태 $h_t$(세부 사항) 로 분해됩니다.
중요하게도, 이 프레임워크는 이러한 하위 상태에 이질적 보간 경로를 할당합니다. 모든 주파수에 단일 공유 일정을 적용하는 대신, FREPix 는 저주파 및 고주파 구성 요소에 대해 별도의 엄격히 증가하는 일정 $g_l(t)$ 및 $g_h(t)$를 정의합니다:
$$l_t = g_l(t) l + (1 - g_l(t)) \epsilon_l$$
$$h_t = g_h(t) h + (1 - g_h(t)) \epsilon_h$$
이를 통해 전역 구조가 세부 사항이 정제되기 전에 확립되는 이미지 형성의 자연스러운 비대칭성을 반영하는 수송 역학을 가능하게 합니다. 저자들은 이 이질적 보간이 표준 흐름 매칭의 원칙적인 확장이며, 연속성 방정식과 학습 가능성의 유효성을 유지한다고 증명합니다.

2. 명시적 아키텍처 분리를 통한 인수화된 생성 모델링

분해된 수송이 통합된 예측 문제로 다시 붕괴되는 것을 방지하기 위해, FREPix 는 명시적으로 분리된 아키텍처를 사용합니다. 생성 목표는 두 가지 전문화된 모듈로 인수화됩니다:

• 구조 예측기 ($f_\phi$): 노이즈가 있는 저주파 하위 상태 $l_t$를 입력받아 깨끗한 저주파 구성 요소 $\hat{l}$을 예측하는 Diffusion Transformer(DiT). 이 모듈은 장거리 의존성과 전역 의미론을 포착합니다.
• 세부 사항 정제기 ($g_\phi$): 노이즈가 있는 고주파 하위 상태 $h_t$와 예측된 저주파 구조 $\hat{l}$을 조건으로 받아 깨끗한 고주파 구성 요소 $\hat{h}$를 예측하는 경량, 어텐션 없는 디코더 (DeCo 에서 적응됨).

이 설계는 "거친 것에서 정교한 것"으로의 생성을 암묵적 아키텍처 경향에서 명시적 설계 원칙으로 전환하여, 고주파 세부 사항이 확립된 저주파 구조에 기반하여 생성되는 조건적 종속성을 강제합니다.

3. 주파수 정렬 흐름 매칭 목적 함수

학습 목적 함수는 분해된 구조와 정렬됩니다. 프레임워크는 네트워크의 깨끗한 이미지 예측 ($\hat{x}$) 을 이질적 보간 경로를 기반으로 유도된 속도장으로 변환합니다. 그런 다음 주파수 인식 손실을 정의하여 저주파 및 고주파 속도 오차에 각각 시간 의존 가중치 $\lambda_l(t)$ 및 $\lambda_h(t)$를 적용합니다:
$$\mathcal{L}_{FA} = \mathbb{E}_{t,x,\epsilon} \left[ \lambda_l(t) \| W_l(v_\theta - v_t) \|^2 + \lambda_h(t) \| W_h(v_\theta - v_t) \|^2 \right]$$
이를 통해 모델은 목표 주변 속도장을 변경하지 않고도 시간에 따라 최적화 난이도를 재조정할 수 있습니다 (예: 궤적 초기에는 저주파 구조를 우선시하고 후기에는 고주파 정제를 우선시함).

4. 보조 손실 함수

최종 학습 목적 함수는 특징 일관성과 로컬 패턴 복원을 보장하기 위해 주파수 정렬 흐름 매칭 손실에 표현 정렬 (REPA) 및 LPIPS 지각 손실을 결합합니다.

주요 결과

FREPix 는 256×256 및 512×512 해상도에서 ImageNet 클래스-투-이미지 생성에 대해 평가되었습니다.

• 성능: 256×256 에서 FREPix-XL(674M 파라미터) 은 320 에포크 후 1.91 FID 및 295.6 IS 를 달성합니다. 512×512 에서는 2.38 FID 및 334.7 IS 에 도달합니다. 이러한 결과는 최신 픽셀 공간 모델 (예: DeCo, PixelDiT) 과 경쟁력 있으며, 픽셀에서 직접 작동함에도 잠재 공간 모델의 성능에 근접합니다.
• 학습 효율성: 이 모델은 학습 초기에 강력한 성능을 보여줍니다. 단 80 에포크 후 2.29 FID 를 달성하여 유사한 단계의 다른 픽셀 공간 베이스라인을 능가합니다.
• 샘플링 효율성: FREPix 는 저 NFE(함수 평가 횟수) 영역에서 탁월한 성능을 발휘합니다. 25 단계 오일러 샘플링 하에서 2.59 FID 를 달성하여 DeCo(3.30) 및 PixNerd(3.28) 를 크게 능가합니다.
• 계산 비용: FREPix-XL 은 순방향 통과당 230 GFLOPs로 작동하며, 이는 최근 대부분의 픽셀 공간 방법 (예: 5818 GFLOPs 의 PixelFlow) 보다 낮고 잠재 공간 모델 (예: 238 GFLOPs 의 DiT) 과 경쟁력 있어 향상된 품질 - 계산 트레이드오프를 보여줍니다.

중요성 및 주장

이 논문은 주파수 이질성을 명시적으로 모델링하는 것이 엔드-투-엔드 픽셀 공간 생성에 더 강력한 귀납적 편향을 제공한다고 주장합니다. 상태 공간, 수송 경로, 아키텍처, 목적 함수에서 저주파 및 고주파 구성 요소의 고유한 역할을 명시적으로 만듦으로써, FREPix 는 "거친 것에서 정교한 것"으로의 생성 과정을 발현적 행동에서 하드 설계 원칙으로 변환합니다.

저자들은 이 접근법이 다음과 같다고 주장합니다:

1. 주파수 얽힘 완화: 예측 대상을 분리함으로써 모델은 각 분기가 학습해야 하는 유효 차원과 통계적 복잡성을 줄이며, 이는 일반화 경계에 의해 뒷받침됩니다.
2. 샘플링 효율성 향상: 이질적 수송 설계는 적은 단계로 샘플링할 때 특히 유익하며, 이미지 주파수의 자연스러운 복원 순서와 보간 경로를 정렬함으로써 수렴을 가속화함을 시사합니다.
3. 잠재 공간에 대한 실현 가능한 대안 제시: FREPix 는 VAE 의 표현 병목 현상 없이 경쟁력 있는 품질을 달성할 수 있음을 보여주며, 잠재 공간 방법과 비교 가능한 계산 효율성을 유지합니다.

이 논문은 주파수 이질성이 향후 픽셀 공간 생성 모델 설계에 유용한 관점이라고 결론지으며, 탐구된 특정 보간 일정 계열과 사용된 웨이블릿 분해의 고정된 성격에 관한 한계를 인정합니다.