1. 문제 정의 (Problem)

현대 컴퓨터 비전 모델 (생성 모델, 월드 모델 등) 은 픽셀 공간 대신 학습된 **잠재 공간 (Latent Space)**에서 연산을 수행하는 경향이 있습니다. 이를 위해 이미지 토크나이저 (Image Tokenizer) 가 핵심 역할을 합니다. 이상적인 이미지 토크나이저는 다음 두 가지 상충되는 요구 사항을 동시에 충족해야 합니다.

1. 압축성 (Compactness): 이미지의 필수 정보를 효율적으로 압축하여, 고정된 크기의 잠재 벡터가 최대한 많은 정보를 담아야 합니다. 불필요한 세부 사항에 자원을 낭비하지 않아야 합니다.
2. 생성 친화성 (Generation-Friendliness): 잠재 공간이 현대적인 생성 모델 (예: Diffusion Model) 과 잘 호환되어야 합니다. 즉, 잠재 공간의 특성이 생성 모델이 이미지를 점진적으로 합성하는 과정 (저주파에서 고주파 순서) 에 적합해야 합니다.

기존 연구들은 재구성 품질 (Reconstruction Fidelity) 과 생성 품질 (Generation Quality) 간의 트레이드오프 (Trade-off) 문제를 겪고 있으며, 잠재 공간이 생성 모델에 최적화되지 않아 생성 성능이 저하되는 경우가 많습니다.

2. 제안 방법론 (Methodology)

저자들은 **상태 공간 모델 (State-Space Models, SSMs)**의 숨겨진 상태 동역학을 모방하도록 토크나이저를 정규화하는 새로운 기법인 **구조화된 상태 공간 정규화 (Structured State-Space Regularization)**를 제안합니다.

핵심 아이디어: 주파수 인식 (Frequency Awareness)

SSM 은 신호를 주파수 대역으로 암시적으로 분해하는 능력을 가지며, 이는 잠재 공간이 **주파수 인식 (Frequency Awareness)**을 갖도록 유도합니다.

• 저주파: 이미지의 전역적 레이아웃 (Global Layout) 을 담당.
• 고주파: 질감 (Texture) 과 에지 (Edge) 를 담당.
  이러한 분리는 잠재 차원을 효율적으로 활용하게 하여 재구성 품질을 유지하면서 생성 모델의 학습을 용이하게 합니다.

기술적 구현

1. SSM 의 일반화 관점: SSM 을 **기저 투영 (Basis Projection)**과 **입력 변환 (Input Transformation)**의 조합으로 재해석합니다.
   • 기저 투영 ($c(\cdot)$): 2D 직교 기저 함수 (예: 푸리에 기저, 다항식 기저) 를 사용하여 이미지를 계수로 투영합니다.
   • 입력 변환 ($\theta(\cdot)$): 이미지에 **가우시안 블러 (Gaussian Blur)**를 점진적으로 적용하는 과정을 정의합니다. (열 방정식과의 수학적 연관성 활용)
2. 업데이트 규칙 유도: 가우시안 블러 과정 하에서 기저 계수가 어떻게 변화하는지 미분 방정식을 통해 유도합니다. 이는 다음과 같은 상태 전이 행렬 $\mathbf{A}$를 가진 업데이트 규칙으로 귀결됩니다.
   $$\mathbf{c}(\mathbf{I}_t) = \bar{\mathbf{A}} \mathbf{c}(\mathbf{I}_{t-1})$$
   여기서 $\mathbf{I}_t$는 $t$단계의 블러된 이미지, $\mathbf{c}$는 기저 계수입니다.
3. 정규화 손실 함수 (Regularization Loss): 학습 가능한 인코더 $\mathcal{E}$가 위와 같은 SSM 동역학을 따르도록 강제합니다.
   • 입력 이미지 $I_{\tau_1}$과 더 블러된 이미지 $I_{\tau_2}$를 인코더에 통과시켜 잠재 벡터 $z_1, z_2$를 얻습니다.
   • $z_1$에 행렬 $\bar{\mathbf{A}}$를 곱하여 $\hat{z}_2$를 생성하고, 실제 $z_2$와 비교하여 손실을 계산합니다.
   • 공간 평균 중심화 (Spatial Mean-Centering): 블러가 진행될수록 잠재 벡터의 노름 (Norm) 이 0 으로 수렴하는 것을 방지하기 위해, 잠재 공간의 평균을 제거하는 연산 $\mathcal{C}$를 적용하여 학습 안정성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 정규화 기법 제안: 이론적으로 동기 부여된 정규화기를 제안하여 이미지 토크나이저의 잠재 공간을 개선합니다.
2. SSM 과 토크나이저의 통합 프레임워크: SSM 의 원리를 이미지 토크나이징에 적용하는 최초의 이론적 프레임워크를 제시합니다.
3. 실증적 유효성: 널리 사용되는 토크나이저 (Flux, Cosmos) 에 적용하여, 재구성 품질을 거의 희생하지 않으면서 생성 성능을 크게 향상시킵니다.

4. 실험 결과 (Results)

ImageNet-1K 데이터셋을 기반으로 **Flux (8 배 다운샘플링)**와 Cosmos (16 배 다운샘플링) 토크나이저를 미세 조정 (Fine-tuning) 하고, 이를 기반으로 학습된 DiT-B/2 확산 모델의 생성 성능을 평가했습니다.

• 생성 성능 향상:
  • Flux + Ours: EQVAE 및 FT-SE 와 비교하여 gFID (13.33 vs 13.95/13.87) 와 sFID (7.29 vs 7.09/7.86) 에서 우수한 성능을 보였으며, **IS (Inception Score)**가 106.61 로 가장 높았습니다.
  • Cosmos + Ours: 모든 생성 지표 (gFID, sFID, IS) 에서 기존 방법들보다 우월한 성능을 기록했습니다.
• 재구성 품질 유지:
  • 생성 성능이 크게 향상되었음에도 불구하고, PSNR, LPIPS, SSIM 등의 재구성 지표는 기존 모델과 유사하거나 매우 미세한 감소만 보였습니다. 이는 제안된 방법이 재구성과 생성 간의 트레이드오프를 효과적으로 해결했음을 의미합니다.
• 잠재 구조 분석:
  • 정규화를 적용한 토크나이저의 잠재 채널은 저주파에서 고주파 순서로 정보를 인코딩하는 것을 시각적으로 확인했습니다. (블러된 이미지의 잠재 표현이 지수 함수적으로 변화하며 푸리에 계수의 동역학을 따름)
  • 저주파 채널만으로도 인식 가능한 이미지를 재구성할 수 있어, 잠재 공간의 계층적 구조가 명확함을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 **상태 공간 모델 (SSM)**의 강력한 특성인 '주파수 인식'을 이미지 토크나이저에 도입함으로써, 압축성과 생성 친화성을 동시에 달성하는 새로운 패러다임을 제시했습니다.

• 이론적 통찰: SSM 을 단순한 시퀀스 모델링 도구를 넘어, 이미지의 주파수 구조를 학습하는 토크나이징 프레임워크로 확장했습니다.
• 실용적 가치: 현대 생성 AI 시스템 (Diffusion Models 등) 의 효율성과 품질을 직접적으로 향상시킬 수 있는 핵심 컴포넌트 (토크나이저) 를 개선하는 방법을 제공했습니다.
• 미래 전망: SSM 기반의 모델링 원리가 시각 표현 학습 (Visual Representation Learning) 분야에서 더 널리 활용될 수 있는 길을 열었습니다.

요약하자면, 이 연구는 이미지의 주파수 특성을 SSM 의 동역학으로 모델링하여, 생성 모델이 더 잘 학습할 수 있는 '질 좋은' 잠재 공간을 만드는 혁신적인 정규화 기법을 제안하고 실험적으로 검증했습니다.