기술 요약: 글로벌 및 로컬 시맨틱스를 통한 잠재 공간의 REGLUE (REGLUE Your Latents with Global and Local Semantics for Entangled Diffusion)

문제 정의

잠재 확산 모델(Latent Diffusion Models, LDMs)은 압축된 VAE 잠재 공간으로 생성 패러다임을 전환함으로써 이미지 합성 분야에서 최첨단 성능을 확립했습니다. 그러나 이러한 모델을 학습시키는 데는 근본적인 과제가 존재합니다. 표준적인 재구성 방식의 디노이징 목적 함수는 간접적인 시맨틱 감독만을 제공하기 때문입니다. 결과적으로, 고차원 시맨틱스(객체, 레이아웃, 관계)는 학습 과정 중에 매우 느리게 발현되며, 이는 샘플 품질과 수렴 속도를 제한합니다.

시각 기초 모델(Vision Foundation Models, VFMs)로부터 시맨틱스를 주입하여 이를 해결하려는 최근의 시도들은 최선이 아니었습니다. 기존 접근 방식들은 외부 표현 정렬(외부 교사로서 특징을 증류)에만 의존하거나, 확산 과정 내에서 시맨틱 신호를 공동으로 모델링하지만 VFM 특징의 좁은 슬라이스에 국한하는 방식을 취합니다. 구체적으로:

• REG 모델은 단일 이미지 수준의 글로벌 토큰([CLS])만을 모델링하여 공간적 세밀함이 부족합니다.
• ReDi 모델은 패치 수준(로컬) 특징을 모델링하지만, 선형 PCA 투영에 의존하여 표현을 저차원 선형 부공간(subspace)으로 제한하며, 이로 인해 풍부한 비선형 및 다층적 공간 정보를 버리게 됩니다.

저자들은 VFM 특징을 효과적으로 활용하기 위해서는 확산 모델 내에서 공간적 시맨틱스를 공동으로 모델링하는 동시에, 학습된 압축 표현을 통해 그 비선형적, 다층적 정보를 보존해야 한다고 주장합니다.

방법론: REGLUE

본 논문은 단일 SiT(Scalable Interpolant Transformer) 백본 내에서 세 가지 모달리티를 공동으로 모델링하는 통합 잠재 확산 프레임워크인 REGLUE(Representation Entanglement with Global–Local Unified Encoding)를 소개합니다:

1. VAE 이미지 잠재 변수(Latents): 표준적인 재구성 최적화 잠재 공간.
2. 로컬(패치 수준) 시맨틱스: 압축되고 공간적으로 구조화된 VFM 특징.
3. 글로벌(이미지 수준) 시맨틱스: VFM [CLS] 토큰.

핵심 구성 요소

1. 경량 시맨틱스 압축기 (Lightweight Semantic Compressor)
고차원 VFM 특징($D_f \gg D_z$)과 VAE 잠재 변수 사이의 차원 불일치를 해결하기 위해, REGLUE는 경량의 비선형 컨볼루션 시맨틱스 압축기($E_\psi$)를 사용합니다.

• 구조: 다층 VFM 특징을 재구성하도록 오프라인에서 사전 학습된 얕은 컨볼루션 오토인코더입니다.
• 기능: 다층 패치 수준 특징을 집계(채널별 결합을 통해)하고, 이를 현저히 감소된 차원($D_s \ll \sum D_\ell$)을 가진 압축되고 공간적으로 구조화된 표현($s^*$)으로 매핑합니다.
• 이점: 선형 PCA와 달리, 이 비선형 압축은 필수적인 시맨틱 정보를 보존하면서 시맨틱 모달리티가 VAE 잠재 변수를 압도하는 것을 방지하여 확산 모델의 용량 균형을 맞춥니다.

2. 통합 확산 모델링 (Unified Diffusion Modeling)
SiT 백본은 VAE 잠재 변수($z_t$), 압축된 로컬 시맨틱스($s_t$), 그리고 글로벌 토큰($cls_t$)을 공동으로 모델링합니다.

• 순방향 과정(Forward Process): 공유된 스케줄을 사용하여 세 가지 모달리티 모두에 독립적인 노이즈를 주입합니다.
• 토큰화(Tokenization): VAE 잠재 변수와 압축된 시맨틱스는 패치화되어 공통의 토큰 차원으로 투영됩니다. 이들은 단일 $N$개의 토큰 그리드를 유지하기 위해 채널 방향으로 병합되며, 이는 시퀀스 결합 시 발생하는 이차적 오버헤드를 방지합니다. 글로벌 토큰은 별도의 토큰으로 남습니다.
• 목적 함수: 모델은 세 가지 모달리티에 대한 속도(velocity)를 동시에 예측하는 멀티모달 속도 손실(multimodal velocity loss)로 학습됩니다.

3. 외부 표현 정렬 (External Representation Alignment)
보조 신호로서, REGLUE는 특정한 트랜스포머 블록에서 은닉 토큰을 코사인 유사도 손실을 통해 고정된 VFM 타겟(글로벌 및 로컬 모두)과 일치하도록 투영하는 특징 정렬 손실(REPA에서 영감을 얻음)을 포함합니다. 이는 확산 모델이 원시 VFM 특징을 직접 생성할 필요 없이, 내부 표현을 교사 VFM 쪽으로 규제합니다.

주요 기여

1. 통합 프레임워크: REGLUE는 단일 확산 백본 내에서 이미지 수준(글로글) 및 패치 수준(로컬) VFM 시맨틱스를 VAE 잠재 변수와 함께 공동으로 모델링하는 최초의 프레임워크입니다.
2. 비선형 시맨틱스 압축: 다층 VFM 특징을 압축적이고 시맨틱을 보존하는 공간으로 집계하는 경량 비선형 시맨틱스 압축기를 제안했습니다. 이를 통해 패치 수준의 공동 모델링을 통한 상당한 이득을 실현하며, 선형 투영 방식보다 우수한 성능을 보입니다.
3. 상승적 설계(Synergistic Design): 본 논문은 패치 수준 시맨틱스, 글로벌 토큰, 그리고 외부 정렬이 서로 상승 작적으로 작용함을 입증합니다. 주요 성능 향상은 압축된 패치 특징의 공간적 공동 모델링에서 비롯되며, 글로벌 토큰과 정렬은 보완적인 강화 요소 역할을 합니다.
4. 효율성: 이 방법은 확산 모델의 파라미터 수를 늘리거나 추론 시 연산량을 증가시키지 않으면서도 생성 성능을 개선하고 수렴을 가속화합니다(처리량은 베이스라인과 유사하게 유지됨).

실험 결과

실험은 SiT-B/2 및 SiT-XL/2 백본을 사용하여 ImageNet 256×256 생성 벤치마크에서 수행되었습니다.

성능 향상:

• FID 감소: REGLUE는 베이스라인을 지속적으로 능가합니다. 400K 스텝에서 SiT-B/2 기준, REGLUE는 FID 12.9를 달성했습니다(바닐라 SiT 33.0, REPA 24.4, ReDi 21.4, REG 15.2 대비).
• 수렴 속도: REGLUE는 ReDi 및 REG의 1M 스텝 성능에 도달하는 데 각각의 학습 반복 횟수의 30% 및 80% 미만만을 사용합니다. 예를 들어, SiT-XL/2+REGLUE는 1M 스텝에서 FID 2.5에 도달하여 REG(2.7)와 ReDi(5.1)를 능가합니다.
• 무조건부 생성(Unconditional Generation): 무조건부 설정에서 REGLUE는 SiT-B/2에서 FID 28.7을 달성하여 조건부 베이스라인(33.0) 및 기타 SOTA 방법들을 넘어섰습니다.

절제 연구(Ablation) 통찰:

• 로컬 vs 글로벌: 패치 수준(로컬) 시맨틱스가 매우 중요합니다. 이를 모델링하는 것이 글로벌 토큰만을 모델링하는 것보다 더 큰 이득을 가져옵니다.
• 압축: 비선형 압축이 필수적입니다. 선형 PCA(ReDi에서 사용됨)는 최적이 아닌 결과(정렬 없는 비선형 압축의 경우 FID 14.3 대비 21.4)를 냅니다.
• 계층 집계: 압축 전 VFM의 마지막 4개 레이어(9–12)를 집계하는 것이 최상의 신호를 제공하며, 얕은 레이어를 포함하면 성능이 저하됩니다.
• 확산 가능성(Diffusability): 주파수 분석(DCT) 결과, 비선형 압축기는 확산 모델이 모델링하기 어려워하는 고주파 성분을 억제하여, 시맨틱 정확도는 유지하면서도 "확산 친화적인" 표현을 생성함을 보여줍니다.

의의 및 주장

본 논문은 REGLUE가 재구성 최적화 및 시맨틱 최적화 표현을 효과적으로 "엉키게(entangle)" 함으로써 잠재 확산의 중요한 진전을 나타낸다고 주장합니다. 저자들은 VFM을 활용하기 위한 핵심 설계 선택이 단순히 특징을 외부적으로 정렬하거나 단일 토큰을 모델링하는 것이 아니라, 비선형적이고 압축된 표현을 사용하여 확산 과정 내에서 공간적 시맨틱스를 공동으로 모델링하는 것이라고 단언합니다.

이 연구는 다음을 입증합니다:

1. 공간적 VFM 시맨틱스는 미세한 구조를 포착하는 데 결정적입니다.
2. 비선형 압축은 이러한 풍부한 다층 특징의 이점을 온전히 끌어내기 위한 핵심 메커니즘입니다.
3. 글로벌 토큰과 외부 정렬은 생성 과정을 더욱 정교하게 만드는 보완적이고 경량화된 강화 요소입니다.

추론 비용의 증가 없이 더 적은 학습 반복만으로 최첨단 결과를 달성함으로써, REGLUE는 더 높은 품질의 이미지 합성을 향한 확장 가능하고 효율적인 경로를 제시합니다. 연구의 재현성을 위해 코드는 공개되어 있습니다.