기술 요약: 표현 정렬 시각 특징을 이용한 테스트 타임 컨디셔닝 (REPA-G)

문제 정의

표현 정렬(representation alignment)을 통한 자기 지도 학습 모델과의 정렬이 확산 모델(diffusion models)의 학습을 가속화하고 샘플 품질을 향상시킨다는 점은 입증되었으나, 이를 **추론 시점의 컨디셔닝(inference-time conditioning)**을 강화하는 데 활용할 가능성은 거의 탐구되지 않았습니다. 현재 이미지 합성에서의 컨디셔닝 전략은 주로 클래스 레이블이나 텍스트 설명에 의존합니다. 클래스 기반 컨디셔닝은 사전 정의된 범주로 제한되어 거친 제어만을 제공하며, 텍스트 프롬프트는 유연하지만 종종 부정확하고 모호합니다. 또한, 기존의 사후 학습(post-training) 컨디셔닝 방법들은 모델을 재학습시키지 않더라도 추론 시 고정된 추가 파라미터, 작업별 학습, 또는 구조적 수정이 필요합니다. 따라서 모델을 재학습시키거나 모호한 프롬프트에 의존하지 않고도 정밀하고 유연하며 세밀한 제어를 가능하게 하는 방법론이 필요합니다.

방법론: REPA-G

저자들은 표현 정렬로 학습된 확산 모델의 내부 표현을 활용하여 테스트 타임 시각적 컨디셔닝을 가능하게 하는 프레임워크인 **REPA-G(Representation-Aligned Guidance)**를 소개합니다.

핵심 메커니즘

REPA-G는 추론 과정 중에 유사도 목적 함수(즉, "포텐셜(potential)")를 최적화함으로써 작동합니다. 이 방법은 사전 학습된 자기 지도 특징 추출기(예: DINOv2)로부터 추출된 타겟 표현을 향하도록 디노이징 과정을 가이드합니다.

1. 특징 추출(Feature Extraction): 모델의 학습 단계에서 사용된 것과 동일한 자기 지도 네트워크를 사용하여 참조(앵커) 이미지로부터 시각적 토큰을 추출합니다.
2. 그래디언트 가이드(Gradient Guidance): 생성된 샘플의 내부 특징과 컨디셔닝 특징 사이의 정렬 정도를 정량화하는 포텐셜 함수 $\mathscr{V}$의 그래디언트를 계산함으로써 샘플링 절차를 수정합니다.
3. 기울어진 분포(Tilted Distribution): 이론적으로, 이 가이드는 샘플링 과정을 $\tilde{p}_0(x; x_c) \propto p_0(x) e^{\lambda \mathscr{V}(\phi(x), \phi(x_c))}$인 "기울어진 분포"로부터 샘플을 추출하도록 유도하며, 여기서 $p_0$는 원래의 데이터 분포이고 $\lambda$는 가이드의 강도를 조절합니다.

포텐셜 설계를 위한 선택지

이 프레임워크는 포텐셜 함수 $\mathscr{V}$를 조정함으로써 다양한 수준의 제어를 지원합니다:

• 독립 패치 정렬 (Independent Patch Alignment, IPA): 공간적 유연성을 허용합니다.
  • 전체 특징 맵 (Full Feature Map): 확률적 재구성을 위해 조밀한 공간적 제약을 부과합니다.
  • 마스크된 특징 맵 (Masked Feature Map): 특정 영역(예: 물체의 형태) 내의 정보는 보존하면서 다른 영역은 변화를 허용합니다.
  • 평균 개념 (Average Concept): 전역적인 의미적 평균을 정렬하여 공간적 제약 없이 일반적인 범주(예: "토끼")를 가이드합니다.
  • 단일 개념 (Single Concept): 특정 국소 패치에 가이드를 집중합니다.
• 선택적 패치 정렬 (Selective Patch Alignment, SPA): 타겟 개념과의 유사성에 따라 온도 파라미터 $T$를 사용하여 패치에 동적으로 가중치를 부여하는 소프트맥스(soft-max) 메커니즘을 사용합니다. 이를 통해 모델이 경직된 공간적 제약을 우회하여 개념을 적응적으로 국지화할 수 있습니다.

전제 조건

이 방법은 확산 모델이 표현 정렬(예: REPA 또는 REPA-E 목적 함수 사용)을 통해 학습되었을 것을 요구합니다. 이는 모델의 내부 특징 공간이 의미론적으로 유의미하고 잘 조건화되어 있음을 보장하며, 즉 특징 공간에서의 거리가 조건부 밀도 공간에서의 거리와 상관관계를 갖도록 합니다. 이러한 정렬이 없다면 특징 공간은 효과적인 컨디셔닝에 필요한 의미적 구조를 결여하게 됩니다.

주요 기여

1. REPA-G 프레임워크: 표현 정렬로 학습된 확산 모델을 위한 최초의 테스트 타임 시각적 컨디셔닝 프레임워크입니다. 이는 모델의 미세 조정이나 재학습 없이도 자기 지도 인코더로부터 타겟과 내부 확산 특징을 정렬합니다.
2. 이론적 정당성: 저자들은 이 가이드가 포텐셜에 의해 유도된 기울어진 분포로부터 샘플링을 가능하게 한다는 이론적 분석을 제공합니다. 또한, 자기 지도 특징이 의미적 일관성과 매끄러운 매핑 특성을 갖기 때문에 이 작업에 적합함을 정당화합니다.
3. 다양한 제어 능력: 미세한 질감 매칭(단일 패치 활용)부터 광범위한 의미적 가이드(전역 토큰 활용)에 이르기까지 다양한 스케일에서 구체적이고 추상적인 시각적 개념을 제어할 수 있습니다. 또한 다중 개념 합성(예: 한 이미지의 물체와 다른 이미지의 배경을 결합)을 지원합니다.

실험 결과

저자들은 표현 정렬로 학습된 Flow Matching 모델(SiT)을 사용하여 ImageNet 및 COCO 데이터셋에서 REPA-G를 평가했습니다.

• 분포 수준 성능: ImageNet에서 REPA-G는 무조건적(unconditional) 베이스라인 및 표준 SiT 모델보다 컨디셔닝 시 유의미하게 높은 성능을 보였습니다. 예를 들어, DINOv2 특징(FDINO)을 사용한 REPA-E의 경우, 무조건적 베이스라인의 FID가 15.07인 것에 비해 Full Feature Map에서 1.45, Masked에서 2.30의 FID를 달성했습니다. 또한 높은 Inception Score(IS)와 Precision/Recall 지표를 보여주었습니다.
• 인스턴스 수준 정렬: 생성된 이미지는 DINOv2, JEPA, CLIP 특징 공간 전반에서 앵커 이미지와 높은 코사인 유사도를 보였으며, 마스크된 재구성 작업에서는 PSNR 수치를 통해 강력한 픽셀 수준의 충실도를 나타냈습니다.
• 텍스트-이미지 생성과의 비교: COCO 데이터셋에서 텍스트-이미지 베이스라인(CAD-I)과 비교했을 때, 시각적 특징을 사용한 REPA-G가 더 우수한 성능(텍스트의 경우 FID 37.98 대비 REPA-G의 FID 2.11)을 보였으며, 이는 시각적 특징이 텍스트 캡션보다 더 조밀하고 정보가 풍부한 신호를 제공함을 시사합니다.
• 다중 개념 합성: 구성적 생성 작업(앵커 물체와 타겟 배경의 결합)에서 REPA-G 변형(IPA 및 SPA)은 CLIP 점수와 패치 단위 유사도 지표 측면에서 클래스 조건부 및 보간(interpolation) 베이스라인을 크게 앞질렀습니다.

의의 및 주장

본 논문은 REPA-G가 종종 모호한 텍스트 프롬프트나 거친 클래스 레이블에 대한 유연하고 정밀한 대안을 제공한다고 주장합니다. 완전히 추론 시점에 작동함으로써, 새로운 컨디셔닝 메커니즘을 학습시키거나 모델을 미세 조정하는 데 드는 계산 비용과 복잡성을 피할 수 있습니다. 저자들은 이 방법의 효과가 모델이 표현 정렬을 통해 학습되었는지 여부에 달려 있음을 강조하며, 이는 내부 특징 공간이 필요한 의미적 구조를 보유하도록 보장하기 때문입니다. 이 접근 방식은 현재 구성적 작업을 위해 가이드 스케일 $\lambda$를 튜닝해야 하고 변화하는 장면 뷰포인트(viewpoint) 문제에 직면해 있지만, 제어 가능하고 특징 중심적인 생성 모델링을 향한 중요한 진전을 나타냅니다.