Contrastive-Augmented Flow Matching for Style-Content Disentanglement

기술 요약: 스타일-콘텐츠 분리를 위한 대조 학습 증강 플로우 매칭 (CAtFM)

문제 정의
콘텐츠와 스타일을 효과적으로 분리하는 표현을 학습하는 것은 제어 가능한 생성 및 구성적 일반화(compositional generalization)를 위해 매우 중요합니다. 그러나 기존 방식들은 다음과 같은 이분법적 문제에 직면해 있습니다:

• 판별적 방법 (Discriminative methods): (예: 대조 학습) 특징의 분리 가능성과 결정 경계를 최적화하지만, 일반적으로 조건부 분포 $P(y|x)$만을 모델링합니다. 결과적으로, 새로운 요소 조합에 대한 구성적 일반화에 어려움을 겪으며, 기초 데이터 구조와 일치하는 샘플을 생성하는 데 한계가 있습니다.
• 생성적 방법 (Generative methods): (예: 확산 모델 및 SCFlow와 같은 플로우 기반 모델) 제어 가능한 합성 및 가역적 수송(invertible transport)을 가능하게 하지만, 명시적으로 분리된 잠재 변수가 부족한 경우가 많습니다. 주로 생성 목적 함수로 학습되기 때문에, 콘텐츠와 스타일 표현이 서로 침투하는 "제약 없는 분리(unconstrained disentanglement)" 현상이 발생하며, 이는 의미론적 불일치나 불완전한 요소 결합으로 이어집니다. 이러한 한계는 익숙한 요소들의 미지의 조합을 다룰 때 특히 두드러집니다.

방법론: CAtFM
저자들은 가역적 플로우 매칭 정식화에 대조 학습 규제(contrastive regularization)를 통합한 프레임워크인 **CAtFM (Contrastive-Augmented Flow Matching)**을 제안합니다. 핵심 혁신은 중간 잠재 변수나 속도장(velocity field)이 아닌, *예측된 엔드포인트(predicted endpoints)*에 대조 학습 감독을 적용한다는 점에 있습니다.

1. 플로우 매칭 기반: CAtFM은 분리된 소스 분포 $p_0(x)$와 병합된 타겟 분포 $p_1(x)$ 사이의 결정론적 수송 문제로 스타일-콘텐츠 혼합 및 분리를 모델링하는 SCFlow를 기반으로 합니다. 이 모델은 상미분 방정식(ODE)을 통해 샘플을 수송하기 위한 속도장 $v_\theta(x_t, t)$를 학습합니다.
2. 엔드포인트 구축: 순수한 콘텐츠 및 스타일 요소의 정답(ground-truth)을 구할 수 없으므로, 이 방법은 콘텐츠-스타일 참조 쌍을 사용하여 학습용 트리플렛(triplets)을 구성합니다. 소스 엔드포인트 $x_0$는 콘텐츠 참조(무작위 스타일 포함)와 스타일 참조(무작리 콘텐츠 포함)를 결합하여 형성됩니다. 타겟 엔드포인트 $x_1$은 병합된 이미지(또는 그 임베딩)입니다.
3. 양방향 엔드포인트 예측: 표준 플로우 매칭이 속도를 예측하는 것과 달리, CAtFM은 학습된 속도장을 사용하여 단일 단계에서 양방향 엔드포인트($\hat{x}_0$ 및 $\hat{x}_1$)를 재구성합니다:
   • $\hat{x}_0 = x_t - t \cdot v_\theta(x_t, t)$
   • $\hat{x}_1 = x_t + (1-t) \cdot v_\theta(x_t, t)$
4. 대조 학습 규제: 재구성된 표현들에 대조 학습 목적 함수를 직접 적용합니다. 결합된 예측값은 콘텐츠와 스타일의 절반씩 분할됩니다. 인-배치 대조 손실(예: InfoNCE, Margin Loss)이 각각의 레이블을 사용하여 콘텐츠와 스타일 구성 요소에 독립적으로 적용됩니다. 이는 엄격하게 순수하거나 완전히 인수 분해된 표현을 가정하지 않고도 요소 내 응집력(intra-factor compactness)과 요소 간 분리(inter-factor separation)를 강제합니다.
5. 학습 목적 함수: 전체 손실은 하이퍼파라미터 $\lambda$로 가중치가 부여된 표준 플로우 매칭 손실($\mathcal{L}_{FM}$)과 대조 학습 손실($\mathcal{L}_{cont}$)의 결합으로 구성됩니다:
   $$\mathcal{L}_{total} = \mathcal{L}_{FM} + \lambda \cdot \mathcal{L}_{cont}$$

주요 기여

• 새로운 정식화: CAtFM은 양방향 엔드포인트 예측을 명시적인 학습 신호로 활용하는 최초의 스타일-콘텐츠 분리 기반 플로우 매칭 프레임워크입니다.
• 명시적 제약을 통한 암묵적 분리: 이 방법은 (분리가 가역성으로부터 발생하는) SCFlow의 암묵적이고 감독이 적은(supervision-light) 정식화를 유지하면서, 요소 침투를 방지하기 위해 명시적인 판별 제약을 추가합니다.
• 분포 변화에 대한 강건성: 판별적 제약을 결정론적 수송과 결합함으로써, 순수 생성 모델이나 판별 모델보다 더 강력한 오픈셋 강건성(open-set robustness)과 구성적 일반화 능력을 달성합니다.
• 표현론적 무관성 (Representation Agnosticism): 이 접근 방식은 다양한 고정된 임베딩 공간(CLIP, DINO, ALIGN)에서 검증되었으며, 제안된 목적 함수가 기본 특징 추출기와 관계없이 스타일 식별력과 콘텐츠 충실도를 향상시킨다는 것을 보여줍니다.

실험 결과
저자들은 합성 데이터, 도메인 내 미지의 스타일, 그리고 실제 벤치마크(ImageNet, WikiArt, DomainNet, DTD)에서 CAtFM을 평가합니다.

• 의미론적 정확성: CAtFM은 콘텐츠 및 스타일 모두에 대한 제로샷 검색 정확도에서 바닐라 SCFlow 및 CLIP보다 우수한 성능을 보입니다. 텍스트 설명과의 코사인 유사도가 더 높고, 순방향 생성 시 FID 점수가 더 낮습니다.
• 분리 성능: 정량적 지표는 정규화된 상호 정보량(NMI)과 실루엣 점수의 유의미한 개선을 보여주며, 이는 SCFlow 및 순수 판별 모델에 비해 잠재 공간 내에서 콘텐츠와 스타일 요소의 클러스터링이 더 조밀하고 분리가 잘 되어 있음을 나타냅니다.
• 일반화 능력: 도메인 외 데이터셋 및 미지의 스타일 클래스에 대해, CAtFM은 검색 작업(F1 점수)과 오픈셋 분류(AUOCSR)에서 탁월한 성능을 입증합니다. 이는 순수 생성 모델이 실패하기 쉬운 부분인, 미지의 쿼리가 제시되었을 때 이미 본 클래스를 거부하는 능력을 효과적으로 수행함을 보여줍니다.
• 정성적 분석: 시각적 결과는 CAtFM이 SCFlow에 비해 콘텐츠 침투가 최소화된 스타일 출력을 생성하며, 더 넓은 의미론적 단서와 장면 맥락을 보존하는 콘텐츠 표현을 생성함을 확인시켜 줍니다.

의의 및 주장
논문은 CAtFM이 "판별적 제약을 결정론적 수송과 결합하는 간단한 방법"을 제공한다고 주장합니다. 저자들은 생성적 플로우 모델이 가역성을 통해 강력한 분리 구조를 제공하지만, 요소 침투를 방지하기 위해 명시적인 대조 학습 제약의 도움을 크게 받는다고 논증합니다. 이 연구는 이러한 패러다임을 통합함으로써 의미론적으로 일관되고 잘 분리될 뿐만 아니라, 분포 변화 하에서도 강건한 표현을 얻을 수 있음을 입증하며, 생성적 또는 판별적 접근 방식 중 하나만을 단독으로 사용할 때의 한계를 해결합니다. 저자들은 현재 이 방법이 고정된 임베딩 공간에서 작동하고 있으며, 향후 VAE/확산 잠재 공간을 통한 픽셀 수준의 제어 가능성으로 확장될 수 있다고 언급했습니다.