기술 요약: LISA (Likelihood Score Alignment)

문제 정의

본 논문은 모델이 이미지 및 비디오 합성을 가이드하기 위해 시각적 모달리티(예: 포즈, 세그멘테이션, 데프스 맵)를 통합해야 하는 **시각적 조건 제어 생성(visual-condition controllable generation)**의 과제를 다룹니다. 지배적인 접근 방식은 사전 학습된 확산(diffusion) 또는 플로우 매칭(flow-matching) 모델을 "메인 네트워크"로 동결하고, 시각적 조건을 인코딩하기 위한 별도의 "사이드 네트워크"를 학습시키는 **이중 브랜치 패러다임(dual-branch paradigm)**입니다. 이러한 사이드 피처들은 메인 네트워크로 융합됩니다.

이러한 방식의 성공에도 불구하고, 저자들은 사이드 네트워크의 역할과 그 학습 효율성이 여전히 충분히 탐구되지 않았다고 주장합니다. 기존 방법들은 종종 표현 정렬(representation alignment)을 위해 외부 시맨틱 인코더에 의존하며, 이는 성능을 선택된 인코더에 종속시키고 복잡성을 더합니다. 식별된 핵심 문제는 사이드 네트워크가 구현상으로는 '우도 점수(likelihood score)'(조건부 점수와 무조건부 점수의 차이)를 제공하는 역할을 내포적으로 학습하지만, 학습 과정에서 이 특정 역할에 대한 명시적인 감독(supervision)이 부족하다는 것입니다.

방법론: LISA

저자들은 스코어 기반 생성 모델링(score-based generative modeling)에 근거한 정규화 방법인 **LISA (Likelihood Score Alignment)**를 제안합니다.

1. 이론적 분해

본 논문은 베이즈 정리(Bayes' rule)를 통해 이중 브랜치 패러다임을 재해석합니다. 조건부 스코어 $\nabla_{x_t} \log p_t(x_t|c)$는 다음과 같이 분해됩니다:

1. 무조건부 스코어 (Unconditional Score): 동결된 메인 네트워크에 의해 제공되는 $\nabla_{x_t} \log p_t(x_t)$.
2. 우도 스코어 (Likelihood Score): 조건부 스코어와 무조건부 스코어 사이의 간극을 나타내는 $\nabla_{x_t} \log p_t(c|x_t)$.

표준적인 이중 브랜치 설정에서 사이드 네트워크는 이 간극을 메우는 역할을 암묵적으로 학습합니다. LISA는 이 역할을 명시적으로 만듭니다.

2. 근사 우도 스코어 구축

사이드 네트워크를 감독하기 위해, LISA는 외부 인코더를 필요로 하지 않고 타겟 "근사 우도 스코어"($\hat{\ell}_t$)를 구축합니다:

• 무조건부 타겟 (Unconditional Target): 조건 주입 없이 동결된 메인 네트워크를 실행하여 얻습니다: $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$.
• 조건부 타겟 (Conditional Target): 표준 디노이징 타겟 $\nabla_{x_t} \log p_t(x_t|x_0)$가 조건부 스코어의 다루기 쉬운 대리물(proxy) 역할을 합니다.
• 우도 타겟 (Likelihood Target): 근사 우도 스코어는 다음과 같은 차이로 계산됩니다:
  $$\hat{\ell}_t(c|x_t) = \nabla_{x_t} \log p_t(x_t|x_0) - s_\theta(x_t, t)$$

3. 정렬 메커니즘

• 피처 추출 (Feature Extraction): 사이드 네트워크로부터 특정 중간 피처 레이어 $r^k_\phi(x_t, c, t)$를 "후킹(hooked)"합니다.
• 경량 디코더 (Lightweight Decoder): 이 피처는 해당 피처를 잠재 스코어 공간(latent score space)으로 투영하는 작은 학습 가능 디코더 $D_\psi$(사이드 네트워크 크기의 약 0.1%)로 입력됩니다.
• 정규화 손실 (Regularization Loss): 디코더의 출력은 $L_2$ 거리를 사용하여 근사 우도 스코어 타겟과 정렬됩니다.
• 최적화 (Optimization): 전체 목적 함수는 표준 확산 손실($\mathcal{L}_{main}$)과 LISA 정규화 손실($\mathcal{L}_{LISA}$)을 결합합니다:
  $$\mathcal{L}_{total} = \mathcal{L}_{main} + \lambda \mathcal{L}_{LISA}$$
• 추론 (Inference): 경량 디코더는 학습 후 폐기됩니다. 사이드 네트워크는 원래 아키텍처와 동일하게 사용되므로 추가적인 추론 비용이 발생하지 않습니다.

주요 기여

1. 새로운 관점: 본 논문은 메인 네트워크와 사이드 네트워크의 역할을 각각 무조건부 스코어와 우도 스코어로 분해함으로써 이중 브랜치 패러다임을 분석합니다.
2. LISA 프레임워크: 외부 시맨틱 인코더 없이도 사이드 네트워크 피처를 근사 우도 스코어와 효과적으로 정렬하는 유효한 정규화 기술을 도입합니다.
3. 효율성 및 성능: 미미한 추가 학습 비용과 추론 오버헤드 없이 학습 수렴을 가속화하고 최종 합성 품질(지각적 품질 및 조건 충실도 모두)을 향상시킵니다.
4. 엉킴 해제 (Disentanglement): 명시적인 정렬은 사이드 네트워크의 피처가 더 잘 엉킴 해제(disentangled)되도록 유도하여, 멀티 조건 생성에서의 구성적 제어(compositional control)를 자연스럽게 개선합니다.

실험 결과

저자들은 다양한 태스크, 아키텍처(U-Net, DiT), 모델(Diffusion, Flow Matching)에 대해 LISA를 평가했습니다:

• 이미지 생성 태스크: SDXL-1.0 및 Stable Diffusion 2.1을 사용하여 포즈(Pose), 세그멘테이션(Segmentation), 데프스(Depth), 저해상도 이미지 생성에 대한 실험을 수행했습니다.
  • 수렴 (Convergence): LISA는 일관되게 수렴을 가속화했습니다. 예를 들어, 포즈 조건 생성에서 LISA는 바닐라 ControlNet 대비 10K 반복 횟수에서 PCK(Percentage of Correct Keypoints)를 19.38%에서 83.02%로 개선했습니다.
  • 효율성 (Efficiency): LISA는 더 적은 반복 횟수로 더 나은 결과를 달-성했습니다 (예: 데프스 맵 생성에서 LISA를 사용한 4K 반복 횟수가 ControlNet의 10K 반복 횟한 성능을 상회함).
  • 비교 (Comparison): LISA는 외부 모델을 요구하는 ControlNet+REPA(DINOv2 외부 인코더에 의존)보다 우수하거나 대등한 성능을 보였습니다.
• 비디오 생성 (Video Generation): 포즈 가이드 비디오 생성(ControlVideo)에 적용되었습니다. LISA는 5K 및 30K 반복 횟수에서 FVD(Frechet Video Distance)와 PCK를 크게 개선했습니다.
• 아키텍처 불가지론 (Architecture Agnosticism): 이 방법은 Diffusion Transformer(DiT) 및 Optimal Transport Flow Matching(OT-FM) 모델(예: Stable Diffusion 3)에도 일반화되었습니다.
• 구성적 제어 (Compositional Control): 독립적으로 학습된 포즈 및 세그멘테이션 네트워크를 결합했을 때, LISA는 베이스라인보다 우수한 구성적 생성 능력을 보여주었으며, 이는 학습된 피처의 더 나은 엉킹 해제를 시사합니다.
• 오버헤드 (Overhead): 이 방법은 학습 중에 약 0.1%의 파라미터와 반복당 약 0.2초의 지연 시간만을 추가했으며, 추론 시에는 비용이 전혀 들지 않았습니다.

의의 및 주장

본 논문은 LISA가 이중 브랜치 패러다임의 학습 비효율성에 대한 단순하면서도 효과적인 솔루션을 제공한다고 주장합니다. 생성 과정을 명시적으로 분해하고 사이드 네트워크를 우도 스코어와 정렬함으로써, LISA는 다음과 같은 강력한 사전 감독(prior supervision) 역할을 합니다:

1. 학습 가속화: 고품질 결과를 얻기 위해 필요한 반복 횟수를 크게 줄입니다.
2. 품질 향상: 출력의 지각적 품질과 시각적 조건에 대한 충실도를 모두 높입니다.
3. 아키텍처 단순화: 이전의 정렬 방법들이 요구했던 외부 시맨틱 인코더에 대한 의존성을 제거합니다.
4. 구성적 제어 가능: 학습된 피처의 개선된 엉킹 해제 덕분에 여러 시각적 조건을 결합하는 것을 자연스럽게 용이하게 합니다.

저자들은 LISA가 다양한 모델 아키텍처 전반에서 이미지 및 비디오 태스크에 적용 가능한, 확장 가능하고 실용적인 접근 방식이라고 결론짓습니다.