기술 요약: IB-Flow

문제 정의

Diffusion Model과 Flow Matching (FM)을 포함한 대규모 텍스트-이미지 생성 모델은 전례 없는 시각적 충실도를 달달성했으나, 다단계 반복 솔버(종종 40100회의 Neural Function Evaluation 필요)에 의존함으로 인해 심각한 추론 지연 문제를 겪고 있습니다. 12단계로 궤적을 압축하기 위한 소수 단계 증류(few-step distillation) 기법들이 존재하지만, 기존의 Classifier-Free Guidance (CFG) 증류 프레임워크는 여전히 최적화되지 않은 상태입니다.

현재의 방법들은 다음과 같은 두 가지 결정적인 결함을 가진 "맹목적 주입 패러다임(blind injection paradigm)"을 채택하고 있습니다:

1. 전역적으로 정적인 가이던스 강도: 이미지 생성의 동적인 특성을 무시하고 모든 타임스텝에 걸쳐 일정한 CFG 스케일($\omega$)을 강제합니다.
2. 무차별적인 감독자 샘플링: 생성 프로세스의 현재 상태를 고려하지 않고 경험적 사전 확률로부터 감독자 타임스텝($\tau$)을 무작위로 샘플링합니다.

이러한 상태 비인지적(state-agnostic) 설계는 이미지 생성을 동적이고 점진적인 엔트로피 감소 과정으로 보는 본질적인 성격을 간과합니다. 결과적으로 이는 두 가지 실패 모드로 이어집니다:

• 초기 단계 (높은 엔트로피): 먼 거리에 있는 타겟으로 맹목적으로 도약함으로써 거대한 의미론적 격차(semantic gaps)를 발생시켜 노이즈 열화를 유발합니다.
• 후기 단계 (낮은 엔트로피): 경직되고 높은 강도의 가이던스가 수렴된 자연스러운 매니폴드(natural manifold)를 방해하여, 심각한 CFG 과잉 조건화 아티팩트(예: 색상 과포화, 질감 날카로움)를 초래합니다.

방법론: IB-Flow

저자들은 정보 이론, 특히 정보 병목(Information Bottleneck, IB) 원리에 의해 제약되는 동적 상호 정보량 게임(mutual information game)으로 증류를 재해석하는 프레포지션인 IB-Flow를 제안합니다. 이 프레임워크는 주입 대상과 주입 강도를 동적으로 결정하기 위한 이중 트랙 적응 메커니즘을 도입합니다.

1. 인스턴스 인식형 주입 대상 선택 (Instance-Aware Injection Target Selection)

가이던스를 언제 주입할지 결정하기 위해(최적의 감독자 타임스텝 $\tau^*_{CA}$ 선택), 저자들은 이 문제를 용량 제한된 상호 정보량 최대화 문제로 정식화합니다:
$$\tau^*_{CA}(x_t, t) = \arg \max_{\tau \in [t,1]} I(x_\tau; X_1 | X_t) \quad \text{s.t.} \quad D_{KL}(p_t \| p_\tau) \leq \delta$$

• 이론적 유도: 고차원 픽셀 공간에서 KL 발산 제약을 직접 해결하는 것은 불가능합니다. 저자들은 Flow Matching의 연속 벡터 필드 관점과 테일러 전개를 활용하여 **피셔 정보 메트릭(Fisher Information Metric)**을 사용하여 KL 발산을 근사합니다.
• 폐쇄형 해법 (Closed-Form Solution): 저자들은 주입 간격이 로컬 벡터 필드 노름($\|\Delta v_t(x_t)\|_2$)에 반비례하는 제로 오버헤드 폐쇄형 해법을 도출했습니다:
  $$\tau^*_{CA}(x_t, t) = \min\left(1, t + \frac{\kappa}{\|v^c_t(x_t) - v^u_t(x_t)\|_2 + \epsilon}\right)$$
  여기서 $\kappa$는 발산 예산(divergence budget)을 나타냅니다. 이 메커니즘은 초기 고엔트로피 단계에서는 보수적인 구조적 앵커링을 보장하고(더 가까운 감독자를 선택함으로써), 후기 단계에서는 세부적인 정밀화를 촉진합니다.

2. 엔트로피 인식형 동적 가이던스 강도 (Entropy-Aware Dynamic Guidance Strength)

가이던스를 얼마나 많이 주입할지 결정하기 위해(스케일 $\omega^*(t)$ 최적화), 저자들은 조건화 비용과 생성 충실도 사이의 균형을 맞춥니다:
$$\min_{\omega(t)} I(X^\omega_t; C) - \beta I(X^\omega_t; X_1 | C)$$

• 이론적 유도: I-MMSE 관계를 활용하여, 저자들은 실제 데이터의 잔여 불확실성이 순시 **신호 대 잡음비(SNR)**에 반비례함을 증명합니다.
• 폐쇄형 해법: 최적의 가이던스 강도는 SNR을 따라 동적으로 감소합니다:
  $$\omega^*(t) = 1 + (\omega_{max} - 1) \cdot \frac{1}{1 + \gamma \cdot \text{SNR}(t)}$$
  여기서 $\text{SNR}(t) = \frac{t^2}{(1-t)^2}$입니다. 이 스케줄은 초기 대칭성 파괴(symmetry breaking)를 위해 최대 추진력을 적용하되, 프로세스가 완료됨에 따라 무조건적 자연 매니폴드로 부드럽게 복귀($\omega \to 1$)하여 과잉 조건화 아티팩트를 효과적으로 제거합니다.

3. 통합 목적 함수 (Unified Objective)

이러한 동적 구성 요소들은 정적 파라미터를 유도된 $\tau^*_{CA}$ 및 $\omega^*(t)$로 대체하여 학생 모델의 그래디언트 업데이트를 가이드하는 CFG 증강(CA) 목적 함수에 통합됩니다.

주요 기여

1. 이론적 재정립: 본 논문은 전통적인 맹목적 주입의 한계를 폭로하며, 소수 단계 CFG 증류를 정보 병목 원리에 의해 제약되는 동적 상호 정보량 게임으로 공식화한 최초의 연구입니다.
2. 인스턴스 인식형 대상 선택: 불가능한 KL 발산 제약을 로컬 벡터 필드 노름 기반의 제로 오버헤드 폐쇄형 해법으로 변환하여 안전한 의미론적 정렬을 보장하는 수학적으로 유도된 메커니즘을 제공합니다.
3. 엔트로피 인식형 강도 스케줄링: SNR 진화와 일치하는 동적 가이던스 스케줄을 통해 조건부 생성과 자연스러운 매니폴드 충실도 사이의 균형을 맞추어 과잉 조건화를 제거합니다.
4. 최첨단 성능: 본 프레임워크는 극단적인 2-단계 설정에서도 우수한 생성 충실도와 텍스트 정렬을 달성합니다.

실험 결과

저자들은 세 가지 다양한 텔러(teacher) 모델인 FLUX.1-dev, OpenUni-L-512, Qwen-Image-20B에 대해 1024×1024 이미지를 생성하며 IB-Flow를 평가했습니다.

• 정량적 성능: Qwen-Image-20B 백본에서 2 NFE 기준, IB-Flow는 GenEval 점수 0.86과 DPG-Bench 점수 88.67을 달성하여 이전의 SOTA(ArcFlow: 0.84 / 87.94)를 능가했습니다.
• 세밀한 분석: DPG-Bench에 대한 상세 분석 결과, Global (+1.22) 및 Texture (+1.09) 지표에서 유의미한 향상을 보였습니다. 이는 동적 대상 선택가 구조적 안정성을 높이고, 동적 강도 스케줄이 후기 단계의 질감 과도 날카로움을 방지함을 확인시켜 줍니다.
• 정성적 개선: 시각적 비교를 통해 IB-Flow가 정적 베이스라인 및 다른 소수 단계 방법들(예: TwinFlow, pi-Flow)과 비교하여 구조적 충실도, 의미론적 정렬, 색상 충실도 및 질감 디테일을 동시에 개선함을 입증했습니다.
• 절제 연구 (Ablation Studies): 동적 대상 또는 동적 강도 중 하나라도 제거하면 성능 저하가 발생하여, 두 구성 요소가 서로 보완적인 실패 모드(의미론적 격차 vs 과잉 조건화)를 해결하고 있음을 확인했습니다.

의의 및 주장

본 논문은 경직되고 정적인 가정을 동적으로 움직이는 정보 주입 프레임워크로 대체함으로써, 소수 단계 생성 모델의 성능 한계를 근본적으로 초월한다고 주장합니다. 이미지 생성을 동적인 엔트로피 감소 과정으로 취급함으로써, 이 방법은 기존의 CFG 증류 시도를 괴롭혀온 심각한 과잉 조건화 아티팩트를 성공적으로 제거합니다. 저자들은 이 접근 방식이 구조적 및 색상 충실도를 모두 회복하여, 실시간 인터랙티브 애플리케이션에 필요한 정렬이나 디테일을 타협하지 않으면서도 극도로 낮은 단계(2 NFE)에서 고품질의 텍스트-이미지 합성을 가능하게 한다고 단언합니다.