기술 요약: 평균 따르기: 참조 유도 흐름 매칭

문제 정의

미리 학습된 생성 모델의 출력을 제어하는 것 (예: 특정 속성, 스타일, 또는 구조 강제) 은 여전히 중요한 과제입니다. 기존 접근법은 일반적으로 세 가지 범주로 나뉘며, 각각 고유한 한계를 가집니다:

1. 파인튜닝 및 어댑터: 새로운 목표마다 모델 파라미터를 수정해야 하므로 계산 비용이 많이 들고 동적인 변화에 유연하지 않습니다.
2. 가이드 방법: 생성기를 고정된 상태로 두지만 보조 분류기, 보상 모델, 또는 보상 신호에 의존하여 추가적인 계산 오버헤드와 외부 네트워크에 대한 의존성을 초래합니다.
3. 검색 기반 방법: 재학습을 피하지만 반복적인 샘플링, 필터링, 또는 프롬프트별 최적화를 통해 높은 추론 비용을 초래합니다.

이러한 접근법 중 추가 학습, 보조 네트워크, 그리고 테스트 시간 검색을 모두 피하면서 고품질 생성을 유지하는 방법은 없습니다. 본 논문은 대안적인 형식을 제안합니다: **참조 유도 흐름 (Reference-Guided Flows)**입니다. 이는 파라미터 업데이트나 외부 보상 신호가 아닌 데이터 예시를 통해 모델을 적응시킴으로써 생성을 제어합니다.

방법론

본 논문의 핵심 통찰은 흐름 매칭 (Flow Matching, FM) 에서 속도장 $u_t(x)$는 오직 조건부 엔드포인트 평균 $\mu_t(x) = \mathbb{E}[x_1 | x_t = x]$에 의해 결정된다는 것입니다. 선형 보간자의 경우, 속도는 다음과 같이 주어집니다:
$$u_t(x) = \frac{\mu_t(x) - x}{1 - t}$$
따라서 엔드포인트 평균을 이동시키면 전체 흐름 궤적이 이동합니다. 저자들은 이 평균을 참조 집합 $R$의 이미지들에 조건을 부여함으로써 이동시킬 수 있다고 제안하며, 이는 모델 가중치를 변경하지 않고도 $R$에 의해 유도된 분포로 모델을 효과적으로 유도합니다.

본 논문은 이 원리를 두 가지 형태로 구체화합니다:

1. 참조 평균 가이드 (RMG)

RMG 는 고정된 미리 학습된 모델을 제어하기 위한 학습 없는 (training-free) 방법입니다.

• 메커니즘: 참조 집합의 엔드포인트 평균 ($\hat{\mu}^\rho_t$) 과 미리 학습된 모델의 엔드포인트 평균 ($\mu^\theta_t$) 간의 차이를 기반으로 속도장에 대한 폐형식 (closed-form) 보정을 계산합니다.
• 공식: 가이드된 속도는 다음과 같이 정의됩니다:
  $$u^\pi_t(x) \approx u^\theta_t(x) + \beta_t \frac{\hat{\mu}^\rho_t(x) - \mu^\theta_t(x)}{1 - t}$$
  여기서 $\beta_t$는 가이드 스케줄이며, $\hat{\mu}^\rho_t(x)$는 참조 이미지들에 대한 소프트맥스를 통해 계산된 참조 집합의 경험적 가중 평균입니다.
• 특성: 기울기 계산, 보조 네트워크, 그리고 기본 모델 이상의 추가 모델 평가가 필요하지 않습니다. 참조 집합은 추론 시 색상, 정체성, 스타일, 또는 구조를 변경하기 위해 교체될 수 있습니다.

2. 준모수적 가이드 (SPG)

SPG 는 참조 평균 가이드 개념을 상쇄하는 학습 가능한 아키텍처입니다.

• 아키텍처: 모델 $\mu^\theta_t(x_t, R)$은 학습 중에 명시적으로 참조 집합 $R$에 조건을 부여합니다. 이는 "앵커" $\bar{x}$ (폐형식 평균과 유사) 를 계산하기 위해 크로스 어텐션 메커니즘을 사용하고, 앵커가 실수로 복사할 수 있는 불필요한 상관관계 (예: 공유된 배경) 를 보정하기 위해 학습된 잔차 정제기 $f^\theta$를 사용합니다.
• 학습: 앵커가 자신의 엔드포인트에 주의를 기울이는 것을 방지하기 위해 leave-one-out 목적 함수로 모델을 학습시키고, 정제기가 앵커 이상의 세부 사항을 포착하도록 가르치기 위해 잔차 손실을 결합합니다.
• 특성: SPG 는 표준 모델 (예: DiT-B/4) 의 무조건부 생성 품질을 유지하면서 참조 집합 교체를 통한 추론 시간 제어를 가능하게 합니다.

주요 기여

1. 가이드로서의 평균 이동: 저자들은 가이드를 훈련 집합의 확률 경로와 참조 집합의 확률 경로 사이의 기하학적 보간으로 정의합니다. 그들은 결과적인 가이드 항이 두 분포의 엔드포인트 평균 차이에만 의존함을 증명합니다.
2. 참조 평균 가이드 (RMG): 참조 뱅크를 사용하여 폐형식으로 속도 이동을 계산하는 학습 없는 방법입니다. 이는 기울기, 분류기, 또는 보상 모델 없이 고정된 모델 (FLUX.2-klein 에서 시연됨) 에 대한 제어를 가능하게 합니다.
3. 준모수적 가이드 (SPG): 참조 평균 앵커와 잔차 보정을 학습하도록 설계된 제어 가능한 아키텍처입니다. 이는 무조건부 생성 품질을 유지하면서 추론 시 참조 집합을 교체할 수 있게 하여 공유된 배경과 같은 불필요한 상관관계를 효과적으로 억제합니다.

결과

본 논문은 메커니즘 분석과 광범위한 실험을 통해 접근법을 검증합니다:

• 메커니즘 검증: 두 개의 달 (two-moons) 분포와 MNIST 에서 저자들은 참조 집합 구성의 변경이 직접적으로 흐름 장과 최종 끌개 (attractor) 를 이동시켜 사후 평균의 인과적 역할을 분리해 낸다는 것을 보여줍니다.
• 학습 없는 제어 (RMG): 고정된 FLUX.2-klein (4B) 모델에 적용된 RMG 는 색상 (분홍색/파란색 코끼리), 정체성 (기린/얼룩말), 스타일 (반 고흐/스케치), 그리고 구조 (열쇠구멍 모양, 손 자세) 에 대한 생성을 성공적으로 유도합니다.
  • GenEval 벤치마크: RMG 는 단일 샘플링 궤적을 사용하고 보조 모델이 없으면서도 구성적 텍스트 - 이미지 작업 (예: 위치, 두 개 객체 생성) 에서 검색 기반 (Best-of-4, SMC) 및 기울기 기반 (ReNO) 베이스라인을 능가합니다. 이는 91.17의 평균 점수를 달성하여 베이스라인의 80.10보다 높으며, 훨씬 낮은 추론 시간과 외부 모델 호출 없이 달성됩니다.
• 준모수적 가이드 (SPG): AFHQv2 에서 학습된 SPG 는 DiT-B/4 베이스라인의 무조건부 품질 (FID 23.26 대 23.11) 과 일치합니다.
  • 제어: 참조 집합을 교체하는 것 (예: 고양이 전용 대 개 전용) 은 출력 분포를 체계적으로 이동시킵니다. 생성된 클래스 비율은 참조 집합 구성을 밀접하게 추적합니다.
  • 아티팩트 억제: 모든 참조 이미지에서 흰색 배경과 같은 불필요한 상관관계를 전달할 수 있는 RMG 와 달리, SPG 의 잔차 정제기는 이러한 아티팩트를 억제하면서 객체 수준의 가이드를 성공적으로 유지합니다.

중요성과 주장

본 논문은 생성 모델이 파라미터 업데이트가 아닌 데이터를 통해 적응될 수 있다고 주장합니다. 제어를 엔드포인트 평균 이동 문제로 프레임함으로써, 저자들은 파인튜닝, 보조 가이드, 또는 검색에 대한 단순하고 원칙적인 대안을 제공합니다.

• 고정된 모델의 경우: RMG 는 미리 학습된 모델이 암묵적으로 따르는 참조 집합을 변경함으로써 효과적으로 유도될 수 있음을 보여주며, "보상이 아닌 예시로 가이드하기" 패러다임을 제공합니다.
• 학습 가능한 모델의 경우: SPG 는 이 메커니즘이 유연한 추론 시간 제어를 가능하게 하면서도 높은 생성 품질을 유지하는 학습 가능한 아키텍처로 상쇄될 수 있음을 보여줍니다.
• 더 넓은 방향: 이 작업은 재학습이나 복잡한 보상 공학 없이도 데이터 참조를 통해 동적으로 적응하는 생성 모델로의 길을 제시합니다.

저자들은 한계를 인정하며, RMG 는 참조 집합의 품질을 계승한다는 점 (노이즈가 있는 참조는 아티팩트를 도입함) 과 큰 집합에 대한 평균 계산은 비용이 많이 들 수 있음을 지적하지만, 부분 샘플링이 해결책을 제시할 수 있다고 언급합니다. 또한 오용을 방지하기 위해 참조 집합의 책임 있는 큐레이션이 필요함을 강조합니다.