기술 요약: 부호가 있는 정류 흐름 (Signed Rectified Flow, Signed RF)

문제 정의

많은 생성 모델링 작업은 바람직한 분포($\pi_+$)를 촉진할 뿐만 아니라, 바람직하지 않은 분포($\pi_-$)를 명시적으로 억제하는 것도 요구합니다. 이는 조건부 생성(타겟에 부합하면서도 불일치를 피함), 안전성 정렬(가치에 부합하는 출력을 생성하되 유해한 출력은 제외함), 그리고 선호도 학습에서 발생합니다.

현재의 접근 방식들, 특히 플로우(flow) 및 확산(diffusion) 모델들은 샘플링 시점의 휴리스틱 가이던스(예: Classifier-Free Guidance)에 의존합니다. 이러한 방법들은 고정되거나 수동으로 조정된 스케일을 사용하여 양의 필드와 음의 필드 사이를 외삽합니다. 그러나 유도된 샘플링 분포는 제대로 이해되지 않았으며, 이로 인해 데이터 공간의 어느 영역이 효과적으로 촉진되거나 억제되는지 불분명합니다. 또한, 표준 가이던스는 "음의 데이터 누락(missing negative data)" 문제, 즉 훈련 과정에서 음의 예시가 없더라도 모델이 이를 생성하는 것을 본질적으로 방지하지 못하는 문제를 겪습니다.

방법론: 부호가 있는 정류 흐름 (Signed Rectified Flow)

저자들은 **부호가 있는 정류 흐름 (Signed RF)**을 제안하며, 이는 정류 흐름(Rectified Flow, RF)을 부호가 있는 측도(signed measures)를 다룰 수 있도록 일반화한 원칙적인 프레임워크입니다.

1. 부호가 있는 타겟 (The Signed Target)

표준 확률 분포 대신, Signed RF는 다음과 같은 부호가 있는 타겟 측도를 정의합니다:
$$\pi_{\text{sign}} = (1 + \alpha)\pi_+ - \alpha\pi_-$$
여기서 $\alpha > 0$입니다. 여기서 $\pi_+$는 촉진해야 할 분포를, $\pi_-$는 억제해야 할 분포를 나타냅니다. $\pi_{\text{sign}}$은 유효한 확률 분포는 아니지만(음수 값을 가질 수 있고 표준적인 의미에서 1로 적분되지 않음), 명시적인 배제 제약을 인코딩하기 위한 중간 객체 역할을 합니다.

2. 역학 및 속도장 (Dynamics and Velocity Field)

Signed RF는 이 부호가 있는 타겟에 대해 RF 속도 공식을 확장합니다. 소스 분포 $\pi_0$로부터의 선형 보간에 의해 유도된 각각의 주변 분포 $\pi^+_t$ 및 $\pi^-_t$와 그에 따른 속도장 $v^+_t$ 및 $v^-_t$가 주어졌을 때, Signed RF 속도장은 다음과 같이 유도됩니다:
$$v^{\text{signRF}}_t(x) = \frac{(1 + \alpha)\pi^+_t(x)v^+_t(x) - \alpha\pi^-_t(x)v^-_t(x)}{(1 + \alpha)\pi^+_t(x) - \alpha\pi^-_t(x)}$$
이는 가이던스 형태와 유사하게 다음과 같이 다시 쓸 수 있습니다:
$$v^{\text{signRF}}_t(x) = v^+_t(x) + \lambda^\alpha_t(x) \Delta v_t(x)$$
여기서 $\Delta v_t(x) = v^+_t(x) - v^-_t(x)$이고, 가이던스 강도 $\lambda^\alpha_t(x)$는 밀도 비율 $r_t(x) = \pi^-_t(x)/\pi^+_t(x)$에 의해 결정됩니다:
$$\lambda^\alpha_t(x) = \frac{\alpha r_t(x)}{(1 + \alpha) - \alpha r_t(x)}$$

3. 이론적 보장: 도달 가능 영역과 고스트 영역 (Reachable and Ghost Regions)

논문은 이 역학 관계 하에서의 소스 초기화 궤적($Z_0 \sim \pi_0$)의 동작을 분석합니다:

• 양의 영역 보존 (Positive Region Preservation): 궤적은 양의 영역 \Omega^+_t = \{x : \pi_{\text{sign}}_t(x) > 0\} 내에 엄격히 머물며 음의 영역 $\Omega^-_t$로 절대 교차하여 들어가지 않습니다.
• 제로 세트로서의 장벽 (Zero Set as a Barrier): \pi_{\text{sign}}_t(x) = 0인 집합은 반발 장벽(repulsive barrier) 역할을 합니다. 속도장은 이 경계에서 특이점(singular)이 되어 침투를 방지합니다.
• 도달 가능 영역과 고스트 영역 (Reachable vs. Ghost Regions): 샘플링 법칙 $\pi^{\text{signRF}}_t$는 도달 가능 영역 $\Omega^r_t \subseteq \Omega^+_t$ 상에서 부호가 있는 주변 분포 \pi_{\text{sign}}_t와 정확히 일치합니다. 양의 영역 중 나머지 부분은 고스트 영역($\Omega^g_t$)이라 불립니다. 고스트 영역의 양의 질량은 샘플링 법칙에서 제외된 음의 질량과 정확히 균형을 이룹니다.
• 해석: 저자들은 양의 입자와 음의 입자가 제로 경계에서 소멸하여, 샘-플링된 궤적과 음의 영역 사이에 구조적 분리를 만들어내는 "대전 입자(charged-particle)" 해석을 제공합니다.

4. 실제 구현

Signed RF를 구현하려면 밀도 비율 $r_t(x)$를 추정해야 합니다. 논문은 두 가지 방법을 제안합니다:

1. 분류기 기반 (Classifier-based): 양의 브랜치와 음의 브래치로부터 노이즈가 섞인 상태에 대해 이진 분류기를 훈련시켜 오즈 비(odds ratio)를 추정합니다.
2. 온라인 비율 추적 (Online Ratio Tracking): 연속 방정식(continuity equation)과 스코어 함수(score functions)로부터 유도된 ODE를 따라 궤적을 따라 로그 밀도 비율 $u_t = \log r_t(z_t)$를 추적합니다. 이는 별도의 보조 분류기를 훈련하는 것을 피하게 해줍니다.

주요 기여 및 결과

1. 이론적 프레임워크

본 논문은 Signed RF가 양의 밀도를 도달 가능 영역에 보존하고 다른 곳에는 제로 밀도를 할당함으로써 부호가 있는 주변 분포를 유효한 확률 법칙으로 정류함을 입증합니다. 이는 부정적인 정보를 통합하기 위한 엄밀한 기초를 제공하며, 유도된 플로우가 임의의 제약 없이도 자연스럽게 음의 영역을 회피함을 증명합니다.

2. 실증적 응용

저자들은 여러 도메인에서 Signed RF를 입증했습니다:

• 2D 토이 예제 및 PointMaze: Signed RF는 양의 모드와 음의 모드를 성공적으로 분리하며, 상수 가이던스가 실패하는 지점(반발에 실패하거나 과하게 반발함)에서 장애물을 탐색합니다(음의 데이터 누락 문제 해결).
• ImageNet 클래스 조건부 생성: 사전 훈련된 Rectified Flow 모델을 사용하여, Signed RF는 충실도-다양성 트레이드오프를 개선합니다. 16 NFE(함수 평가 횟수)에서, FID를 2.38(CFG)에서 1.82로 줄이면서도 유사한 정밀도(precision)에서 더 높은 재현율(recall)을 유지합니다.
• 역-메모리제이션 (Anti-Memorization): 훈련 세트를 음의 분포로 모델링함으로써, Signed RF(Data Repulsive Flow라 명명됨)는 훈련 데이터 복제를 줄입니다. 위험도가 높은 시드(seed)에 대해, 이는 데이터셋 특유의 아티팩트(워터마크, 경계선 등)를 억제하고 훈련 세트와의 최근접 이웃 거리를 증가시키면서도 생성 품질을 유지합니다(SPELL-50 대비 FID 2.03 vs 7.41).
• 개념 억제 및 안전성: Stable Diffusion 3.5에 적용했을 때, Signed RF는 누드 생성에 대한 공격 성공률(ASR)을 15.19%에서 6.33%로 낮추고 독성 수치를 감소시키는 동시에, CLIP 및 미적 점수를 보존합니다. 또한 특정 개념(예: 미키 마우스나 스파이더맨과 같은 저작권이 있는 캐릭터 정체성)을 효과적으로 억제하면서 원하는 시각적 속성은 유지합니다.

의의 및 주장

본 논문은 Signed RF가 생성 플로우에 명시적인 음의 분포를 통합하기 위한 원칙적이고 실용적인 프레임 much임을 주장합니다. 고정된 스케일에 의존하는 휴리스틱 가이던스 방법과 달리, Signed RF는 양의 브랜치와 음의 브랜치 사이의 국소 밀도 비율로부터 상태 의존적 가이던스 강도를 도출합니다.

주요 주장은 다음과 같습니다:

• 이론적 엄밀성: 이는 배제를 위한 수학적으로 근거 있는 메커니즘을 제공하며, 소스 초기화 플로우가 부호가 있는 제로 세트에서의 반발 장벽을 통해 자연스럽게 음의 영역을 회피함을 증명합니다.
• 음의 데이터 누락 문제 해결: 사용자가 억제할 대상(예: 훈련 세트 자체 또는 특정 개념)을 정의할 수 있게 함으로써, 명시적인 음의 예시가 부족한 훈련 데이터의 한계를 해결합니다.
• 트레이드오프 최적화: 경험적으로, Signed RF는 상당한 계산 오버헤드(런타임 및 메모리 약 10% 증가) 없이 기존 베이스라인(CFG, SPELL, SAFREE)보다 더 나은 충실도-다양성 트레이드오프와 더 효과적인 개념 억제를 달행합니다.

이 연구는 Signed RF를 양의 촉진과 음의 억제를 단일 역학 시스템 내에서 통합하여 다루는 Rectified Flow의 일반적인 확장으로 위치시키며, 휴리스틱한 외삽을 넘어 이론적으로 정당화된 샘플링 법칙으로 나아갑니다.