Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

기술 요약: Rectified Flow의 누출 지점: 보간 경로를 따른 멤버십 신호의 특성 규명

문제 정의
FLUX.1, VoiceBox, Stable Audio Open과 같은 시스템에서 사용되는 Rectified Flow를 포함한 생성 모델의 배포는 훈련 데이터의 보유와 관련하여 중대한 법적 및 개인정보 보호 문제를 제기합니다. 기존 연구는 명시적인 복제(verbatim reproduction)에 초점을 맞추고 있지만, 모델은 명시적으로 재현하지 않더라도 훈련 데이터와 홀드아웃(held-out) 데이터를 다르게 취급하는 측정 가능한 비대칭성인 미묘한 "멤버십 신호(membership signals)"를 인코딩할 수 있습니다. 이러한 신호는 표준 훈련 지표(예: 손실 곡선)에서는 탐지되지 않는 경우가 많은데, 해당 지표들은 오버피팅의 징후가 없음을 나타낼 수 있기 때문입니다. 특히 반복적 디노이징 궤적을 사용하는 확산 모델(diffusion models)과 비교했을 때, Rectified Flow의 보간 경로 내에서 이러한 신호가 존재하는 구체적인 위치와 구조적 본질은 아직 이론적으로 규명되지 않았습니다.

방법론
저자들은 Rectified Flow 훈련을 정의하는 선형 보간 경로 $X_\lambda = (1-\lambda)X_0 + \lambda X_1$를 따라 멤버십 신호를 특성화하기 위한 이론적 및 실험적 프레임워크를 제안합니다.

1. 이론적 프레임워크:

   • 분해: 훈련 손실을 근사 오차(approximation error), 불가역적 분산(irreducible variance), 그리고 교차 상관 항 $G_{train}(\lambda)$로 분해합니다. 저자들은 $G_{train}(\lambda)$를 멤버십 신호로 식별하며, 이는 모델의 최적 예측값으로부터의 편차와 훈련 특이적 잔차(training-specific residuals) 사이의 상관관계를 나타냅니다.
   • 가우시안 가정: 노이즈 분포 $X_0$와 데이터 분포 $X_1$가 독립적이고 가우시안 분포(공분산 $\Sigma_0$ 및 $\Sigma_1$)라는 가정하에, 저자들은 멤버십 신호가 정점에 도달하는 위치 $\lambda^*_F$에 대한 폐쇄형 표현식(closed-form expression)을 도출합니다. 이 정점은 보간된 상태와 속도(velocity) 사이의 교차 공분산이 최소화되는 지점에서 발생합니다.
   • 메커니즘: 신호는 $\lambda^*_F$에서 정점을 찍는데, 이는 그 지점에서 예측의 선형 성분이 사라지기 때문입니다. 모델은 타겟을 설명하기 위해 비선형 특징에 의존해야 하며, 이 과정에서 일반화 가능한 비선형성을 학습하는 것과 샘플 특이적 잔차를 피팅(fitting)하는 것 사이의 경쟁이 발생합니다.

2. 실험 프로토콜:

   • 탐지: 주어진 샘플 $x_1$에 대해, 다양한 $\lambda$에서 노이즈 $x_0$와 함께 보간하고, 속도를 예측하며, $x_1$을 재구성한 뒤 평균 제곱 오차(MSE)를 측정합니다.
   • 지표: 멤버십 신호를 격리하기 위해 정규화된 훈련-테스트 갭 $\Delta_{norm}(\lambda)$를 계산합니다.
   • 검증: 오디오(MAESTRO v3, MTG-Jamendo, FMA Large) 및 이미지(CelebA) 데이터셋에 대해 다양한 잠재 공간(Music2Latent, Stable Audio VAE, Stable Diffusion VAE), 아키텍처(Transformer, UNet), 모델 용량을 사용하여 실험을 수행했습니다.

주요 기여

• 신호의 특성화: 본 논문은 Rectified Flow에서 훈련-테스트 재구성 갭이 $\lambda$에 따라 보편적인 **종 모양 곡선(bell-shaped curve)**을 따른다는 것을 입증합니다. 신호는 경계($\lambda=0, 1$)에서 최소가 되며 중간 지점에서 최대가 됩니다.
• 폐쇄형 예측: 이론적 도출을 통해 데이터 및 노이즈 공분산에 기반한 정점 위치 $\lambda^*_F$에 대한 폐쇄형 표현식을 제공합니다:
  $$\lambda^*_F = \frac{\text{tr}(\Sigma_0^2) + \text{tr}(\Sigma_0\Sigma_1)}{\text{tr}((\Sigma_0 + \Sigma_1)^2)}$$
  이 예측은 가우시안 등방성(Gaussian isotropic) 가정이 충족될 때(예: 오디오 잠재 공간) 정확하게 유지됩니다.
• 조용한 축적: 본 연구는 검증 손실이 감소하고 표준 진단 지표가 건강한 학습을 나타내는 동안에도 멤버십 신호가 훈련 전반에 걸쳐 조용히 축적됨을 보여줍니다. 이 신호는 표준 훈련 프로토콜에서 $\lambda$에 대한 공간적 평균화에 의해 가려집니다.
• 멤버십 추론 공격 (MIA): 개념 증명으로서, 저자들은 $\lambda$에 따른 재구성 오차의 구조를 활용합니다. $\lambda$ 전체 곡선(또는 오차 벡터)을 단순 MLP 분류기에 입력함으로써, 단일 $\lambda$ 지점을 사용하는 나이브한 공격(AUC 0.67)이나 적응된 확산 기반 방법보다 훨씬 높은 AUC(MAESTRO에서 0.91)를 달이트합니다.

결과

• 보편성: 훈련-테스트 갭의 종 모양 구조는 오디오/이미지, Transformer/UNet, 다양한 잠재 공간을 포함하여 테스트된 모든 구성에서 보편적으로 나타나며, 가우시안성/등방성 가정이 위배되는 경우(예: CelebA)에도 유지됩니다.
• 정점 정확도: 가우시안 등방성 가정이 성립할 때(Music2Latent 또는 Stable Audio VAE를 사용하는 오디오 데이터셋), 관찰된 정점 위치는 그리드 해상도 내에서 이론적 $\lambda^*_F$와 일치합니다. 가정이 위배될 때(SD VAE를 사용하는 CelebA), 종 모양은 지속되지만 정점 위치는 폐쇄형 예측에서 벗어납니다.
• 크기에 영향을 미치는 요인: 정점의 위치는 데이터 기하학($\Sigma_0, \Sigma_1$)에 의해서만 결정되며 모델 아키텍처나 용량과는 무관합니다. 그러나 신호의 크기는 모델 용량이 커질수록 증가하며, 훈련을 정점 근처에 집중시키는 로그-노멀 $\lambda$-샘플링 스케줄러에 의해 증폭됩니다.
• Reflow: 예비 실험 결과, "reflow" 절차(궤적을 반복적으로 직선화하는 과정)는 종 모양을 유지하면서도 신호의 크기를 실질적으로 감쇄시켜, 자연스러운 완화책을 제공할 수 있음을 시사합니다.

의의 및 주장
본 논문은 멤버십 신호가 Rectified Flow의 어디에서 그리고 왜 집중되는지에 대해 경험적 관찰을 넘어 최초의 이론적 근거를 제공한다고 주장합니다.

• 개인정보 보호 위험: 표준 훈련 지표가 Rectified Flow에서의 암기(memorization)를 탐지하기에 불충분함을 입과합니다. 신호가 조용히 축적되기 때문이며, 이러한 구조적 특성은 매우 공격하기 쉽습니다.
• 방어적 함의: 저자들은 정점 위치가 예측 가능하고 아키텍처에 독립적이기 때문에, 규제나 노이즈 주입과 같은 개인정보 보호 메커니즘을 균일하게 적용하는 대신 $\lambda^*_F$에 특정하여 적용할 수 있다고 제안합니다.
• 훈련 효율성: 정점 $\lambda^*$는 예측이 가장 어려운 지점(노이즈와 데이터가 균형을 이루는 지점)에 해당합니다. 저자들은 SD3에서 확인된 바와 같이 이 지점에 훈련을 집중시키는 스케줄러가 수렴을 개선하지만, 동시에 개인정보 유출을 증폭시킨다는 점을 지적하며, 이는 훈련 효율성과 개인정보 보호 사이의 근본적인 트레이드오프를 강조합니다.

본 연구는 화이트박스(white-box) 설정 하의 개념 증명으로 제시되었으며, 더 강력한 위협 모델(블랙박스 접근) 및 조건부 생성(텍text 프롬프트)의 영향은 향 향후 탐구가 필요한 과제로 남겨두었습니다.