기술 요약: 멤버 vs. 생성 추론 (MGI)

1. 문제 정의: 멤버 vs. 생성 추서 (MGI)

본 논문은 **멤버 vs. 생성 추론 (Member vs. Generated Inference, MGI)**이라 명명된 새로운 추론 과제를 도입한다. 생성 모델(특히 이미지 생성 모델 또는 IGM)이 인간이 만든 콘텐츠와 구별할 수 없을 정도로 정교한 샘플을 점점 더 많이 생성함에 따라, 다음과 같은 중요한 모호함이 발생한다: 주어진 샘플과 타겟 모델이 있을 때, 해당 샘플이 진정한 훈련 멤버(모델의 자연스러운 훈련 세트의 일부)인가, 아니면 모델 자체에 의해 생성된 생성 출력물인가?

이러한 도전 과제는 두 가지 요인으로 인해 심화된다:

1. 암기(Memorization): 현대적 모델은 종종 훈련 데이터를 그대로 또는 거의 동일한 중복물로 암기하고 재현하며, 이로 인해 훈련 입력값과 모델 출력값 사이의 경계가 흐려진다.
2. 모델 파생물 (데이터 회로, Data Circuits): 현실적인 시나리오에서 모델은 종-종 이전 모델이 생성한 데이터로 훈련된다. 이는 "데이터 회로"를 형성하여, 후속 모델이 이전 모델의 출력을 바탕으로 훈련됨에 따라 자연스러운 훈련 멤버와 생성된 비멤버(non-members) 사이의 구분이 점점 더 복잡해지게 만든다.

MGI 과제는 직접 훈련 설정($N_M$ vs. $N_N$ vs. $G$)과 파생 설정($N_M$ vs. $G_M$ vs. $G'$)에서 세 가지 범주를 구분할 것을 요구한다. 여기서 $N$은 자연 데이터, $G$는 생성 데이터를 나타내며, 하첨자는 특정 모델 버전에 대한 멤버십 상태를 나타낸다.

2. 기존 접근 방식의 한계

저자들은 기존 방법들이 진정한 멤버와 모델 생성 출력물 모두에서 높아지는 가능도 기반(likelihood-based) 또는 확률 기반(probability-based) 신호에 의존하기 때문에 MGI 설정에서 체계적으로 실패함을 입증한다.

• 멤버십 추론 공격 (MIAs): 훈련 멤버와 홀드아웃(held-out) 자연 데이터를 구별하도록 설계된 MIA(예: CLiD, ICAS, PIAR)는 조건부 확률 차이에 의존한다. 그러나 생성된 샘플은 훈련 멤버와 동일한 잠재 분포 하에서 최적화되므로, 높은 가능도 점수를 갖는다. 결과적으로, MIAs는 생성된 샘플을 훈련 멤버로 잘못 분류하는 체계적인 오류를 범한다.
• 이미지 속성 결정 방법 (Image Attribution Methods): 특정 모델에 의해 이미지가 생성되었는지 감지하도록 설계된 방법들(예: PRADA)은 진정한 훈련 멤버를 생성된 것으로 오분류함으로써 실패하는 경우가 많다. 이러한 방법들 또한 잠재 생성기의 확률에 크게 의존하며, IGM의 오토인코더 구성 요소에 존재하는 신호를 무시한다.

두 가지 실패 모두 강력한 생성 모델이 자신의 훈련 데이터와 높은 가능도 점수를 공유하는 출력을 생성한다는 사실에서 기인하며, 이는 기존의 가능도 기반 탐지의 가정을 깨뜨린다.

3. 방법론: 데이터 회로 차단기 (Data Circuit Breaker, DCB)

MGI를 해결하기 위해 저자들은 오토인코더(인코더-디코더 쌍)와 잠재 생성기(latent generator) 양쪽의 신호를 총체적으로 활용하는 3단계 방법인 **데이터 회로 차단기 (DCB)**를 제안한다. 핵심 통찰은 잠재 생성기는 멤버와 생성된 샘플 모두에 대해 높은 점수를 생성하지만, 오토인코더는 측정 가능한 아티팩트(artifact)를 도입한다는 것이다. 즉, 생성된 샘플은 전체 인코딩-디코딩 파이프라인을 거치면서 자연스러운 데이터 포인트보다 낮은 재구성 및 양자화 오차를 보인다.

1단계: 오토인코더 기반 필터링 (생성됨 vs. 생성되지 않음)

첫 번째 단계는 오토인코더의 자기 일관성(self-consistency)을 사용하여 모델에 의해 생성되었을 가능성이 높은 샘플을 필터링한다.

• 재구성 오차 (Reconstruction Error): 모든 모델에 대해, 입력 이미지와 그 재구성 이미지 사이의 평균 제곱 오차(MSE)인 $\text{recloss}$를 계산한다.
• 정규화 (Normalization): 다양한 콘텐츠에 걸쳐 지표를 안정화하기 위해, 잠재 표현을 다시 재구성하는 것에서 유도된 베이스라인에 대해 손실을 정규화하는 이중 재구성 비율을 사용한다.
• 양자화 오차 (Quantization Error): VQ-VAE를 사용하는 이미지 자기회귀(IAR) 모델의 경우, 추가적인 양자화 오차 신호를 계산한다. 특정 이산 코드북을 통과하는 생성된 샘플은 자연 이미지나 다른 모델의 이미지보다 낮은 양자화 오차를 발생시킨다.
• 결과: 이 단계는 생성된 샘플을 비생성 데이터(자연스러운 멤버 및 자연스러운 비멤버)로부터 분리한다.

2단계: 비생성 샘플에 대한 멤버십 추론

생성된 샘플이 필터링되면, 남은 데이터셋은 자연스러운 멤버와 자연스러운 비멤버로 구성된다.

• 표준 MIA 기술(예: ICAS)이 이 서브셋에 적용된다.
• 비생성 데이터로 범위를 제한함으로써, 생성된 출력물이 혼란 요인으로 작용하지 않게 되어 멤버가 비멤버보다 높은 점수를 갖는다는 MIA의 핵심 가정이 복원된다.

3단계: 교차 생성기 속성 결정 (데이터 회로)

모델이 생성된 데이터로 훈련되는 파생 설정에서, 3단계는 서로 다른 모델 버전(예: $M_1$ vs. $M_2$)에서 생성된 샘플을 구분한다.

• 특징 벡터 (Feature Vector): 두 후보 모델($M_1$ 및 $M_2$)의 잠재 생성기의 조건부 로그 확률을 기반으로 2차원 특징 벡터를 구축한다.
• 가능도 비교 (Likelihood Comparison): 각 모델의 생성 데이터 참조 세트에 대해 커널 밀도 추정(KDE)을 사용하여 클래스 조건부 밀도를 추정한다.
• 결과: 이를 통해 시스템은 생성된 샘플을 특정 소스 생성기에 귀속시키고, 다운스트림 모델 훈련에 사용된 데이터와 비멤버로 제외된 데이터를 구분할 수 있다.

4. 주요 기여

1. 새로운 과제 정의: MGI 과제를 공식화하였다. 이는 표준 멤버십 추론보다 엄격하게 어려우며, 데이터 회로 시나리오를 포함하여 훈련 멤버를 모델 생성 출력물로부터 분리할 것을 요구한다.
2. 기존 한계 식별: MGI 설정에서 최신 MIA 및 속성 결정 방법들이 생성된 샘플을 멤버로 혹은 그 반대로 체계적으로 오분류하며 실패함을 실증적으로 보여주었다.
3. 제안된 방법 (DCB): 오토인코더의 자기 일관성(재구성/양자화 오차)과 교차 생성기 확률 차이를 활용하여 MGI를 해결하는 새로운 3단계 파이프라인을 제서한다.
4. 암기에 대한 강건성: DCB가 모델이 훈련 샘플을 그대로 암기하고 재생하더라도 효과적으로 작동하여, 원래의 훈련 멤버와 그에 근접한 복제된 생성 대응물을 구분할 수 있음을 입증하였다.

5. 실험 결과

저자들은 Stable Diffusion 1.4/2.1과 같은 확산 모델(Diffusion Models) 및 VAR, RAR-XXL, LlamaGen-XXL과 같은 이미지 자기회귀 모델을 포함한 다양한 모델에 대해 DCB를 최신 베이스라인(CLiD, ICAS, PIAR, PRADA, LiRA, RMIA)과 비교 평가하였다.

• 직접 훈련 설정: DCB는 생성된 샘플을 자연스러운 멤버와 구별하는 데 있어 1% 허위 양성률(FPR)에서의 참 양성률(TPR@1%FPR)이 거의 완벽에 가까운 수치를 달데, 이는 IAR 모델에서 베이스라인보다 평균 36% 이상 높았으며 확산 모델에서도 현저히 높은 성능을 보였다. 베이스라인들은 생성 데이터가 도입되었을 때 종종 완전히 실패하였다(예: 0% TPR).
• 모델 파생 설정: $M_2$가 $M_1$에 의해 생성된 데이터로 훈련된 시나리오에서, DCB는 자연스러운 멤버, 생성된 멤버, 그리고 생성된 비멤버를 일관되게 구분해 냈다. 베이스라인들은 생성된 분포 내에서 이를 구분하는 데 어려움을 겪었다.
• 강력한 MIA 비교: 강력한 MIA(LiRA, RMIA)가 동일한 분포로 훈련된 섀도우 모델을 통해 이점을 가졌음에도 불구하고, 이들은 MGI 과제를 해결하는 데 실패한 반면 DCB는 높은 성능을 유지하였다.
• 암기 (Memorization): 베리태트(verbatim) 암기(근접 중복 재생)의 경우에도 DCB는 암기된 훈련 이미지와 그 생성된 대응물을 성공적으로 분리하였으며, 이는 가능도 기반 방법들이 붕괴되는 지점이었다.

6. 의의 및 주장

본 논문은 MGI가 훈련 데이터와 모델 출력 사이의 경계가 점점 더 모호해지는 생성형 AI 시대의 근본적인 도전 과제라고 주장한다. DCB의 의의는 다음과 같다:

• 가능도 함정 탈피 (Break the Likelihood Trap): 잠재 가능도뿐만 아니라 오토인코더의 아티팩트를 활용함으로써 기존 방법들의 근본적인 한계를 극복한다.
• 데이터 회로 완화: 생성된 데이터를 새로운 모델 훈련에 사용하기 전에 탐지하고 필터링하는 메커니즘을 제공하여, 잠재적인 모델 붕괴를 방지할 수 있다.
• 암기 처리: 모델이 높은 충실도로 데이터를 재현하더라도 암기된 훈련 데이터를 식별할 수 있는 강력한 솔루션을 제공한다.

저자들은 MGI를 해결하기 위해서는 전체 생성 파이프라인(오토인코더 + 생성기)을 포괄하는 총체적인 절차가 필수적이며, DCB가 직접 및 파생 설정 모두에서 훈련 멤버와 생성된 출력물을 구분하는 실질적이고 효과적인 솔루션을 제공한다고 결론짓는다.