No Caption, No Problem: Caption-Free Membership Inference via Model-Fitted Embeddings

이 논문은 실제 환경에서 캡션이 누락된 상황에서도 기존 방법보다 우수한 성능을 보이는 'MoFit'이라는 새로운 프레임워크를 제안하여, 생성 모델이 학습 데이터를 암기했는지 여부를 캡션 없이도 정확히 추론할 수 있음을 입증합니다.

핵심

🎨 그림을 보고 "이거 내 그림이야?"라고 알아맞히는 새로운 방법: MOFIT 소개

이 논문은 생성형 AI(특히 그림을 그리는 AI) 가 훈련 데이터를 얼마나 잘 기억하고 있는지, 혹은 특정 이미지가 AI 의 학습 데이터에 포함되었는지 여부를 알아내는 '멤버십 추론 공격 (MIA)' 에 대한 연구입니다.

기존 방법들은 AI 가 그렸을 때 함께 사용된 '설명 문장 (캡션)' 이 있어야만 공격이 가능했습니다. 하지만 현실에서는 AI 가 어떤 문장으로 학습했는지 알 수 없는 경우가 대부분이죠. 이 논문은 "설명 문장이 없어도 AI 가 그렸는지 알아맞힐 수 있다" 는 획기적인 방법을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 상황 설정: AI 미술관과 가짜 안내원

상상해 보세요. 거대한 AI 미술관이 있습니다. 이 미술관은 수많은 그림과 그 그림에 대한 설명 (예: "푸른 하늘 아래 노란 꽃") 을 보고 배웠습니다.

• 공격자의 목표: 어떤 그림이 이 미술관의 '학습용 원본'인지, 아니면 그냥 '우연히 비슷한 다른 그림'인지 구별해 내는 것입니다.
• 기존의 문제점: 과거의 탐정들은 그림 옆에 붙어 있는 '정확한 설명 문장 (Ground Truth)' 을 보고 AI 가 그걸 기억하고 있는지 확인했습니다.
  • 하지만 현실에서는? 그림만 있고 설명 문장은 없습니다. AI 가 학습할 때 어떤 문장을 썼는지 알 수 없죠.
  • 대안? 사람들이 AI 에게 그림을 보여주고 "이거 뭐야?"라고 물어본 뒤 나온 대충의 설명 (VLM 캡션) 을 썼습니다.
  • 결과: AI 는 원래의 정교한 설명과 대충 만든 설명을 구별해 냅니다. 그래서 기존 탐정들은 실패했습니다. (정답을 모르면 AI 의 기억을 건드리기 어렵기 때문)

💡 새로운 아이디어: MOFIT (모델에 딱 맞는 가짜 설명)

저자들은 "그럼 아예 AI 가 가장 좋아할 만한 가짜 설명을 만들어서 시험해 보자!"라고 생각했습니다. 이를 MOFIT이라고 부릅니다.

1 단계: AI 의 취향을 완벽하게 파악하는 '가짜 그림' 만들기

1. 원본 그림을 가져옵니다.
2. AI 가 이 그림을 볼 때 "아, 이거 내 학습 데이터랑 정말 비슷하네!"라고 착각하게 만들기 위해, 그림에 아주 미세한 변형 (노이즈) 을 가합니다.
3. 이 변형된 그림을 '모델 적합 대리 그림 (Model-Fitted Surrogate)' 이라고 부릅니다.
   • 비유: AI 의 취향에 맞춰 옷을 입은 가짜 모델입니다. AI 는 이 가짜 모델을 보면 "오, 이거 내가 많이 본 스타일이야!"라고 반응합니다.

2 단계: 그 가짜 그림을 위한 '완벽한 설명' 추출

1. 이제 이 가짜 그림을 AI 에게 보여주고, "이 그림을 설명해 줘"라고 시키지 않고, "AI 가 이 그림을 설명할 때 가장 낮은 실수 (손실) 를 내는 설명" 을 찾아냅니다.
2. 이렇게 찾아낸 설명을 '모델 적합 임베딩' 이라고 합니다.
   • 비유: 가짜 모델이 입은 옷에 딱 맞는 설명입니다. AI 는 이 조합을 보면 "완벽해! 내가 배운 거야!"라고 반응합니다.

3 단계: 진짜 그림으로 시험하기 (공격 시작)

이제 가짜 그림과 가짜 설명을 버리고, 원래의 진짜 그림만 가져와서 가짜 설명을 붙여 AI 에게 보여줍니다.

• 만약 그 그림이 AI 의 학습 데이터였다면 (멤버):

  • AI 는 원래 그 그림을 배울 때 정확한 설명을 봤습니다.
  • 그런데 갑자기 완벽하게 맞춘 가짜 설명을 들으면, AI 는 "어? 이 설명은 내 기억과 너무 잘 맞는데, 이 그림은 원래 내가 본 그 그림이 아니잖아?"라고 혼란을 겪습니다.
  • 이 혼란으로 인해 AI 는 그림을 그리는 과정에서 큰 실수 (높은 손실) 를 냅니다.
  • 결과: "아, 이거 내 학습 데이터였구나!"라고 알아맞힙니다.

• 만약 그 그림이 학습 데이터가 아니었다면 (비멤버):

  • AI 는 이 그림을 본 적이 없습니다.
  • 가짜 설명을 들더라도 AI 는 "어? 이 그림은 내가 본 적도 없는데, 설명이 뭐든 상관없지"라고 별로 반응하지 않습니다.
  • 실수 (손실) 는 크게 변하지 않습니다.
  • 결과: "아, 이거 내 학습 데이터가 아니야."라고 판단합니다.

---

🌟 왜 이 방법이 특별한가요?

1. 설명 문장이 없어도 됩니다: AI 가 학습할 때 썼던 원본 설명을 몰라도, AI 가 스스로 만들어낸 '가짜 설명'을 이용해 공격할 수 있습니다.
2. 기존 방법보다 훨씬 강력합니다: 실험 결과, AI 가 만들어낸 대충의 설명 (VLM) 을 쓰는 기존 방법들보다 훨씬 정확하게 공격을 성공시켰습니다. 심지어 원본 설명을 아는 경우와 맞먹는 성능을 보이기도 했습니다.
3. 실제 상황 반영: 현실에서는 AI 의 학습 데이터가 공개되지 않는 경우가 많습니다. 이 방법은 그런 '정보 부족' 상황에서도 AI 의 프라이버시 침해를 찾아낼 수 있음을 보여줍니다.

📝 요약

이 논문은 "AI 가 그림을 그릴 때, 설명 문장이 없어도 AI 가 그 그림을 기억하고 있는지 알아내는 새로운 탐정법 (MOFIT)" 을 소개합니다.

• 기존 탐정: "이 그림의 설명이 뭐야?" (정답이 필요함) → 실패.
• 새로운 탐정 (MOFIT): "이 그림을 AI 가 가장 좋아할 만한 가짜 설명을 만들어서, AI 가 혼란스러워하는지 확인해 보자!" → 성공!

이 기술은 AI 의 프라이버시 보호를 위한 경보 시스템으로, AI 가 훈련 데이터를 너무 많이 기억하고 있을 때 이를 감지하고 대응하는 데 큰 도움을 줄 것입니다.

기술 요약

논문 요약: NO CAPTION, NO PROBLEM: CAPTION-FREE MEMBERSHIP INFERENCE VIA MODEL-FITTED EMBEDDINGS (MOFIT)

이 논문은 ICLR 2026 에 게재된 것으로, 잠재 확산 모델 (Latent Diffusion Models, LDMs) 의 훈련 데이터 프라이버시 위험을 평가하는 **멤버십 추론 공격 (Membership Inference Attack, MIA)**에 대한 새로운 프레임워크인 MOFIT을 제안합니다.

1. 문제 정의 (Problem)

• 배경: 잠재 확산 모델은 고품질 이미지 생성에 성공했으나, 훈련 데이터를 기억하고 재생성하는 경향이 있어 프라이버시 및 지적 재산권 문제가 대두되고 있습니다. MIA 는 특정 샘플이 훈련 데이터에 포함되었는지 여부를 판별하여 이러한 기억 현상을 감사 (Audit) 하는 방법입니다.
• 기존 방법의 한계: 기존 LDM 에 대한 MIA 연구들은 대부분 **정답 캡션 (Ground-Truth Captions)**에 접근할 수 있다고 가정합니다. 그러나 실제 현실에서는 생성된 이미지만 존재하고, 해당 이미지가 훈련될 때 사용된 원본 텍스트 설명 (캡션) 은 공개되지 않는 경우가 대부분입니다.
• 현실적 도전: 기존 방법론에서 정답 캡션 대신 시각 - 언어 모델 (VLM) 이 생성한 캡션을 사용하면, 공격 성능이 현저히 저하됩니다. 이는 VLM 캡션이 모델이 학습한 정확한 조건 (Conditioning) 을 재현하지 못하기 때문입니다.
• 목표: 정답 캡션 없이 오직 이미지만으로 LDM 의 훈련 데이터 포함 여부를 정확하게 추론하는 Caption-Free MIA 프레임워크 개발.

2. 방법론 (Methodology: MOFIT)

저자들은 훈련된 모델의 생성 다양성 (Generative Manifold) 에 맞춰 최적화된 **모델 피팅 임베딩 (Model-Fitted Embedding)**을 구축하여, 멤버 (Member) 와 홀드아웃 (Hold-out, 비멤버) 샘플 간의 반응 차이를 극대화하는 두 단계의 프레임워크를 제안합니다.

핵심 통찰 (Key Insight)

• 훈련 데이터에 포함된 샘플 (Member) 은 훈련 시 사용된 정답 캡션에 민감하게 반응합니다. 따라서 정답 캡션 대신 다른 캡션 (예: VLM 생성 캡션) 을 조건으로 주면, **조건부 손실 (Conditional Loss, $L_{cond}$)**이 크게 증가합니다.
• 반면, 훈련되지 않은 샘플 (Hold-out) 은 조건 변화에 상대적으로 둔감하여 $L_{cond}$의 변화가 미미합니다.
• 이 **민감도 차이 (Sensitivity Difference)**를 이용하여 멤버십을 판별합니다.

MOFIT 의 두 단계 프로세스

1. 모델 피팅 대리 최적화 (Model-Fitted Surrogate Optimization):

   • 쿼리 이미지 $x_0$에 교란 (Perturbation, $\delta$) 을 추가하여 $x^*_0 = x_0 + \delta^*$를 생성합니다.
   • 이 교란은 **무조건부 사전 지식 (Unconditional Prior)**을 학습한 모델의 분포에 더 잘 맞도록 최적화됩니다. 즉, 모델이 훈련 데이터로 인식할 수 있도록 이미지를 '모델에 맞게' 변형합니다.
   • 이때 캡션이 없으므로 무조건부 손실 ($L_{uncond}$) 을 최소화하는 방향으로 $\delta$를 최적화합니다.

2. 대리 유도 임베딩 추출 (Surrogate-Driven Embedding Extraction):

   • 최적화된 대리 이미지 $x^*_0$를 사용하여, 해당 이미지에 가장 잘 맞는 텍스트 임베딩 $\phi^*$를 추출합니다.
   • 이 $\phi^*$는 $x^*_0$와 모델의 생성 다양성에 대해 **과적합 (Overfitting)**된 상태입니다.
   • 추론 단계: 원래 쿼리 이미지 $x_0$에 이 과적합된 임베딩 $\phi^*$를 조건으로 적용합니다.
     • Member: $x_0$는 원래 훈련 데이터이므로, $x^*_0$와 $\phi^*$의 조합과 불일치 (Mismatch) 가 발생하여 $L_{cond}$가 급격히 증가합니다.
     • Hold-out: $x_0$는 훈련 데이터가 아니므로, 조건 변화에 둔감하여 $L_{cond}$ 변화가 작습니다.
   • 최종적으로 $L_{cond}$와 $L_{uncond}$의 차이 ($L_{MOFIT}$) 를 계산하여 멤버십을 판별합니다.

3. 주요 기여 (Key Contributions)

1. 실용적인 위협 모델 제시: 정답 캡션 없이 오직 이미지만으로 LDM 에 대한 효과적인 MIA 를 수행하는 최초의 프레임워크를 제안했습니다.
2. 새로운 경험적 통찰: 디노이징 과정에서 멤버 샘플이 대체 조건 (Mismatched Condition) 에 대해 홀드아웃 샘플보다 훨씬 큰 조건부 손실 변화를 보인다는 사실을 발견했습니다.
3. 효율적인 두 단계 공격: 모델에 과적합된 대리 이미지와 이를 기반으로 추출된 임베딩을 활용하여, 캡션이 없는 환경에서도 멤버와 비멤버를 명확히 분리합니다.
4. 성능 우위: VLM 기반 캡션을 사용하는 기존 방법론을 압도적으로 능가하며, 경우에 따라 정답 캡션을 사용하는 최첨단 방법론 (SOTA) 보다도 우수한 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: Pokemon, MS-COCO, Flickr 데이터셋으로 미세 조정 (Fine-tuned) 된 Stable Diffusion 모델 및 사전 학습된 SD v1.5, v2.1, v3 에서 평가했습니다.
• 성능 비교 (Caption-Free Setting):
  • MOFIT 은 VLM 캡션을 사용하는 기존 방법론 (CLiD, SecMI 등) 보다 일관되게 우수한 성능을 보였습니다.
  • Pokemon 데이터셋: ASR (공격 성공률) 이 기존 방법 대비 약 25% 이상 향상되었습니다.
  • MS-COCO 데이터셋: MOFIT 은 정답 캡션을 사용하는 CLiD 보다도 높은 성능을 기록했습니다 (ASR 88.00% vs 80.90%).
  • TPR@1%FPR: 거짓 양성률이 1% 일 때의 참 양성률에서도 기존 방법론 대비 30~47% 포인트 향상되었습니다.
• 방어 기법 평가: LoRA (Low-Rank Adaptation) 를 적용한 모델에서는 공격 성능이 저하되었으나, 이는 LoRA 가 기억 용량을 줄이기 때문으로 분석되었습니다. 데이터 증강 (Gaussian Blur, JPEG) 에 대해서는 MOFIT 이 다른 방법론보다 더 견고한 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

• 프라이버시 감사의 현실화: 실제 환경에서 훈련 데이터의 텍스트 설명을 알 수 없는 경우가 많음을 고려하여, 현실적인 위협 모델 하에서도 효과적인 프라이버시 감사 도구를 제공했습니다.
• 모델 취약성 규명: LDM 이 훈련 데이터의 특정 조건 (캡션) 에 얼마나 민감하게 반응하는지, 그리고 그 민감도가 어떻게 프라이버시 누출로 이어지는지를 명확히 보여주었습니다.
• 향후 방향: 생성형 AI 모델의 보안 강화 및 프라이버시 보호 메커니즘 설계에 중요한 시사점을 제공하며, 캡션 없는 환경에서의 MIA 연구의 새로운 기준을 제시했습니다.

요약하자면, MOFIT은 정답 캡션이 없다는 제약 속에서, 모델이 학습한 분포에 맞춰 이미지를 변형하고 이를 통해 추출된 임베딩을 이용해 멤버십 추론의 정확도를 극대화하는 혁신적인 방법론입니다.