기술 요약: 교차 모달 의미 정렬을 통한 비전 - 언어 모델에 대한 단일 샘플 블랙박스 멤버십 추론 공격

문제 정의

비전 - 언어 모델 (VLM) 은 방대한 학습 데이터셋에 의존하므로, 의도하지 않은 암기 및 이에 따른 개인 정보 또는 무단 데이터 유출에 대한 우려가 제기됩니다. 멤버십 추론 공격 (MIA) 은 특정 데이터 샘플이 모델의 학습 집합에 포함되었는지 여부를 판단하는 것을 목표로 합니다. 그러나 기존 VLM 을 위한 MIA 방법은 현실적인 배포 시나리오에서 두 가지 중요한 병목 현상에 직면해 있습니다:

1. 그레이박스 한계: 많은 효과적인 방법들은 내부 모델 로지트 (logits) 또는 토큰 수준의 확률에 접근하는 데 의존합니다. 실제 세계의 API 상호작용에서는 이러한 내부 상태가 일반적으로 제한되므로, 이러한 방법들은 실용적이지 않습니다.
2. 단일 샘플 한계: 기존 블랙박스 방법들은 추론을 위한 통계적 분포를 확립하기 위해 대규모 데이터셋을 필요로 하는 경우가 많습니다. 공격자가 하나의 이미지와 이에 상응하는 텍스트 응답에만 접근할 수 있는 "퓨샷 (few-shot)" 또는 엄격한 단일 샘플 시나리오에서는 큰 어려움을 겪습니다.

본 논문은 가장 제한적이면서도 현실적인 위협 모델을 다룹니다: 공격자가 이미지와 텍스트 프롬프트로 대상 VLM 을 쿼리하고 생성된 텍스트 응답만 관찰할 수 있는 엄격한 블랙박스 조건 하에서 단일 샘플에 대한 멤버십 추론 공격을 수행하는 것입니다.

방법론: CSA-MIA

저자들은 VLM 학습에 내재된 "암기 효과"를 활용하는 CSA-MIA(교차 모달 의미 정렬 멤버십 추론 공격) 프레임워크를 제안합니다.

핵심 통찰

정성적 및 정량적 분석을 통해 저자들은 VLM 이 멤버 (member) 이미지와 비멤버 (non-member) 이미지를 처리하는 방식에서 뚜렷한 차이를 관찰했습니다:

• 멤버 이미지: 모델은 더 강한 "암기"를 보여주며, 시각적 내용과 밀접하게 정렬된 정밀하고 구체적인 속성을 가진 설명을 생성합니다 (예: 정확한 객체 식별 및 장면 세부 사항).
• 비멤버 이미지: 모델은 "의미적 환각"에 더 취약하여, 시각적 현실과 벗어난 설명을 생성합니다 (예: 객체 오인식, 존재하지 않는 특징 발명, 또는 잘못된 환경 설명).

공격 파이프라인

CSA-MIA 는 내부 모델 상태에 접근하지 않고 이러한 정렬을 정량화합니다:

1. 생성 단계: 공격자는 대상 VLM($M$) 에 대상 이미지 ($x$) 와 텍스트 지시문 ($T_{in}$) 을 쿼리하여 텍스트 설명 ($T_{out}$) 을 생성합니다.
2. 추론 단계: 대상 VLM 과 독립적인 외부 사전 학습된 교차 모달 인코더 (예: CLIP) 를 사용하여 입력 이미지 ($\Phi_{img}(x)$) 와 생성된 텍스트 ($\Phi_{txt}(T_{out})$) 에 대한 임베딩을 추출합니다.
3. 점수 매기기: 이미지와 텍스트 임베딩 간의 코사인 유사도를 멤버십 신호로 계산합니다:
   $$\text{Score}(x, T_{out}) = \frac{\Phi_{img}(x) \cdot \Phi_{txt}(T_{out})}{\|\Phi_{img}(x)\| \|\Phi_{txt}(T_{out})\|}$$
4. 임계값 선택: 대상의 학습 분포에 대한 사전 지식 없이 이진 결정을 내리기 위해, 이 방법은 확인된 비멤버 샘플 (예: 합성 데이터 또는 모델 컷오프 이후에 공개된 데이터) 로 구성된 보조 참조 집합($D_{ref}$) 을 사용합니다. 결정 임계값 ($\lambda$) 은 이 참조 집합에 대해 계산된 평균 정렬 점수로 설정됩니다. 만약 $\text{Score}(x, T_{out}) > \lambda$이면, 해당 샘플은 멤버로 분류됩니다.

주요 기여

1. 새로운 위협 모델: 본 논문은 기존 연구의 데이터셋 수준 또는 그레이박스 가정을 넘어, 엄격한 블랙박스 단일 샘플 설정에서 VLM 에 대한 MIA 의 까다로운 시나리오를 조사하고 공식화합니다.
2. 교차 모달 정렬 신호: 저자들은 멤버십 추론을 위한 강력한 신호로서 교차 모달 의미 정렬의 불일치를 식별하고 활용합니다. 멤버 이미지는 비멤버에 비해 시각적 내용과 생성된 텍스트 간의 정렬이 훨씬 더 높음을 입증합니다.
3. CSA-MIA 프레임워크: 내부 로지트나 대규모 통계적 참조가 필요하지 않고, 대신 외부 인코더와 작은 보조 참조 집합에 의존하는 실용적인 공격 프레임워크를 제안합니다.
4. 종합적 평가: 이 방법은 여러 데이터셋에서 세 가지 오픈소스 모델 (LLaVA-1.5, MiniGPT-4, LLaMA Adapter v2) 과 두 개의 폐쇄형 API(GPT-4, Claude-3) 에 대해 검증되었습니다.

실험 결과

실험은 CSA-MIA 가 기존 베이스라인보다 일관되게 우수함을 보여줍니다:

• 오픈소스 모델에서의 성능: VL-MIA/Flickr 데이터셋과 LLaVA-1.5 를 사용하여 CSA-MIA 는 AUC 0.821을 달성하여, 최상의 그레이박스 베이스라인 (예: MaxRényi-Max-100% 의 0.723) 과 블랙박스 베이스라인 (이미지만 추론의 0.587) 을 크게 능가했습니다.
• 폐쇄형 모델: 이 방법은 상업용 API 에 대해서도 효과적입니다. GPT-4(부분 그레이박스 접근) 에 대해 AUC 0.736 을 달성하여, 종종 무작위 추측 미만 (AUC < 0.5) 으로 떨어진 모든 그레이박스 베이스라인을 능가했습니다. Claude-3(엄격한 블랙박스) 에 대해서는 AUC 0.738 을 달성했습니다.
• 강건성: 이 공격은 다양한 이미지 왜곡 (블러, 노이즈, 압축, 자르기 등) 하에서도 강건하게 유지되어, 주요 의미 주제를 제거하는 극단적인 자르기를 제외하고 대부분의 시나리오에서 0.7 이상의 AUC 를 유지했습니다.
• 절대 연구: 이 방법은 임베딩 모델 (CLIP, SLIP, FLIP), 설명 길이, 샘플링 온도, 프롬프트 구성의 변화에 대해 강건함이 입증되었습니다.

중요성과 주장

본 논문은 CSA-MIA 가 배포된 VLM 의 고유한 프라이버시 위험을 강조하며, 내부 모델 매개변수나 대규모 데이터셋에 접근하지 않더라도 공격자가 단일 쿼리로부터 학습 데이터 멤버십을 효과적으로 추론할 수 있음을 보여줍니다.

저자들은 그들의 발견이 다음과 같음을 강조합니다:

• 학습 데이터 유출은 모델이 특정 시각 - 텍스트 쌍을 암기하려는 경향에 의해 주도되며, VLM 에서 실질적인 위험임을 드러냅니다.
• 실세계 응용 프로그램에서 무단 또는 침해 이미지 사용을 탐지하는 데 필수적인 블랙박스 시나리오에서의 프라이버시 감사를 위한 실용적인 도구를 제공합니다.
• "암기 효과"가 결합 임베딩 공간에서 탐지 가능한 신호를 생성하여, 블랙박스 접근이 학습 데이터 프라이버시를 충분히 보호한다는 가정을 도전합니다.

이 연구는 비전 - 언어 시스템에서 무단 데이터 사용에 대한 책임 있는 배포와 잠재적인 완화 전략의 필요성을 뒷받침하는 이러한 통찰력을 언급하며 결론을 맺습니다.