🤖 machine learning

FiMMIA: scaling semantic perturbation-based membership inference across modalities

이 논문은 분포 변화(distribution shifts) 문제를 해결하고 다양한 미세 조정된 모델 전반에 걸쳐 데이터 오염을 탐지하도록 신경망을 학습시킴으로써, 섭동 기반 멤버십 추론 공격(perturbation-based membership inference attacks)을 멀티모달 거대 언어 모델로 확장하는 모듈형 프레임워크인 FiMMIA를 소개한다.

원저자: Anton Emelyanov, Sergei Kudriashov, Alena Fenogenova

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anton Emelyanov, Sergei Kudriashov, Alena Fenogenova

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: "메모리 누수" 탐정

당신이 어떤 요리사(AI 모델)를 고용해 비밀 가족 레시피 북(학습 데이터)을 바탕으로 특정 요리를 만들게 했다고 상상해 보세요. 당신은 알고 싶습니다: 이 요리사가 정말로 당신의 가족 레시ب을 통째로 외운 것일까요, 아니면 일반적인 지식을 이용해 처음부터 스스로 요리하는 법을 배운 것일까요?

만약 요리사가 레시피를 외워버렸다면, 누군가 물어볼 때마다 가족의 비밀 재료를 실수로 발설할 수도 있습니다. AI의 세계에서는 이를 **멤버십 추론 공격(Membership Inference Attack, MIA)**이라고 부릅니다. 이는 특정 데이터(사진, 문장, 또는 오디오 클립 등)가 AI의 "학습 식단"에 포함되었는지 확인하는 방법입니다.

문제는 텍스트 전용 요리사(LLM)를 검사하는 좋은 방법들은 이미 존재하지만, 사진도 보고 소리도 듣고 영상도 동시에 처리하는 **멀티모달 요리사(MLLM)**를 검사하는 데는 매우 서툴다는 점입니다. 이 모델들은 서로 다른 유형의 데이터가 뒤섞여 있어 매우 복잡하며, 이로 인해 AI가 특정 이미지를 실제로 암기한 것인지 아니면 단순히 추측한 것인지 구별하기가 어렵습니다.

여기 FiMMIA(Framework for Multimodal MIA)가 등장합니다. 이는 멀티모달 모델들을 잡아내기 위해 설계된 초강력 탐정 도구입니다.

문제점: "가짜" 단서들

FiMMIA 이전에도 연구자들은 기존의 테스트를 사용하여 이러한 메모리 누수를 잡으려 노력했습니다. 하지만 이 논문의 저자들은 기존 테스트들에 중대한 결함이 있다는 것을 발견했습니다. 테스트 자체가 조작되어 있었다는 것입니다.

이것은 마치 경찰의 라인업과 같습니다. 만약 경찰이 10명의 용의자를 세워두었는데, 9명은 밝은 빨간색 모자를 쓰고 있고 단 1명만 파란색 모자를 쓰고 있다면, 형사는 얼굴을 볼 필요도 없이 범인을 맞출 수 있습니다. 그저 파란 모자를 쓴 사람을 찍으면 되기 때문입니다.

논문에 따르면 많은 기존 AI 데이터셋들이 바로 이와 같았습니다. "암기된" 데이터(멤버)와 "암기되지 않은" 데이터(비멤버)가 서로 너무 달랐습니다(조명, 문장 구조, 파일 형식 등이 다름). 그래서 단순한 컴퓨터 프로그램조차 AI 모델을 들여다보지도 않고 두 데이터를 구분해낼 수 있었습니다.

해결책: 저자들은 AI 모델을 완전히 무시하고 오직 원본 데이터(사진과 텍스트)만을 바라보는 "베이스라인" 탐지기를 구축했습니다. 이 탐지기는 데이터 자체가 자연적으로 차이가 나는지를 확인합니다. 만약 이 단순한 탐지기가 데이터를 구분해낼 수 있다면, 그 데이터셋은 "오염"되었거나 편향된 것이며, 그 데이터로 수행된 복잡한 AI 테스트는 신뢰할 수 없다는 뜻입니다.

해결책: "맛 테스트" 전략

FiMMIA는 **의미론적 섭동(Semantic Perturbation)**이라는 영리한 전략을 사용합니다. 이 과정은 "맛 테스트" 비유를 통해 다음과 같이 작동합니다.

준비 단계: 타겟 AI 모델이 있습니다. 당신은 이 모델이 특정 고양이 사진(이하 "원본")을 암기했는지 알고 싶습니다.
왜곡 (섭동): 모델에게 원본 사진을 그대로 보여주는 대신, 24개의 약간 "망가진" 버전을 만듭니다.
- 눈 부분을 흐릿하게 만듭니다.
- 꼬리를 강아지 꼬리로 바꿉니다.
- 배경 색상을 변경합니다.
- 텍스트 설명을 뒤섞습니다.
- 비유: 완벽한 커피 한 잔이 있다고 상상해 보세요. 당신은 설탕을 너무 많이 넣거나, 차가운 우유를 넣거나, 소금을 한 방울 떨어뜨리는 등 24가지의 약간 "맛이 간" 커피를 만듭니다.
반응 관찰: 원본과 망가진 버전을 모두 AI에게 입력합니다.
- 만약 AI가 원본을 암기했다면: 원본에는 매우 확신을 갖고 "편안하게" 반응하겠지만, 망가진 버전들에 대해서는 혼란을 느끼고 실수를 할 것입니다(높은 손실값 발생). 이는 당신의 레시피를 달달 외운 요리사와 같습니다. 레시피대로는 완벽하게 요리하지만, 재료가 조금만 바뀌어도 당황하는 것과 같습니다.
- 만 만약 AI가 원본을 암기하지 않았다면: 원본과 망가진 버전을 거의 동일하게 취급할 것입니다. 이는 일반적인 요리법을 배운 요리사와 같습니다. 소금을 조금 넣든 안 넣든 그들의 반응에는 큰 차이가 없습니다.
탐정 업무: FiMMIA는 AI의 반응을 관찰하는 작고 똑똑한 신경망(탐정)을 가지고 있습니다. 이 탐정은 원본과 망가진 버전 사이의 "확신도 점수"를 비교합니다. 만약 그 격차가 크다면, 탐정은 "찾았다! 이 모델은 이 데이터를 암기했다!"라고 외칩니다.

왜 특별한가?

어디서나 작동합니다: 텍스트에만 국한되었던 이전 도구들과 달리, FiMMIA는 이미지, 영상, 오디오 모두에서 작동합니다. 이들은 모두 같은 방식으로 작동합니다: "데이터를 망가뜨리고, 모델이 어떻게 반응하는지 본다."
모듈식 구조: FiMMIA를 맥가이버 칼처럼 생각하세요. 테스트하려는 대상에 따라 "망가뜨리는 도구"(섭동 방법)나 "탐정"(분류기)을 교체할 수 있습니다.
언어에 구애받지 않습니다: 저자들은 러시아어 데이터로 테스트했지만, 이 방식은 영어 등 다른 언어에서도 똑같이 잘 작동합니다. "맛 테스트"는 레시피가 어떤 언어로 적혀 있는지 상관하지 않습니다.

결과

저자들은 수십억 개의 파라미터를 가진 다양한 AI 모델들을 대상으로 FiMMIA를 테스트했습니다.

같은 계열, 같은 모델: 탐정이 특정 모델 계열로 학습되고 동일한 계열에서 테스트되었을 때, 놀라운 정확도(95% 이상의 성공률)를 보였습니다.
계열 간 테스트: 탐정이 한 종류의 모델로 학습되고 완전히 다른 종류의 모델에서 테스트되었을 때도, 여전히 준수한 성능(약 70~80%의 성공률)을 보여주었습니다.

핵심 요약

이 논문은 AI 모델이 학습 데이터를 몰래 암기했는지 잡아내는 새로운 방법인 FiMMIA를 소개합니다.

먼저, 데이터의 편향성 때문에 현재의 많은 테스트가 제대로 작동하지 않음을 증명합니다.
그 다음, 강력한 해결책을 제시합니다: 데이터를 약간 망가뜨리고, AI가 어떻게 반응하는지 관찰한 뒤, 그 반응을 통해 AI가 데이터를 암기했는지 판단하는 것입니다.

이는 연구자들이 AI가 단순히 "똑똑한" 것인지, 아니면 단순히 "시험 문제"를 외운 것인지를 확인하기 위한 필수적인 도구입니다.

기술 요약: FiMMIA – 모달리티 전반에 걸친 시맨틱 섭동 기반 멤버십 추론의 확장

1. 문제 정의

멤버십 추론 공격(Membership Inference Attacks, MIAs)은 특정 데이터 포인트가 타겟 모델의 학습 세트에 포함되었는지 여부를 판별하는 것을 목표로 합니다. 대규모 언어 모델(LLM)을 위한 수많은 방법이 존재하지만, 멀티모달 대규모 언 언어 모델(MLLM)에 적용하는 데에는 두 가지 주요 과제가 있습니다:

분포 변화(Distribution Shifts): 기존의 멀티모달 MIA 벤치마크는 멤버 데이터와 비멤버 데이터 사이의 분포 변화 문제를 겪고 있습니다. 이러한 변화로 인해 단순한 베이스라인 방법(타겟 모델을 쿼리하지 않는 방법)이 정교한 MIA 공격보다 더 높은 성능을 보이게 되며, 이는 벤치마크를 실제 멤버십 추론 능력을 평가하기에 부적합하게 만듭니다.
모달리티 복잡성(Modality Complexity): MLLM은 텍스트, 이미지, 비디오, 오디오 등 다양한 모달리티와 복잡한 학습 파이프라인(사전 학습, 미세 조정)을 포함합니다. 텍스트 전용 모델과 달리, 멀티모달 입력은 비텍스트 모달리티에 대한 구체적인 타겟 토큰이 부족하여 기존의 텍text 기반 MIA 방법을 직접 적용하기 어렵습니다. 또한, 멀티모달 적응 과정에서 발생하는 불안정성과 입력 간의 잠재적인 분포 변화는 추론을 더욱 복잡하게 만듭니다.

본 논문은 이러한 분포 변화를 해결하고 멀티모달 입력을 처리할 수 있도록 방법을 적응시키지 않는다면, MLLM에서의 데이터 오염(data contamination)을 신뢰성 있게 탐지하는 것은 불가능하다고 주장합니다.

2. 방법론: FiMMIA 프레임워크

저자들은 FiMMIA(Framework for Multimodal MIA)를 제안합니다. 이는 이미지, 오디오, 비디오 모달리티 전반에 걸쳐 데이터 유출을 탐지하도록 설계된 모듈형 시스템입니다. 이 프레임워크는 시맨틱 섭동(semantic perturbation) 원리에 따라 작동하며, 섭동된 입력에 대한 타겟 모델의 행동을 분석하여 멤버와 비멤버 간의 분포적 차이를 포착하도록 신경망을 학습시킵니다.

2.1 베이스라인 및 분포 변화 탐지

MIA를 배포하기 전에, 저자들은 분포 변화를 탐지하기 위한 베이스라인을 구축합니다:

휴리스틱 추출(Heuristic Extraction): 각 입력 샘플(멤버 또는 비멤버)에 대해 데이터셋에서 직접 공통적인 휴리스틱 특징(예: SIFT, LBP 히스토그램) 또는 스펙트럴 특징을 추출합니다.
블라인드 분류(Blind Classification): 타겟 모델의 신호 없이 오직 이러한 데이터셋 특징만을 사용하여 멤버와 비멤버를 구분하도록 하는 얕은 머신러닝 모델(예: 로지스틱 회귀 또는 그래디언트 부스팅)을 학습시킵니다.
검증: 베이스라인이 높은 AUC-ROC(50%를 유의미하게 상회)를 달성한다면, 이는 분포 변화가 존재함을 나타내며, 해당 데이터셋이 MIA 평가에 부적합함을 시사합니다. 저자들은 대부분의 기존 벤치마크(예: WikiMIA, VL-MIA)가 이러한 변화를 겪고 있는 반면, MERA 데이터셋의 무작위 분할(random splits)은 그렇지 않음을 발견했습니다.

2.2 섭동 기반 공격 파이프라인

핵심적인 FiMMIA 파이프라인은 다음 단계로 구성됩니다:

이웃 생성(Neighbor Generation): 각 원래의 멀티모달 샘플 $(t, s)$ $(t, s)$ (여기서 $t$ $t$ 는 텍스트, $s$ $s$ 는 모달리티)에 대해 $K=24$ $K = 24$ 개의 섭동된 "이웃" $(t'_k, s'_k)$ $(t_{k}^{'}, s_{k}^{'})$ 를 생성합니다.
- 텍스트 섭동에는 무작위 마스킹(Fred-T5에 의해 예측됨), 무작위 토큰 삭제, 중복, 교환이 포함됩니다. 각 기법은 6회씩 적용됩니다.
- 현재 실험에서 모달리티 데이터( $s$ )는 변경되지 않습니다 ( $s = s'_k$ ). 하지만 파이프라인은 멀티모달 이웃 생성을 지원합니다.
임베딩 생성: 고정된 인코더(intfloat/e5-mistral-7b-instruct)를 사용하여 원래 텍스트와 그 이웃들의 텍스트 임베딩을 추출합니다.
손실 계산: 타겟 모델 $M$ $M$ (및 참조 모델 $M_{leak}$ $M_{l e ak}$ )은 원래 입력과 섭동된 입력 모두에 대해 손실을 계산합니다.
- $L = L(M, t, s)$
- $L'_k = L(M, t'_k, s'_k)$
특징 구성: 각 이웃 $k$ $k$ 에 대해 다음과 같은 특징 차이를 계산합니다:
- $\Delta L = L - L'_k$ (손실 차이)
- $\Delta e = e - e'_k$ (임베딩 차이)
- 이러한 특징들은 데이터셋과 모델 간의 안정성을 보장하기 위해 z-score( $\Delta L_{norm}$ )를 사용하여 정규화됩니다.
공격 모델 학습: 입력 특징이 타겟 데이터로 학습된 모델(유출됨)에서 온 것인지, 아니면 데이터를 보지 못한 모델(유출되지 않음)에서 온 것인지를 예측하도록 이진 신경망 분류기( $f_{FiMMIA}$ )를 학습시킵니다. 학습 레이블은 손실이 $M$ 또는 $M_{leak}$ 로부터 발생했는지 여부에 따라 결정됩니다.

2.3 추론

특정 데이터 포인트에 대해 타겟 모델 $M'$ 을 테스트하기 위해, 파이프라인은 $M'$ 에 대한 손실 및 임베딩 차이를 계산하고 이를 정규화한 후, 학습된 탐지기의 $K$ 개 이웃에 대한 확률 출력값을 평균하여 최종 유출 점수를 산출합니다.

3. 주요 기여

분포 변화 식별: 저자들은 Das 등(2024)의 연구를 멀티모달 데이터로 확장하여, 기존의 이미지 및 텍스트 MIA 벤치마크가 심각한 분포 변화를 겪고 있음을 입증했습니다. 이들은 블라인드 통계적 베이스라인이 종종 최첨단(SOTA) MIA 방법보다 더 높은 성능을 보인다는 점을 보여주었습니다.
확장된 섭동 기반 MIA: 본 논문은 시맨틱 섭동 기반 MIA 방법을 MLLM으로 일반화하여, 이미지, 비디오, 오디오 모달리티 전반에서 수십억 개의 파라미터를 가진 모델에 대해서도 효과와 전이 가능성을 입증했습니다.
FiMMIA 프레임워크: 다양한 데이터셋, 모달리티 및 이웃 생성 방법을 지원하는 모듈형 오픈 소스 프레임워크를 공개합니다. 여기에는 베이스라인 공격 점수 산출 및 추론을 위한 사전 학습된 모델과 파이프라인이 포함되어 있습니다.
강건한 평가: 멤버와 비멤버 사이의 독립성을 보장하기 위해 무작위 분할을 사용한 MERA 벤치마크(러시아어)를 활용하여, MIA 성능에 대한 보다 신뢰할 수 있는 평가를 제공했습니다.

4. 실험 결과

저자들은 9개의 공개적으로 사용 가능한 MLLM(3B에서 12B 파라미터 범위)을 이미지, 비디오, 오디오 모달리티에 대해 평가했습니다.

성능: FiMMIA는 모달리티 전반에 걸쳐 일반적으로 80%에서 90% 사이의 높은 AUC-ROC 점수를 달성했습니다.
- 이미지: 평균 AUC-ROC 88.66%.
- 비디오: 평균 AUC-ROC 88.39%.
- 오디오: 평균 AUC-ROC 81.25%.
전이 가능성: 공격 모델은 모델 제품군 내(예: Qwen2.5에서 Qwen2.5 변형 모델로)에서 상당한 전이성을 보였으며, AUC-ROC 점수가 종종 90%를 초과했습니다. 제품군 간 전이성은 더 낮았지만 65% 이상을 유지하여 방법론의 강건성을 입증했습니다.
교차 언어 전이: 러시아어 데이터(MERA)로 학습하고 영어 데이터셋(ScienceQA, MMStar, COCO)으로 테스트했을 때, FiMMIA의 유출 탐지는 MM-DETECT(Song et al., 2025) 방식과 밀접하게 일치하였으며, 이는 언어에 구애받지 않는 특성을 시사합니다.
베이스라인 비교: 베이스라인이 공격보다 우세했던 기존 벤치마크와 대조적으로, FiMMIA의 섭동 기반 접근 방식은 적절히 분할된 데이터셋에서 멤버와 비멤버를 성공적으로 구분해 냈습니다.

5. 의의 및 주장

본 논문은 FiMMIA를 악의적인 데이터 추출 도구가 아닌, 진단 및 개인정보 보호 메커니즘으로 규정합니다. 그 의의는 다음과 같습니다:

벤치마크 무결성 보장: 벤치마크 샘플이 의도치 않게 암기된 경우(데이터 오염)를 식별함으로써, 프레임워크는 벤치마크 포화(saturation)를 방지하고 공정한 모델 비교를 보장하는 데 도움을 줍니다.
학습 파이프라인 감사: 연구자들이 성능 향상이 실제 발전에서 비롯된 것인지, 아니면 평가 세트에 대한 과적합에서 비롯된 것인지 검증할 수 있는 실질적인 메커니즘을 제공합니다.
멀티모달 격차 해소: 텍스트 전용 접근 방식의 한계를 넘어, MLLM의 복잡성에 특화된 최초의 종합적인 멤버십 추론 프레임워크를 제공함으로써 문헌의 중요한 공백을 채웁니다.

저자들은 그레이박스(gray-box) 접근(손실 계산 필요), 저계수 어댑터(low-rank adapter) 미세 조정 시나리오에 대한 집중, 이웃 생성에 따른 계산 비용 등의 한계를 인정합니다. 그러나 FiMMIA가 MLLM을 위한 탄력적인 평가 표준을 향한 필수적인 단계임을 주장합니다.