기술 요약: 멀티모달 거대 언어 모델(MLLM)의 프라이버시 위험성 규명

문제 정의

텍스트 전용 거대 언어 모델(LLM)에서의 프라이버시 위험, 즉 민감한 정보의 암기 및 유출은 이미 잘 문서화되어 있으나, 멀티모달 거대 언어 모델(MLLM)은 독특하고 아직 충분히 탐구되지 않은 과제들을 도입합니다. 텍스트 전용 모델과 달리 MLLM은 텍스트와 이미지를 모두 처리하므로, 새로운 프라이버시 침해 경로를 생성합니다. 구체적으로, MLLM은 이미지 내에 직접 포함된 민감한 정보를 추출하거나 이미지 입력을 통해 유도된 모델의 메모리에 저장된 민감한 데이터를 검색하여 노출할 수 있습니다. 기존 연구들은 주로 "프라이버시 인식"(모델이 개인정보를 인지하는지 여부)에 초점을 맞추었으나, 실제 데이터 유출 위험에 대해서는 간과해 왔습니다. 본 논문은 다양한 작업 및 시나리오 전반에서 MLLM의 프라이버시 문제의 심각성을 이해하는 데 있어 존재하는 결정적인 격차를 다룹니다.

방법론

MM-Privacy 데이터셋

이러한 위험을 체계적으로 평가하기 위해, 저자들은 13,500개 이상의 샘플을 포함하는 포괄적인 벤치마크 데이터셋인 MM-Privacy를 소개합니다. 이 데이터셋은 두 가지 뚜렷한 프라이버시 위험을 평가하도록 구조화되었습니다:

1. 공개 위험(Disclosure Risks): 민감한 입력(예: 사회보장번호가 포함된 이미지)을 처리할 때 모델의 즉각적인 행동을 평가합니다.
2. 보유 위험(Retention Risks): 모델이 학습(미세 조정) 과정에서 습득하거나 암기한 정보를 어떻게 처리하는지 평가합니다.

데이터셋 구축:

• 메모리 세트(Memory Set): 이미지에 주입된 합성 개인정보(이메일, 전화번호, 사회보장번호 등)를 포함하는 1,000개의 샘플로 구성됩니다. 이는 모델이 특정 데이터를 "암기"하도록 미세 조정하는 데 사용됩니다.
• 평가 세트(Evaluation Set): 암기된 데이터나 입력된 데이터를 모델이 유출하는지 테스트하는 데 사용되는 중복되지 않는 2,500개의 샘플로 구성됩니다.
• 시나리오: 데이터셋은 채용(입사 지원서), 본인 확인(I-9 양식), 금융(대출 신청서), 그리고 개방형 컨텍스트(Open Context)라는 네 가지 실제 세계 시나리오를 다룹니다.
• 이미지 생성: 이미지는 세 가지 방법으로 생성됩니다: 양식의 자동 생성, 인간 중심적 생성(작성된 양식을 출력하여 촬영), 그리고 컨텍스트가 취약성을 증가시키는지 테스트하기 위한 Stable Diffusion을 이용한 문맥 관련 이미지 생성.
• 작업 다양성: 작업별 취약성을 분석하기 위해, 지침(instruction)은 직접 질문(Directly Ask), 캡셔닝(Captioning), 시각적 질의응답(VQA), 재구문(Rephrasing), **분류(Classification)**의 다섯 가지 별도 작업으로 재구성됩니다.

평가 프레임워크

본 연구는 폐쇄형 소스 모델(GPT-4V, GPT-4o, Gemini-1.5-Pro, Claude3-Haiku)과 오픈 소스 모델(Idefics2, Llava-1.5, Llava-1.6, Xgen-Phi3, PaliGemma)을 모두 평가합니다.

• 지표:
  • 공격 성공률(ASR): 성공적인 유출(정확한 개인정보를 출력함)의 빈도를 측정합니다. 높을수록 나쁩니다.
  • 거절률(RR): 모델이 답변을 거부하는 빈도를 측정합니다. 낮을수록 나쁩니다.
• 학습 변형: 보유 위험의 경우, 모델은 지도 미세 조정(SFT), 대조 학습(Contrastive Learning), QA 스타일 학습이라는 서로 다른 학습 목표를 사용하여 LoRA로 미세 조정됩니다.
• 방어 분석: 방어 프롬프트(예: Wang et al., 2024; Xie et al., 2023 제공)의 효능을 테스트하여 유출을 완화할 수 있는지 확인합니다.

주요 결과

1. 공개 위험 (Disclosure Risks)

• 폐쇄형 소스 모델: 일반적으로 안전 장치를 갖추고 있으나, 성능이 일관되지 않습니다. 놀랍게도 GPT-4V 및 GPT-4o와 같은 강력한 모델들이 특정 맥락에서는 다른 모델들에 비해 덜 효과적인 안전 장치를 보여주었습니다.
• 작업 불일치: 간접적인 작업, 특히 캡셔닝과 재구문이 폐쇄형 소스 모델에 대해 가장 높은 프라이버시 위험(높은 ASR)을 초래했습니다. 이러한 작업들은 탈옥(jailbreaking) 메커니즘과 유사하게 모델의 주의를 프라이버시 제약으로부터 분산시키는 것으로 보입니다.
• 오픈 소스 모델: 폐쇄형 모델에 비해 현저히 높은 위험을 보였습니다. 대부분의 오픈 소스 모델은 낮은 거절률(RR)을 보였는데, 이는 민감한 데이터를 출력하려는 경향이 있음을 나타냅니다. 그러나 이들의 공격 성공률(ASR)은 대부분의 작업에서 50% 미만이었으며, 이는 강력한 프라이버시 정렬보다는 이미지 내 텍스트 인식의 어려움 때문인 것으로 보입니다.

2. 보유 위험 (Retention Risks)

• 암기 유출: 테스트된 모든 오픈 소스 모델은 미세 조정 시 메모리 세트로부터 개인정보를 성공적으로 출력하였으며, 이는 모델이 암기된 데이터를 처리하는 방식에 있어 심각한 취약점이 있음을 강조합니다.
• 학습 방법의 영향: **지도 미세 조정(SFT)**은 과적합(overfitting)으로 인해 가장 높은 프라이버시 유출(가장 높은 ASR)을 초래했습니다. 대조 학습은 가장 낮은 ASR을 기록하며 최선의 프라이버시 보존 효과를 보였습니다.
• 폐쇄형 소스 모델의 행동: 폐쇄형 모델은 보유 위험 테스트 중에 훨씬 높은 거절률을 보였으며, 직접적인 입력 상황보다 암기된 데이터를 다룰 때 더 신중한 모습을 보였습니다.

3. 방어 프롬프트 효능

• 방어 프롬프트는 Llava-1.6의 거절률을 모든 작업에 걸쳐 거의 100%까지 끌어올려 유의미하게 개선했습니다.
• 그러나 동일한 프롬프트가 Idefics2에는 미미한 보호만을 제공했다는 점은, 방어의 효과가 모델의 기저에 있는 지시어 튜닝(instruction tuning) 및 아키텍처에 크게 의존함을 시사합니다.

핵심 기여

1. 위험의 정의: 본 논문은 MLLM을 위해 공개 위험(즉각적인 입력 유출)과 보유 위험(암기된 데이터 유출)을 공식적으로 정의하고 구분합니다.
2. MM-Privacy 데이터셋: 이 두 가지 위험을 다양한 시나리오(채용, 금융, 본인 확인, 개방형 컨텍스트)와 작업에 걸쳐 포괄적으로 평가하도록 설계된 최초의 멀티모달 데이터셋을 도입합니다.
3. 체계적 평가: 프라이버시 유출이 지속적인 문제이며, 특히 오픈 소스 모델이 폐쇄형 모델보다 눈에 띄게 취약하다는 광범의 실험적 결과를 제공합니다.
4. 작업 인지 통찰력: 프라이버시 위험이 작업에 따라 매우 불일치함을 밝혀냈습니다. 캡셔닝이나 재구문과 같은 간접적인 작업은 기존의 안전 장치를 빈번히 우회하며, 이는 작업 인지적 완화 전략이 필요함을 시사합니다.

의의 및 주장

저자들은 자신들의 연구가 단순한 "인식" 테스트를 넘어 실제 유출 평가로 나아감으로써 MLLM 프라이버시 분석의 결정적인 공백을 메운다고 주장합니다. 연구 결과는 특히 오픈 소스 영역에서 강화된 프라이버시 보호 메커니즘이 시급히 필요함을 강조합니다. 또한, 기존의 안전 장치가 다양한 상호작용 모드(작업) 전반에 걸쳐 일반화되지 못한다는 점을 강조하며, 현재의 MLLM 상태가 데이터 노출에 대한 상당한 위험을 초래하고 있다고 지적합니다. 본 연구는 멀티모달 작업 및 학습 방법에 특화된 완화 전략 없이는 MLLM이 심각한 프라이버시 침해에 취약한 상태로 남을 것이라고 결론짓습니다.