Membership Inference Attacks for Retrieval Based In-Context Learning for Document Question Answering

본 논문은 문서 질문 답변을 위한 검색 기반 컨텍스트 학습 시스템이 쿼리 접두사를 이용한 블랙박스 멤버십 추론 공격에 취약함을 입증하고, 문장 재구성이 적용된 입력에서도 기존 방법보다 우수한 성능을 보이는 두 가지 새로운 공격 기법을 제안하며, 적응형 앙상블 프롬프팅 방어 메커니즘이 이로 인한 개인정보 유출을 효과적으로 완화할 수 있음을 보여줍니다.

핵심

상상해 보세요. 매우 똑똑하고 도움이 되는 사서 (AI) 가 사립 도서관 (서버) 에서 일한다고 가정해 봅시다. 당신은 특정 책에 대해 사서에게 질문할 수 있으며, 사서는 최고의 답변을 제공하기 위해 그 책의 예시들 중 '치트 시트'라고 불리는 특별한 목록을 먼저 살펴보고 이전에는 유사한 질문이 어떻게 답변되었는지 확인합니다. 이를 **맥락 학습 (In-Context Learning)**이라고 합니다.

쿨카니, 코스켈라, 줌모트의 논문은 사용자가 직접 치트 시트를 볼 수는 없더라도, 자신의 특정 질문이 그 사서의 치트 시트 (학습 데이터) 에 비밀스럽게 포함되어 있었는지 알아낼 수 있는 교활한 방법을 조사합니다. 이를 **멤버십 추론 공격 (Membership Inference Attack)**이라고 합니다.

다음은 그들의 발견 사항을 간략히 정리한 것입니다:

설정: '검색' 사서

실제 세계에서는 도서관들이 치트 시트를 위해 무작위 예시들을 선택하지 않습니다. 그들은 당신의 질문과 가장 유사한 예시들을 찾기 위해 스마트 검색 도구를 사용합니다.

• 문제점: 저자들은 이 '스마트 검색'이 실제로 도서관을 스파이 활동에 더 취약하게 만든다는 것을 발견했습니다. 사서가 당신의 질문과 매우 유사한 예시들을 선택하기 때문에, 스파이가 자신의 질문이 도서관의 비밀 데이터베이스에 포함되어 있었는지 파악하기가 훨씬 쉬워집니다.

두 가지 스파이 기법 (공격)

저자들은 사서의 내부 메모를 보거나 특별한 허가를 받지 않고도 사서를 감시할 수 있는 두 가지 새로운 방법을 고안했습니다.

1. '이중 확인' 스파이 (공격 1)

• 작동 원리: 스파이는 집에 자신의 사적인 작은 사서 (참조 모델) 를 두고 있습니다.
• 기법: 스파이는 실제 도서관의 사서에게 질문을 할 때 문장의 처음 몇 단어만 제공합니다. 그런 다음 스파이는 자신의 사적인 사서에게도 똑같이 질문합니다.
• 논리: 만약 실제 사서의 치트 시트에 스파이의 질문이 이미 포함되어 있다면, 실제 사서는 몇 단어만으로도 매우 자신감 있고 정확하게 답변할 것입니다. 스파이는 자신의 사적인 사서와 실제 사서의 자신감 정도를 비교합니다. 실제 사서가 문장의 나머지 부분을 추측하는 데 놀라울 정도로 능하다면, 스파이는 "아하! 내 질문이 그들의 비밀 치트 시트에 있었구나!"라고 알게 됩니다.

2. '더듬거리는' 스파이 (공격 2)

• 작동 원리: 이 공격은 두 번째 사서가 필요 없습니다. 단지 실제 사서가 주는 답변을 관찰할 뿐입니다.
• 기법: 스파이는 사서에게 같은 질문을 반복해서 하지만, 매번 사서에게 텍스트의 조금 더 긴 부분을 제공합니다 (문장을 단어별로 읽는 것처럼).
• 논리:
  • 스파이의 질문이 치트 시트에 있다면, 사서는 아주 처음 몇 단어만 주어졌을 때도 정확하게 답변할 수 있습니다 (치트 시트에 전체 답변이 준비되어 있기 때문입니다).
  • 스파이의 질문이 치트 시트에 없다면, 사서는 충분한 정보가 없기 때문에 처음 몇 단어만 주어졌을 때 "모르겠다"고 말하거나 나쁜 답변을 할 가능성이 높습니다.
• 점수: 스파이는 사서의 초기 답변에 더 많은 점수를 매깁니다. 사서가 초반에 잘 답변한다면, 스파이의 질문이 데이터베이스에 포함되어 있었다는 강력한 신호입니다.

왜 이것이 중요한가

이 논문은 이러한 스파이 기법들이 스파이가 질문을 약간 변경 (동의어 사용이나 문장 재구성) 하여 숨기려 하더라도 매우 효과적으로 작동한다는 것을 보여줍니다. 그들은 이러한 새로운 기법들이 종종 한 번에 너무 많은 일을 하려고 시도 (예: 사서에게 한 번에 전체 에세이를 쓰게 하는 것, 이는 종종 차단됨) 하여 실패했던 이전 방법들보다 더 낫다는 것을 발견했습니다.

스파이를 막는 방법 (방어)

저자들은 또한 도서관을 보호할 방법을 테스트했습니다:

1. '분할' 방어: 사용자가 전체 텍스트와 질문을 함께 보내는 대신, 서버가 사용자에게 이를 별도로 보내도록 강제할 수 있습니다. 이렇게 하면 서버가 조각들을 어떻게 조합할지 통제하기 때문에 스파이가 '이중 확인' 기법을 사용하는 것을 막을 수 있습니다.
2. '그룹 투표' 방어: 사서에게 한 번만 묻는 대신, 서버는 치트 시트에 약간 다른 예시들을 사용하여 사서에게 다섯 번 질문한 후 가장 일반적인 답변을 채택합니다. 이는 치트 시트가 매번 변하기 때문에 스파이가 자신의 특정 질문이 사용되었는지 판단하기 어렵게 만들어 혼란을 줍니다.

결론

이 논문은 예시를 선택하기 위해 스마트 검색을 사용하는 것이 AI 답변을 더 좋게 만들지만, 동시에 개인정보 유출을 초래한다는 결론을 내립니다. 마치 관련 있는 책을 찾는 데 너무 능숙한 사서가 실수로 당신이 이전에 읽은 책들을 드러내는 것과 같습니다. 저자들은 답변을 유용하게 유지하면서 스파이들이 데이터베이스를 엿보지 못하도록 하기 위해 새로운 개인정보 보호 도구 (예: '그룹 투표' 방법) 가 필요하다고 제안합니다.

기술 요약

기술 요약: 문서 질문 응답을 위한 검색 기반 인-컨텍스트 학습의 멤버십 추론 공격

1. 문제 제기

본 논문은 문서 질문 응답 (DQA) 애플리케이션에서 **검색 기반 인-컨텍스트 학습 (ICL)**의 프라이버시 취약점을 다룹니다. 가중치 업데이트 없이 대규모 언어 모델 (LLM) 의 성능을 향상시키는 인기 있는 프롬프트 엔지니어링 기법인 ICL 이지만, 원격 양자간 API 서비스로 배포될 경우 특정 위험을 초래합니다.

연구된 설정에서 서비스 제공자는 비공개 증시 데이터셋 ($D$) 을 유지하며, 사용자의 쿼리에 대해 $k$개의 인-컨텍스트 예제를 선택하기 위해 검색 함수 (예: 의미적 유사성 기반 k-최근접 이웃) 를 사용합니다. 저자들은 기존 멤버십 추론 공격 (MIAs) 이 이 시나리오에 적합하지 않다고 주장합니다. 그 이유는 다음과 같습니다.

• 작업 불일치: 기존 MIAs 는 텍스트 분류에 초점을 맞추는 반면, DQA 는 정보 추출이 필요한 생성 작업입니다.
• 비현실적인 가정: 기존 공격들은 종종 로그이트 접근 (블랙박스 API 에서는 불가능) 에 의존하거나 무작위로 샘플링된 증시 예제를 가정합니다. 실제로 검색 기반 ICL 은 의미적으로 유사한 예제를 선택하므로, 사용자의 쿼리 (또는 그 문장 변형) 가 프롬프트에 나타날 가능성이 높아져 프라이버시 위험이 증폭됩니다.
• 운영적 제약: "반복 (Repeat)" (긴 접미사 예측) 이나 "브레인워시 (Brainwash)" (반복적 레이블 뒤집기) 와 같은 공격은 생성 작업의 토큰 제한과 컨텍스트 윈도우 제약으로 인해 비현실적입니다.

핵심 연구 질문은 다음과 같습니다: 문서 질문 응답을 위한 검색 기반 ICL 에 대해 오직 모델 예측 (블랙박스) 만을 활용하고 의미적 검색의 특정 메커니즘을 활용하여 효과적인 멤버십 추론 공격을 설계할 수 있는가?

2. 방법론

저자들은 검색 기반 ICL 이 쿼리와 의미적으로 유사한 증시 예제를 선택한다는 사실을 악용하는 두 가지 블랙박스 공격을 제안합니다. 공격자는 쿼리 텍스트 (문장 변형 포함 가능) 와 정답을 알 수 있지만, 서버의 내부 손실 지표나 로그이트에는 접근할 수 없습니다.

공격 1: 참조 모델 추정

이 공격은 로컬에 호스팅된 참조 모델 ($LM_r$) 을 사용하여 대상 모델의 손실 지표를 추정합니다.

• 메커니즘: 공격자는 쿼리 텍스트의 접두사 ($t_{:i}$) 를 사용하여 일련의 프롬프트를 구성합니다. 피해 모델 ($LM_v$) 과 참조 모델 ($LM_r$) 모두 이러한 접두사에 대한 예측을 생성합니다.
• 상관관계: 공격자는 참조 모델의 예측과 정답 토큰 간의 의미적 유사성 (임베딩의 내적) 을 계산합니다. $LM_r$이 검색 설정을 모방하므로, 그 예측 품질은 대상 모델의 로그 확률과 상관관계가 있습니다.
• 회귀: 1 차원 k-NN 회귀 모델을 훈련시켜 참조 모델의 의미적 유사성 점수를 참조 모델의 실제 로그 확률에 매핑합니다. 이 매핑을 피해 모델의 유사성 점수에 적용하여 피해 모델의 로그 손실을 추정합니다.
• 신호: 평균 추정 음의 로그 가능도가 멤버십 점수로 사용됩니다. 점수가 낮을수록 멤버십 확률이 높음을 나타냅니다.

공격 2: 예측 전용 (가중 평균)

이 공격은 참조 모델 없이 피해 모델의 최종 예측만을 활용합니다.

• 메커니즘: 공격자는 질문과 짝을 이루는 텍스트의 점진적 접두사 ($t_{:i}$) 로 피해 모델에 쿼리를 보냅니다.
• 가점 점수화: 공격자는 각 접두사에 대해 모델이 예측한 답변과 정답 간의 의미적 유사성을 기반으로 점수를 계산합니다.
• 감쇠 함수: 점수에 가중치를 부여하기 위해 페널티 함수 $\phi(i)$ (예: $1/i$) 를 적용합니다. 직관은 멤버 쿼리의 경우, 검색 시스템이 작은 접두사에서도 전체 텍스트 (또는 매우 유사한 버전) 를 컨텍스트에 포함할 가능성이 높으므로 모델이 초기에 정확하게 답변할 수 있다는 것입니다. 반면 논멤버의 경우, 모델은 작은 접두사에 필요한 컨텍스트가 부족하여 "모르겠습니다"라고 답하거나 저품질의 답변을 출력할 수 있습니다.
• 신호: 유사성의 가중 합이 멤버십 점수로 사용됩니다. 점수가 높을수록 멤버십을 나타냅니다.

3. 주요 기여

• 생성형 ICL 을 위한 새로운 공격 벡터: 본 논문은 분류 중심의 문헌을 넘어, 생성 작업인 문서 질문 응답을 위한 검색 기반 ICL 을 표적으로 하는 최초의 MIAs 를 제시합니다.
• 현실적인 위협 모델: 공격들은 엄격한 블랙박스 제약 (로그이트 접근 불가, 제한된 출력 토큰) 하에 작동하며, 검색 기반 생성 (RAG) 시스템에서 표준인 의미적 검색 (kNN) 사용을 가정합니다.
• 문장 변형에 대한 강인성: 실험은 공격자가 쿼리 텍스트의 문장 변형 버전을 보유한 시나리오를 고려합니다. 제안된 공격들은 정확한 텍스트 매칭이 불가능할 때도 베이스라인을 능가하며, 이러한 일반적인 방어 메커니즘에 대해 강력한 강인성을 보입니다.
• 방어 적응: 저자들은 기존 "앙상블 프롬프팅" 방어를 DQA 설정에 맞게 적응시켜, 제안된 공격들의 프라이버시 유출을 상당 부분 완화할 수 있음을 입증했습니다.

4. 실험 결과

저자들은 Gemma 와 Pythia 모델을 사용하여 세 가지 DQA 데이터셋 (SQuAD, SQuADShifts, NewsQA) 에서 공격을 평가했습니다.

• 베이스라인 대비 성능: 제안된 공격들 (참조 모델 및 예측 전용 모두) 은 낮은 가양성률 (FPR) 에서의 참양성률 (TPR@low FPR) 측면에서 세 가지 베이스라인 방법 (로그이트 기반, 반복, 브레인워시) 보다 일반적으로 우수한 성능을 보였습니다.
  • 참조 모델 공격은 많은 경우 가장 높은 곡선 아래 면적 (AUC) 을 달성했으며, 종종 쿼리 접두사의 10% 만 사용하여 베이스라인을 능가했습니다.
  • 예측 전용 공격은 더 많은 접두사에 따라 꾸준한 성능 향상을 보였으며, NewsQA 와 SQuADShifts 에서는 베이스라인과 경쟁하거나 더 나은 성능을 보였습니다.
• 문장 변형의 영향: 문장 변형이 공격을 무력화할 것이라는 예상과 달리, 결과는 제안된 공격들이 문장 변형된 쿼리에도 여전히 효과적이었음을 보여주었습니다. 반면, 정확한 토큰 매칭이나 특정 로그이트 패턴에 의존하는 베이스라인 방법들은 크게 저하되었습니다.
• 모델 크기: 공격들은 더 큰 모델 (Gemma-7B) 에서도 유효하게 유지되었으나, "브레인워시" 베이스라인은 컨텍스트 윈도우 제한과 예제 배치에 대한 민감도로 인해 Pythia 모델에서는 성능이 저조했습니다.

5. 중요성과 주장

본 논문은 검색 기반 ICL 이 유용성을 향상시키지만, 크고 이전에 탐구되지 않은 프라이버시 위험을 초래한다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다.

• 의미적 유사성은 양날의 검: ICL 정확도를 높이는 메커니즘 (의미적으로 유사한 예제 선택) 은 사용자 쿼리가 프롬프트에 나타날 확률을 급격히 높여 멤버십 추론을 용이하게 합니다.
• 은밀성과 실행 가능성: 컨텍스트 윈도우를 넘치거나 API 제약을 위반하여 탐지 위험이 있는 기존 공격들과 달리, 이러한 공격들은 작은 출력 토큰을 가진 표준 API 호출만 필요로 하는 은밀한 방식입니다.
• 현재 방어의 한계: 문장 변형과 같은 표준 방어들은 이러한 특정 공격에는 불충분합니다.
• 새로운 해결책의 필요성: 저자들은 검색 기반 ICL 을 위한 실용적인 차분 프라이버시 (DP) 솔루션 개발이 단순하지 않다고 결론지었습니다. 기존 DP 방법들은 종종 무작위 샘플링 (프라이버시 보장을 강화) 에 의존하는 반면, 검색은 결정적입니다. 따라서 관련 증시의 유용성과 공식적인 프라이버시 보장 사이의 균형을 맞추기 위한 새로운 연구가 요구됩니다.

요약하자면, 이 연구는 검색 기반 ICL 을 갖춘 현실적인 양자간 API 설정에서, 공격자가 오직 블랙박스 예측만을 사용하여 특정 쿼리가 서비스의 증시 세트에 포함되었는지 성공적으로 추론할 수 있음을 보여줍니다. 이는 생성형 AI 서비스의 현재 프라이버시 보호에 있어 중요한 격차를 드러냅니다.