기술 요약: VectorSmuggle 및 VectorPin

문제 정의

현대적인 검색 증강 생성 (RAG) 시스템은 민감한 콘텐츠의 고차원 임베딩을 저장하기 위해 벡터 데이터베이스에 의존합니다. 이러한 시스템은 인증, 전송 암호화 (TLS), 그리고 저장 데이터 암호화를 통해 접근을 보호하지만, 임베딩 페이로드 자체를 불투명한 수치적 산물로 취급합니다. 주요 벡터 저장소 제품 (Qdrant, Pinecone, FAISS, Chroma 등) 은 다음에 대한 네이티브 제어 기능을 결여하고 있습니다:

1. 수집 (ingestion) 중 벡터의 통계적 분포를 검사하는 기능.
2. 검색 시 저장된 임베딩의 출처를 검증하는 기능.
3. 수집 후 수정 사항에 대한 변조 증거가 남는 감사 추적 (audit trail) 을 유지하는 기능.

이러한 격차는 수집 파이프라인에 쓰기 권한을 가진 공격자 (위협 모델 A: 백업 접근 권한을 가진 내부자) 가 은닉적 유출 (steganographic exfiltration) 을 수행할 수 있는 취약점을 만듭니다. 공격자는 표면적인 검색 동작 (코사인 유사도) 을 유지하면서 표준 데이터 유출 방지 (DLP) 도구를 회피하는 교란을 사용하여 임베딩 내에 페이로드 데이터를 숨깁니다. 표준 DLP 도구는 문서와 트래픽을 스캔하지만 부동 소수점 벡터 콘텐츠는 스캔하지 않기 때문입니다.

방법론

본 논문은 여러 임베딩 모델 (OpenAI text-embedding-3-large, Nomic, EmbeddingGemma, Snowflake Arctic, MXBai) 과 코퍼스 (합성 PII, BEIR NFCorpus, Quora 하위 집합) 를 대상으로 여섯 가지 은닉 기법 군을 평가합니다.

공격 기법

1. 교란 공격 (Perturbation Attacks): 단일 임베딩 벡터 $v$를 $v'$로 수정하는 방식:
   • 노이즈 주입: 가우시안 노이즈 추가 ($v' = v + n$).
   • 회전: 직교 행렬 적용 ($v' = Rv$).
   • 스케일링: 스칼라 곱셈 ($v' = s \cdot v$).
   • 오프셋: 상수 벡터 추가 ($v' = v + o$).
   • 복합: 위의 방법들을 순차적으로 적용.
2. 아키텍처 은닉 (Architectural Smuggling): 모델 간 분할 (Cross-model fragmentation) 로, 소스 콘텐츠를 서로 다른 임베딩 모델에 분할하여 별도의 컬렉션에 저장함으로써 제자리 수정을 완전히 회피하는 방식.

평가 지표

본 연구는 다음을 측정합니다:

• 정확도 (Fidelity): 원본과 은폐된 벡터 간의 코사인 유사도; 쌍별 유사도 행렬의 보존.
• 탐지 가능성 (Detectability): 깨끗한 데이터로 훈련된 상용 이상 탐지기 (Isolation Forest, One-Class SVM) 를 사용하여 고정된 위양성률 (FPR) 에서의 ROC-AUC 및 True Positive Rate (TPR).
• 복원력 (Resilience): 벡터 저장소 양자화 (예: Qdrant 의 스칼라 int8, FAISS 제품 양자화) 를 통한 교란의 생존 여부.
• 검색 유용성 (Retrieval Utility): 문맥을 바꾼 쿼리를 사용한 재현율 (recall) 및 평균 역순위 (MRR) 에 미치는 영향.
• 용량 (Capacity): 벡터당 이론적 및 실증적 비트 페이로드 용량.

방어 제안: VectorPin

저자들은 Ed25519 를 사용하여 임베딩 벡터의 표준 바이트 표현, 소스 콘텐츠 해시, 그리고 생성된 모델 식별자를 서명하는 암호학적 출처 프로토콜인 VectorPin을 제안합니다. 검증은 서명과 해시 약속을 확인하여 수집 후 수정을 탐지합니다.

주요 결과

1. 현재 배포 환경의 취약성

테스트된 모든 은닉 기법은 주요 벡터 저장소의 기본 보안 제어 장치를 성공적으로 우회했습니다. 공격들은 코사인 유사도를 보존했으며 Qdrant 와 FAISS-HNSW 의 표준 양자화 (스칼라 int8) 를 견뎌냈습니다.

2. 통계적 탐지의 한계

• 분포 이동 기법: 노이즈, 스케일링, 오프셋은 탐지 가능합니다. 상용 탐지기 (Isolation Forest, One-Class SVM) 는 임베딩 방향을 의미 있게 이동시키는 작동 지점에서 ROC-AUC $\ge 0.85$를 달성했습니다. 그러나 이러한 탐지기는 적응형 공격자에게 취약합니다. 프로젝션된 경사 하강법을 사용하는 화이트박스 공격자는 코사인 유사도를 보존하면서 탐지기 AUC 를 거의 0 에 가깝게 떨어뜨릴 수 있습니다.
• 직교 회전: 이 기법은 중요한 예외입니다. 작은 각도의 소수 회전 직교 회전은 쌍별 내적과 차원별 주변 분포를 보존합니다.
  • 테스트된 모든 (모델, 코퍼스) 쌍에서 라이브러리 기본 설정으로 회전할 경우 탐지기 AUC 는 우연 수준 ($\approx 0.50$) 에 근접했습니다.
  • 이러한 탐지 불가능성은 적응형 공격자와 다양한 임베딩 아키텍처 (Nomic, Gemma 등) 및 대규모 코퍼스 (16k 개 이상의 청크) 에 대해서도 유효합니다.
  • 용량 - 탐지 가능성 트레이드오프: 회전에는 폐쇄형 용량 상한인 $\lfloor d/2 \rfloor \cdot b$비트 ( $d=3072$ 인 경우 벡터당 약 1.9KB) 가 있지만, 고용량 회전 (큰 각도) 은 탐지기가 학습한 국소 매니폴드 기하학에서 벡터를 밀어내기 때문에 실제 코퍼스에서 탐지 가능해집니다. 그러나 "검색 보존" 작동 지점 (작은 각도) 은 여전히 탐지 불가능합니다.

3. 양자화 및 백엔드 복원력

• 스칼라 양자화 (Qdrant int8): 숨겨진 페이로드를 파괴하지 않습니다. 검색 API 가 양자화되지 않은 float32 원본을 반환하기 때문에 비트 채널을 그대로 보존합니다.
• 제품 양자화 (FAISS IVF-PQ): "노이즈 바닥"을 부과하여 공격자의 채널을 좁혀 (회수 가능한 페이로드를 12~24% 감소시킴) 하지만, 이는 메모리 최적화의 부수적 효과일 뿐 의도적인 무결성 제어는 아닙니다.

4. VectorPin 의 효과성

VectorPin 은 구조적 무결성을 제공합니다. 프로토콜이 벡터의 정확한 바이트 표현 (vec_hash) 에 약속을 하기 때문에, 모든 임베딩 후 수정 (모든 교란 및 분할 기법 포함) 은 서명 검증을 깨뜨립니다. 이 프로토콜은 서명 위조, 벡터 변조, 소스 불일치, 그리고 모델 대체를 구분합니다.

중요성과 주장

본 논문은 새로운 암호학 또는 은닉 원시 (primitive) 의 발견이 아니라, 현재 이를 결여하고 있는 기질에 대한 특정 위협 모델의 경험적 특성화와 구체적인 방어로 자신을 위치시킵니다.

• 위협 모델: 논문은 명시적으로 "백업 접근 권한을 가진 내부자 (Threat Model A)"로 주장 범위를 제한합니다. 쿼리 전용 공격자 (Threat Model C) 나 개인 서명 키를 가진 공격자에 대한 보편적 효과를 주장하지는 않습니다.
• 방어 전략: 저자들은 통계적 탐지가 유용한 첫 번째 필터이지만, 훈련 세트 커버리지에 대한 의존성과 적응형 공격에 대한 취약성으로 인해 "부하를 지는 (load-bearing)" 보안 제어는 아니라고 주장합니다.
• 핵심 기여: 주요 기여는 입증된 공격 클래스를 차단하는 배포 가능하고 표준화 가능한 제어 장치인 VectorPin입니다. 이는 보안 태세를 "이상 탐지"에 의존하는 것에서 "출처 검증"으로 전환시킵니다.
• 산업적 맥락: 논문은 DNS, HTTP/3, S3 버킷과 같은 역사적인 인프라 격차와 유사점을 들어, 벡터 저장소 무결성이 현재 위협이 위기를 주도하지 않았기 때문에 과소 투자되고 있다고 시사합니다. 저자들은 그러한 사건이 발생하기 전에 방어를 제공하고자 합니다.

본 논문은 임베딩 수준의 무결성이 현재 벡터 데이터베이스의 네이티브 속성이 아니므로 RAG 파이프라인에 추가되어야 하는 배포 가능한 제어 장치라고 결론 내립니다.