기술 요약: "누군가 숨겼습니다!" LLM 기반 검색에 대한 쿼리 무관 블랙박스 공격

1. 문제 정의

본 논문은 검색 증강 생성 (RAG), 정보 검색 (IR), 에이전트 메모리의 핵심 기반이 되는 대규모 언어 모델 (LLM) 기반 검색 (LLMR) 시스템의 보안 취약점을 다룹니다. 기존 연구는 토큰 수준 주입을 통한 LLMR 의 적대적 공격 취약성을 입증했으나, 현재 방법론들은 현실 적용성과 관련하여 두 가지 치명적인 한계를 안고 있습니다:

1. 화이트박스 가정: 대부분의 기존 공격은 피해 모델의 전체 파라미터나 아키텍처에 대한 완전한 접근 권한을 필요로 합니다.
2. 쿼리 지식: 기존 방법론들은 종종 공격자가 특정 사용자 쿼리를 알고 있거나 피해자의 문서 코퍼스에 접근할 수 있다고 가정합니다.

실제 블랙박스 시나리오에서 공격자는 일반적으로 피해 모델, 숨겨진 문서 코퍼스, 그리고 공격 생성 후 발생하는 특정 사용자 쿼리에 대한 지식이 부족합니다. furthermore, 공격자는 보통 위키백과 기여자와 같은 일반 사용자와 유사한 제한된 능력을 가지며, 이는 문서를 읽거나 약간 편집할 수 있는 수준에 그칩니다.

핵심 문제: 공격자가 피해 모델, 사용자 쿼리, 전체 코퍼스를 전혀 알지 못하는 완전한 블랙박스 환경에서 LLM 기반 검색기로부터 특정 피해 문서를 성공적으로 숨길 수 있을까요? 공격자는 문서를 (토큰 주입을 통해) 조작하여, 관련 있는 모든 쿼리에 대해 해당 문서가 상위-k 결과에 나타나지 않도록 해야 합니다.

2. 방법론

저자들은 대리 LLM 을 사용하여 전이 가능한 주입 토큰을 생성하는 쿼리 무관 블랙박스 공격 방법을 제안합니다. 이 방법론은 이론적 프레임워크와 적대적 학습 메커니즘에 기반을 두고 있습니다.

2.1 이론적 프레임워크: $\epsilon$-$p_\epsilon$-정밀 검색기

저자들은 먼저 LLM 검색기의 행동을 정량화하기 위한 이론적 정의를 수립합니다. 그들은 $\epsilon$-$p_\epsilon$-정밀 검색기를 다음과 같이 정의합니다: 주어진 주제 분포에 대해, 동일한 주제 내 컨텍스트의 $p_\epsilon$ 비율이 서로 다른 주제 간 컨텍스트의 유사도보다 적어도 $\epsilon$만큼 높은 임베딩 유사도를 가진다는 시스템입니다.

• 실증적 검증: 24 개 주제의 임베딩에 대한 주성분 분석 (PCA) 을 통한 실험은 LLM 이 임베딩 공간에서 동일한 주제의 컨텍스트를 자연스럽게 군집화함을 확인시켜 주며, 검색기가 이러한 속성을 보인다는 가정을 검증합니다.

2.2 Min-Max 최적화를 통한 전이성

블랙박스 공격을 달성하기 위해, 이 방법은 피해 모델 ($f$) 을 근사화하는 대리 모델($g$) 을 활용합니다. 공격은 min-max 문제로 공식화됩니다:

• 목표: 교란된 문서 $d'$과 쿼리 $q$ 간의 유사도를 최소화합니다.
• 과제: $q$가 알려지지 않았으므로, 저자들은 동일한 주제 내의 샘플링된 쿼리 집합 $X$와 $d'$ 간의 유사도를 최대화함으로써 목표를 근사화합니다.
• 정리 3.2 (전이성): 저자들은 대리 모델 $g$가 $\epsilon_g$-$p_{g\epsilon}$-정밀하며, 공격이 $d'$을 최적화하여 샘플링된 쿼리와의 유사도가 주제 군집 내 최소 유사도보다 낮아지도록 할 때, $d'$은 피해 모델 $f$(정밀하다고 가정) 에 대한 상위-k 결과에서 제외될 가능성이 높음을 증명합니다.

2.3 문서 - 쿼리 적대적 (DQ-A) 학습

실제 쿼리를 알지 못한 채 min-max 문제를 해결하기 위해, 저자들은 문서 - 쿼리 적대적 (DQ-A) 학습 프레임워크를 제안합니다:

1. 쿼리 샘플링: 제 3 자의 "일상적" LLM 이 피해 문서의 주제와 관련된 $N$개의 다양한 잠재적 쿼리 ($S$) 를 생성합니다.
2. 적대적 최적화:
   • 문서 최적화: 피해 문서에 주입된 토큰을 샘플링된 쿼리와의 유사도를 최소화하도록 최적화합니다.
   • 쿼리 최적화: 샘플링된 쿼리를 피해 문서와의 유사도를 최대화하도록 최적화합니다 (이는 "하드 네거티브" 생성기로 작용합니다).
3. 집단 차이: 내부 (쿼리) 루프와 외부 (문서) 루프를 균형 있게 조정하기 위해 학습률을 사용하는 대신, 이 방법은 집단 차이를 사용합니다. 단일 문서를 대상으로 $N$개의 다양한 쿼리 집합을 최적화함으로써 쿼리 측면에서 더 큰 학습률의 효과를 시뮬레이션합니다.

2.4 단어 임베딩 대리 전략

주요 기술적 혁신은 적대적 학습을 위한 대리로서 마지막 은닉 상태(최종 트랜스포머 블록) 가 아닌 단어 임베딩(첫 번째 임베딩 레이어의 출력) 을 사용한다는 점입니다.

• 근거: 실증적 발견에 따르면, 깊은 레이어를 직접 최적화하는 것보다 얕은 레이어 (단어 임베딩) 에서 거리를 최적화하는 것이 최종 검색 임베딩에 대해 더 효과적이고 전이 가능한 공격을 산출합니다. 이는 LLM 의 높은 파라미터 수로 인해 얕은 레이어의 교란이 최종 표현 공간에 더 강력한 영향을 미치기 때문입니다.

3. 주요 기여

1. 블랙박스 공격 프레임워크: 본 논문은 피해 모델, 문서 코퍼스, 사용자 쿼리에 대한 지식이 전혀 필요 없는 LLMR 을 위한 최초의 완전한 블랙박스 공격 방법을 제시합니다. 이는 문서 편집만 가능한 현실적인 공격자를 시뮬레이션합니다.
2. 이론적 기반: $\epsilon$-$p_\epsilon$-정밀 검색기라는 이론적 프레임워크를 수립하고, LLM 임베딩이 주제별로 군집화됨을 보여주는 실증적 증거를 제공하여 공격 전이성을 증명하는 기초를 마련합니다.
3. DQ-A 학습 메커니즘: 저자들은 비볼록 최적화 문제를 처리하기 위해 집단 기반 접근법을 사용하여 피해 문서와 샘플링된 쿼리를 공동으로 최적화하는 새로운 적대적 학습 메커니즘을 도입합니다.
4. 대리 전략: 본 논문은 적대적 학습을 위한 대리로서 마지막 은닉 상태 대신 단어 임베딩을 사용하는 것이 공격 전이성을 현저히 향상시킨다는 점을 식별하고 검증합니다.
5. 제로샷 전이성: 이 방법은 문서에 주입된 토큰이 재학습이나 모델별 튜닝 없이도 다양한 LLM 검색기 (예: Qwen, Mistral, Jina, Gemma) 전반에 걸쳐 검색 성능을 동시에 저하시킬 수 있음을 입증합니다.

4. 실험 결과

이 방법은 BRIGHT 벤치마크의 경제학, 심리학, 생물학, 로봇공학 데이터셋을 대상으로 Qwen-1.5, SFR-Mistral, E5-Mistral, Embedding-Gemma, Jina, Granite, Qwen3 등 7 가지 인기 있는 LLM 검색기에 대해 평가되었습니다.

• 성능 영향: 제안된 공격 (DQ-A) 은 기존 베이스라인 (GCG, PRADA, Poisoned-RAG) 보다 일관되게 우수한 성과를 거두었습니다.
  • 대부분의 모델에서 Recall@25 에서 평균 2%–10%, Recall@50 에서 **1%–7%**의 성능 저하를 달성했습니다.
  • 특정 사례 (예: Qwen1.5 의 로봇공학 데이터셋) 에서는 공격이 Recall@50 에서 8% 감소를 유발하여 모델의 원래 성능 대비 약 30% 의 감소를 나타냈습니다.
• Ablation 연구:
  • 적대적 학습: 적대적 쿼리 최적화를 제거한 경우 (S-GCG) 공격 성공률이 현저히 낮아져 DQ-A 설계의 유효성을 입증했습니다.
  • 대리 레이어: 대부분의 시나리오에서 단어 임베딩을 사용한 경우 (DQ-A) 가 마지막 은닉 상태를 사용한 경우 (DQ-A-H) 보다 우수한 성과를 보였습니다.
  • 샘플링 크기: 샘플링된 쿼리의 수 ($|S|$) 를 증가시키면 일정 수준 (약 10 개) 까지 성능이 향상되지만, 그 이후에는 체감 효과가 관찰되었습니다.
  • 주입 위치: 토큰이 문서의 시작 또는 끝에 주입될 때 공격이 가장 효과적이었으며, 중간은 덜 효과적이었는데, 이는 트랜스포머 어텐션 메커니즘과 일치합니다.
• 강건성: 검색기가 재순위화 (reranker) 모델과 결합되어 있더라도 공격은 유효하게 유지되었습니다. 이는 재순위화 모델이 작동하기 전에 공격이 후보 풀에서 문서를 필터링하기 때문입니다.

5. 중요성과 주장

본 논문은 LLM 기반 검색 시스템에서 이전에 충분히 탐구되지 않았던 치명적인 실패 모드를 드러냈다고 주장합니다.

• 현실적 관련성: 엄격한 블랙박스 제약 (쿼리 지식 부재, 모델 접근 불가) 하에 작동함으로써, 이 공격은 신뢰할 수 없는 사용자가 콘텐츠를 편집할 수 있는 공개 위키나 토론 포럼과 같은 실제 배포 시나리오에 존재하는 취약점을 강조합니다.
• 광범위한 함의: 저자들은 식별된 강건성 문제가 악의적 공격뿐만 아니라 현실에서의 선의적이거나 의도치 않은 문서 편집에서도 발생할 수 있음을 지적합니다. 표준 콘텐츠 업데이트가 우연히 문서를 검색 군집 밖으로 밀어낼 수 있다면, LLMR 시스템의 신뢰성은 근본적으로 도전받게 됩니다.
• 방어 격차: 본 논문은 기존 방어 메커니즘 (코퍼스 중독 탐지 또는 검색 후 재순위화에 초점) 이 이러한 유형의 "감소" 공격에는 불충분하다고 명시적으로 밝힙니다. 이는 중독된 출력을 탐지하는 것뿐만 아니라 견고한 검색 메커니즘 자체를 구축하는 새로운 방어 전략을 요구하고 있습니다.

저자들은 겸손한 어조를 유지하며, 공격이 효과적이기는 하지만 이는 적대적 오용을 조장하기보다는 보다 견고한 시스템 개발을 알리기 위해 시스템 취약성을 규명하기 위한 것임을 인정합니다. 또한, 공격의 역전 버전을 사용하여 특정 문서를 부스팅하는 것이 가능하지만 현재는 그 효과가 제한적임을 지적합니다.