기술 요약: SilentRetrieval

문제 정의

검색 증강 생성 (RAG) 시스템은 대규모 언어 모델 (LLM) 의 환각 현상을 완화하기 위해 외부 지식 코퍼스의 무결성에 의존합니다. 그러나 이러한 의존성은 치명적인 취약점을 생성합니다. 즉, 적대자가 악성 문서를 코퍼스에 주입할 수 있다면 검색 과정을 장악하고 이후 LLM 의 생성을 조작할 수 있기 때문입니다.

이전 RAG 에 대한 적대적 공격은 검색 효과성, 생성 조작, 은폐성 사이에 지속적인 트레이드오프에 직면해 왔습니다. 기존 방법들은 종종 쉽게 탐지 가능한 결과를 생성합니다:

• 기울기 기반 최적화(예: AGGD, GASLITE) 는 강력한 검색 장악을 달성하지만 생성 단계를 효과적으로 조작하지 못하거나 유창성 제약을 충족하지 못합니다.
• 공동 검색기 - 생성기 공격(예: Joint-GCG, PoisonedRAG) 은 생성을 잘 조작하지만 높은 퍼플렉시티 (PPL > 150) 텍스트를 생성하여 단순한 퍼플렉시티 기반 필터에 취약합니다.
• 적대적 디코딩은 유창성을 유지하지만 코퍼스 중독을 통한 것이 아니라 생성 시점에 작동합니다.

핵심적인 과제는 검색 장악, LLM 출력 조작을 동시에 달성하면서도 자동화된 필터와 인간 검사 하에서 기존 베이스라인보다 현저히 덜 의심스러운 데이터 중독 공격을 구축하는 것입니다.

방법론: SilentRetrieval

저자들은 검색 장악과 생성 조작을 최적화하면서도 엄격하게 유창성 예산을 준수하도록 설계된 2 단계 데이터 중독 프레임워크인 SilentRetrieval을 제안합니다.

1 단계: 조정된 빔 서치 (Coordinated Beam Search, CBS)

이 단계는 악성 페이로드가 삽입된 후에도 검색 가능하도록 유지되는 주제 관련성 있는 "호스트" 문서를 최적화합니다. 이전의 단일 토큰 탐욕적 접근법과 달리, CBS 는 다중 토큰 공동 최적화를 수행합니다.

• 목적: 임베딩 유사성과 유창성 위반 페널티 사이의 트레이드오프를 다루는 페널티가 적용된 최대화 문제:
  $$d_{opt} = \arg \max_{d \in T} \text{sim}(E(q_{target}), E(d)) - \lambda \cdot \max(0, \text{PPL}(d) - \tau_{ppl})$$
• 메커니즘:
  1. 기울기 유도 후보: 검색기로부터의 기울기와 퍼플렉시티 (PPL) 모델의 휴리스틱 신호가 후보 토큰 편집을 제안합니다.
  2. 조정된 빔 서치: 알고리즘은 기울기 크기에 기반하여 상위-$M$개 위치를 선택하고 $M \times K$개 후보 교체에 대한 공동 공간에서 빔을 구성합니다.
  3. 평가: 빔 후보에 대해 전체 목적 함수 평가 (GPT-2 를 통한 PPL 포함) 가 수행됩니다. PPL 예산 ($\tau_{ppl} = 50$) 을 초과하는 후보는 거부됩니다.
• 목표: 후속적인 표적 페이로드 삽입이 문서의 검색 순위 붕괴를 초래하지 않도록 호스트 문서를 전처리하는 것입니다.

2 단계: 문맥 적응형 트리거 생성 (Context-Adaptive Trigger Generation, CATG)

고정된 트리거 템플릿을 추가하는 대신, 이 단계는 최적화된 문서와 문맥적으로 통합된 트리거를 생성하기 위해 동결된 LLM(Llama-2-7B-Chat) 을 활용합니다.

• 합성: LLM 은 최적화된 문서 ($d_{opt}$) 를 표적 주장 ($a_{target}$) 을 자연스럽게 포함하는 문장으로 이어가도록 프롬프트되며, 이는 해당 단락의 스타일, 도메인 어휘, 내러티브 목소리에 부합합니다.
• 필터링: 생성된 트리거는 세 가지 품질 게이트를 거칩니다:
  1. 함의 (Entailment): NLI 모델을 통해 검증된 표적 답변을 함의해야 합니다.
  2. 일관성 (Coherence): 호스트와 트리거 임베딩 간의 코사인 유사도가 0.7 을 초과해야 합니다.
  3. PPL 게이트: 연결된 적대적 문서는 PPL 예산을 만족해야 합니다.
• 프레임: 프롬프트는 검색된 문맥에서 LLM 이 자신감 있는 언어에 의존하는 경향을 악용하기 위해 "검증된 출처"와 같은 권위 있는 어구를 장려합니다.

주요 기여

1. 2 단계 공격 프레임워크: 유창성 제약 다중 토큰 최적화를 위한 CBS와 경량화되고 문맥 인식형 트리거 융합을 위한 CATG의 도입.
2. 종합 평가: 통합 단일 문서 프로토콜 하에서 Natural Questions(NQ, 361K 단락) 와 MS MARCO(880 만 단락) 에 대한 평가. 연구에는 4 개 LLM 에 대한 교차 모델 일반화, 미확인 검색기 (상용 임베딩 포함) 에 대한 서로게이트 전이 공격, 그리고 최대 2100 만 단락에 대한 확장성 분석이 포함됩니다.
3. 방어 및 적응형 분석: 검색 측 방어 (재순위화, 하이브리드 검색) 와 생성 측 방어 (단락 격리) 에 대한 실증적 평가와 함께 방어를 인식한 최적화를 포함하는 적응형 공격.
4. 인간 평가: 600 개 문서 ($n=600$) 를 대상으로 한 연구에서 SilentRetrieval 문서가 유창하지 않은 베이스라인에 비해 현저히 낮은 플래그 비율을 보임을 입증.

실험 결과

주요 성능

NQ 데이터셋 (361K 코퍼스) 에서 SilentRetrieval 은 다음과 같은 성과를 달성합니다:

• HR@10: 84.6% (베이스라인 중 최고).
• ASR-LLM(LLM-as-Judge 를 통한 공격 성공률): 57.5%.
• 퍼플렉시티 (PPL-G2): 32.4 (유해 문서의 28.4 에 비해 거의 유해 수준).
• 은폐성: 독립적인 PPL 감사 ($\tau=50$) 에 의해 SilentRetrieval 문서의 8.7% 만이 탐지되었으며, 이는 Joint-GCG 의 94.2% 와 Zhong 등 연구팀의 베이스라인 83.3% 에 비해 현저히 낮습니다.

일반화 및 전이

• 교차 모델: 공격은 4 개 대상 LLM(Llama-2, Mistral, Qwen, GPT-3.5) 에서도 유의미한 효과를 유지하며, ASR-LLM 은 48.6% 에서 57.5% 사이입니다.
• 서로게이트 전이: 서로게이트 검색기 (Contriever) 에 대해 최적화되고 미확인 대상 시스템 (ColBERTv2 및 text-embedding-ada-002 와 같은 상용 임베딩 포함) 에 대해 테스트될 때, 공격은 평균 HR@10 64.7% 를 유지합니다.
• 확장성: 샘플링된 2100 만 단락 평가에서 중독 비율 0.016% 에서 HR@10 은 74.2% 로 하락하여, 코퍼스 확장이 부분적인 자연 방어를 제공하지만 공격을 완전히 무력화하기에는 불충분함을 나타냅니다.

방어 효과성

• 결합 방어: 계층적 방어 전략 (하이브리드 검색 + 크로스 인코더 재순위화 + 단락 격리) 은 11 배 지연 시간에서 ASR-LLM 을 **21.3%**로, 6 배 지연 시간에서 **25.6%**로 감소시킵니다.
• 적응형 공격: 특정 재순위화기 (MiniLM-L6-v2) 에 대해 최적화된 적응형 공격은 동일한 방어 하에서 비적응형 공격 대비 약 6.2% 의 HR@10 을 회복하여, emerging 하는 무장 경쟁을 부각시킵니다.

인간 평가

10 명의 주석자를 대상으로 한 연구에서 SilentRetrieval 문서는 **14.7%**의 경우에만 의심스러운 것으로 플래그가 지정되었으며, 이는 PoisonedRAG(56.7%) 와 Zhong 등 연구팀 (83.3%) 보다 현저히 낮습니다. SilentRetrieval(14.7%) 과 유해 콘텐츠 (7.3%) 간의 차이는 $\alpha=0.05$에서 통계적으로 유의하지는 않았으나 ($p \approx 0.064$), 이 경향은 더 큰 표본 크기로 확대될 경우 감지 가능한 격차가 벌어질 수 있음을 시사합니다.

중요성과 주장

이 논문은 SilentRetrieval이 RAG 중독에 대한 은폐성 - 효과성 트레이드오프에서 새로운 최첨단 (state-of-the-art) 을 확립한다고 주장합니다. 그 주요 중요성은 다음을 입증하는 데 있습니다:

1. 코퍼스 무결성은 1 급 보안 문제입니다: 유창성을 보존하는 공격은 단순한 PPL 기반 감사를 우회할 수 있으며, 이전의 유창하지 않은 공격들보다 인간이 플래그를 지정하기 훨씬 어렵습니다.
2. 계층적 방어가 필요합니다: 단일 방어는 충분하지 않으며, 검색 측 재순위화, 하이브리드 검색, 생성 측 단락 격리를 결합하여 위협을 현저히 완화해야 합니다.
3. 은폐성 - 효과성 프론티어는 중요한 평가 렌즈입니다: 퍼플렉시티 정규화 없이 원시 공격 성공률 (ASR) 을 비교하는 것은 공격의 실제 탐지 가능성을 흐리게 합니다. SilentRetrieval 은 거의 유해한 수준의 퍼플렉시티를 유지하면서 강력한 성과를 달성하여, 고효율 공격은 반드시 노이즈가 많거나 명백해야 한다는 가정에 도전합니다.

저자들은 그들의 작업이 실제 세계 주입 가능성의 시연이 아니라, 더 강력한 방어를 촉진하기 위해 표준 벤치마크의 합성 표적을 사용한 책임 있는 공개 (responsible disclosure) 라고 강조합니다.