기술 요약: 은밀함의 렌즈를 통해: RAG 의 중독 공격에 대한 주의 인식 방어

문제 정의

외부 지식 베이스와 대규모 언어 모델 (LLM) 을 통합하는 검색 증강 생성 (RAG) 시스템은 검색 부패 공격에 취약합니다. 이러한 공격에서 적대자는 위키피디아 페이지나 소셜 미디어 등을 조작하여 지식 데이터베이스에 중독된 문단을 주입함으로써 검색된 컨텍스트를 부패시킵니다. 낮은 부패율 (예: 10 개 중 하나의 중독된 문단) 이더라도, PoisonedRAG 와 같은 기존 공격은 LLM 의 응답을 목표 답변으로 성공적으로 조작할 수 있습니다.

이 논문에서 다루는 핵심 과제는 은밀함입니다. 기존 공격들은 높은 성공률을 달성하지만, 저자들은 이들이 은밀하도록 설계되지 않았다고 주장합니다. 선의의 문단들의 합의를 무효화하기 위해, 적대적 문단은 LLM 의 추론 과정에 불균형적으로 영향을 미쳐야 합니다. 이러한 본질적 요구는 모델의 내부 상태, 특히 주의 (attention) 가중치 분포에서 탐지 가능한 "악성 흔적"을 생성합니다. 이 논문은 현재 방어 기법들이 이러한 중간 신호를 간과하고, 표면적 의미나 퍼플렉시티 (perplexity) 에 의존하는 경우가 많으며, 이는 정교한 중독 공격에 비해 덜 효과적이라고 주장합니다.

방법론

1. 은밀함의 형식화: SADG 게임

저자들은 **은밀한 공격 구별 게임 (Stealth Attack Distinguishability Game, SADG)**을 통해 은밀함의 개념을 형식화합니다. 이 보안 게임에서 방어자는 선의의 검색 집합과 중독된 문단이 최대 $\epsilon$ 비율로 포함된 부패된 집합을 구별하려 시도합니다. 공격이 방어자의 구별 이득이 최대 $\tau$ 이하일 때 $\tau$-은밀한 것으로 간주됩니다. 논문은 성공적인 저부패율 공격이 소수의 문단에 영향을 집중시키기 때문에 탐지 가능한 통계적 이상을 생성하므로, 본질적으로 이 테스트를 통과하지 못한다고 주장합니다.

2. 정규화 문단 주의 점수 (NPAS)

생성된 응답에 대한 개별 문단의 영향을 정량화하기 위해, 논문은 **정규화 문단 주의 점수 (Normalized Passage Attention Score, NPAS)**를 도입합니다.

• 메커니즘: 이 방법은 LLM 의 디코더 레이어와 헤드에서 주의 가중치를 집계합니다. 검색된 문단 $z_t$에 대해, 생성된 응답 토큰 전체에서 $z_t$ 내의 상위-$\alpha$개 가장 많이 주의를 받은 토큰으로 향하는 주의 점수를 합산합니다.
• 정규화: 점수는 다른 쿼리와 모델 간 비교를 가능하게 하기 위해 모든 $k$개의 검색된 문단에 걸친 총 주의량으로 정규화됩니다.
• 근거: 선의의 시나리오에서는 주의가 관련 문단들에 상대적으로 균일하게 분포됩니다. 성공적인 중독 공격에서는 모델이 중독된 문단 (특히 적대적 목표와 일치하는 토큰) 에 주의가 집중되므로, NPAS 분포가 높은 분산을 보입니다.

3. 주의 분산 필터 (AV Filter)

중독된 집합이 NPAS 에서 높은 분산을 보인다는 관찰을 활용하여, 저자들은 **주의 분산 필터 (Attention-Variance Filter, AV Filter)**를 제안합니다.

• 프로세스: 필터는 검색된 집합에서 가장 높은 NPAS 를 가진 문단을 반복적으로 제거합니다.
• 정지 조건: 이 과정은 나머지 NPAS 점수의 분산이 임계값 $\delta$ 미만으로 떨어지거나, 제거된 문단의 수가 부패 예산 $\epsilon$에 도달할 때까지 계속됩니다.
• 구현: 위치 편향 (최근성 효과) 을 완화하기 위해, 필터링 전에 문단을 NPAS 순으로 재배열합니다. 임계값 $\delta$는 깨끗한 데이터 (평균 + 1 표준 편차) 에서 추정됩니다.

4. 적응형 공격

이 방어의 한계를 테스트하기 위해, 저자들은 은밀함을 최적화하는 적응형 공격을 개발합니다. jailbreak 방법론 (GCG 및 AutoDAN 확장) 을 사용하여, 이러한 공격은 다음 합성 손실 함수를 최소화합니다:
$$L_t = L_1 + \lambda \cdot L_2$$
여기서 $L_1$은 목표 응답에 대한 교차 엔트로피 손실 (효과성) 이고, $L_2$는 NPAS 의 분산 (은밀함) 입니다. 이는 공격자가 목표 답변을 유도하면서도 높은 분산의 주의 서명을 생성하지 않는 중독된 문단을 찾도록 강제합니다.

주요 기여

1. 은밀함의 형식화: RAG 중독 공격의 은밀함을 엄격하게 정의하고 측정하기 위한 SADG 도입.
2. NPAS 지표: 문단에서 응답으로의 영향을 정량화하는 정규화 문단 주의 점수 개발 및 부패 하에서 이것이 왜곡됨을 입증.
3. AV 필터 방어: 추론 파이프라인을 변경하지 않고도 부패된 문단을 신뢰성 있게 식별하고 제거하는 경량의 주의 분산 기반 필터 제안.
4. 종합적 평가: 4 개 데이터셋, 5 개 LLM, 5 가지 공격 유형에 걸친 광범위한 실험 및 방어 한계를 탐구하기 위한 적응형 공격 개발.
5. 흰색/검은색 상자 적용 가능성: 모델 내부에 직접 접근하는 흰색 상자 환경과 주의 신호를 근사하기 위해 보조 오픈소스 모델을 사용하는 검은색 상자 환경 모두에서 방어가 작동함을 입증.

결과

• 탐지 능력 (RQ1): NPAS 분산을 활용하는 방어자 ($D_{AV}$) 는 기존 공격에서 부패된 집합을 성공적으로 식별하여 SADG 에서 평균 승률 0.78을 기록하며, 무작위 추측을 크게 능가합니다.
• 강건성 (RQ2): AV 필터는 베이스라인 대비 강건한 정확도 (RACC) 를 크게 향상시킵니다.
  • 선의의 환경에서 베이스라인 방어보다 최대 23% 높은 정확도를 달성합니다.
  • 공격 하에서 Certified Robust RAG(키워드/디코딩) 와 같은 베이스라인보다 최대 20% 높은 RACC를 제공합니다.
  • 일부 데이터셋에서 약 88% 에 달할 수 있는 일반 RAG 의 공격 성공률 (ASR) 을 RQA-MC 에서 평균 **6.6%**로 낮추어 기존 강건한 방법과 비슷하거나 더 나은 성능을 보입니다.
• 적응형 공격의 한계 (RQ3): 적응형 공격은 AV 필터를 우회하여 최대 **35%**의 ASR 을 달성할 수 있습니다. 그러나 이는 prohibitive 한 비용이 따릅니다:
  • 모델 내부와 지식 베이스에 대한 완전한 접근 권한이 필요합니다.
  • 쿼리별 최적화를 수반하여 표준 공격에 비해 실행 시간을 약 $10^3$에서 $10^4$배 증가시킵니다 (예: 쿼리당 약 18,000 초).
  • 저자들은 이것이 실용적인 위협이라기보다는 극단적인 이론적 한계를 나타낸다고 결론지었습니다.

중요성과 주장

이 논문은 RAG 중독에서 은밀함과 효과성은 근본적인 트레이드오프라고 주장합니다. 소수의 중독된 문단으로 응답을 성공적으로 조작하려면, 적대자는 불균형적인 영향을 행사해야 하며, 이는 주의 가중치에서 탐지 가능한 서명을 남깁니다.

• 방어 효능: AV 필터는 RAG 시스템의 유용성 (깨끗한 정확도에서의 최소 감소) 을 유지하면서 현재 저은밀도 공격을 효과적으로 완화하는 실용적이고 낮은 오버헤드의 방어를 제공합니다.
• 한계: 이 방어는 특정 가정에 의존합니다: 부패는 소수 ($\epsilon < 0.5$) 여야 하며, 올바른 지식은 선의의 문단에 중복적으로 표현되어야 하며, 공격은 응답 내용 (스타일이나 데이터 유출이 아님) 을 대상으로 해야 합니다.
• 미래 전망: 적응형 공격은 은밀함을 개선할 수 있음을 보여주지만, 여전히 계산 비용이 많이 들고 자원 집약적입니다. 논문은 RAG 중독에서 진정한 효율적인 은밀함을 달성하는 것이 여전히 중요한 미해결 과제이며, AV 필터와 같은 다항 시간 방어가 현재 실용적 시나리오에는 충분하다고 제안합니다.

저자들은 방어와 적응형 공격이라는 이중 기여가 현재의 취약점을 노출하고 이를 극복하는 데 드는 높은 비용을 드러냄으로써 더 견고한 RAG 시스템 개발을 촉진하는 데 목적이 있다고 강조합니다.