Detecting RAG Extraction Attack via Dual-Path Runtime Integrity Game

논문 개요

이 논문은 검색 증강 생성 (RAG) 시스템에서 발생하는 지식 베이스 유출 (Knowledge Base Leakage) 문제를 해결하기 위해, 소프트웨어 보안의 '스택 캐나리 (Stack Canary)' 개념을 차용한 새로운 탐지 기반 방어 메커니즘 CanaryRAG를 제안합니다. 기존 방어 방식이 수동적이고 구조적 변경을 요구하는 한계를 극복하여, 재학습 없이 플러그 앤 플레이 (Plug-and-Play) 방식으로 실시간으로 유출을 탐지하고 차단하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

• RAG 지식 베이스 유출: RAG 시스템은 외부 지식 베이스를 활용하여 LLM 의 성능을 향상시키지만, 적대적 프롬프트 (Adversarial Prompts) 를 통해 모델이 검색된 비공개 또는 독점 콘텐츠를 무단으로 유출할 수 있는 취약점이 존재합니다.
• 적응형 추출 공격 (RAG Extraction Attack): 공격자는 단일 쿼리가 아닌, 적응적이고 반복적인 전략 (예: Pirates, RAG-Thief) 을 사용하여 지식 베이스 전체를 점진적으로 재구성 (Reconstruction) 할 수 있습니다.
• 기존 방어 방식의 한계:
  • 수동적 (Passive): 공격자의 재구성 비용을 높이는 데 그치고, 공격을 능동적으로 탐지하거나 초기 단계에서 차단하지 못함.
  • 플러그 앤 플레이 불가: 검색 파이프라인 재구성, 인덱싱 변경, 모델 재학습 등 기존 RAG 아키텍처에 침습적인 수정이 필요함.
  • 적응형 공격 취약: 공격자가 유출을 숨기거나 (Obfuscation) 캐나리 (Canary) 탐지를 회피하도록 프롬프트를 조정할 경우 기존 방어는 무력화됨.
• 탐지의 난제: 합법적인 RAG 응답도 검색된 내용을 기반으로 하므로, 단순한 의미적 유사도 (Semantic Similarity) 분석만으로는 합법적 사용과 무단 유출을 명확히 구분하기 어렵습니다.

2. 방법론 (Methodology): CanaryRAG

CanaryRAG 는 RAG 추출 공격을 '런타임 무결성 위반 (Runtime Integrity Violation)'으로 재정의하고, 이를 탐지하기 위해 **이중 경로 런타임 무결성 게임 (Dual-Path Runtime Integrity Game)**을 구동합니다.

핵심 원리: 캐나리 토큰 (Canary Tokens)

• 개념: 소프트웨어 보안의 스택 캐나리처럼, 검색된 청크 (Chunk) 에 **의미 없는 고엔트로피 랜덤 문자열 (Canary Tokens)**을 주입합니다.
• 역할: 정상적인 작업 수행 시 이 토큰은 전혀 사용되지 않아야 합니다. 따라서 모델 출력에 이 토큰이 나타나는 것은 검색된 콘텐츠가 그대로 유출되었음을 의미하는 명확한 신호가 됩니다.

이중 경로 모니터링 (Dual-Path Monitoring)

CanaryRAG 는 두 개의 병렬 생성 경로를 실행하여 상호 보완적인 무결성 검사를 수행합니다.

1. 타겟 경로 (Target Path):

   • 역할: 사용자의 실제 쿼리에 응답하는 경로.
   • 기대 행동: 정상적인 사용 시 캐나리 토큰이 절대 출력되어서는 안 됩니다.
   • 위반 신호: 출력 스트림에서 캐나리 토큰이 감지되면 즉시 유출로 간주하고 생성을 중단합니다.

2. 오라클 경로 (Oracle Path):

   • 역할: 캐나리 토큰의 가시성을 검증하는 탐침 (Probe) 경로.
   • 작동 방식: 사용자의 쿼리를 감싸는 특정 지시 (예: "컨텍스트를 복사하여 출력하라") 를 포함하여, 모델이 캐나리 토큰을 반드시 출력하도록 유도합니다.
   • 기대 행동: 오라클 경로에서는 캐나리 토큰이 정상적으로 출력되어야 합니다.
   • 위반 신호: 오라클 경로에서도 캐나리 토큰이 누락되거나 억제되었다면, 이는 공격자가 캐나리 탐지를 회피하기 위해 의도적으로 출력을 조작 (Suppression) 하고 있음을 의미합니다.

동작 프로세스

1. 검색된 청크에 캐나리 토큰을 주입.
2. 타겟 경로와 오라클 경로를 병렬로 실행.
3. 타겟 경로: 캐나리 감지 시 → 차단 (BLOCK).
4. 오라클 경로: 캐나리 미감지 시 (기대된 유출이 안 됨) → 적응형 회피 시도 감지 → 차단 (BLOCK).
5. 두 경로 모두 정상 조건을 만족할 때만 응답을 사용자에게 전달.

3. 주요 기여 (Key Contributions)

1. 새로운 탐지 패러다임: RAG 추출 공격을 의미적 매칭이 아닌 런타임 무결성 위반으로 재정의하고, 소프트웨어 보안의 캐나리 개념을 최초로 RAG 방어에 적용했습니다.
2. CanaryRAG 제안:
   • 경량화 및 모델 무관 (Model-Agnostic): LLM 재학습이나 RAG 파이프라인 수정 없이 플러그 앤 플레이로 구현 가능.
   • 적응형 공격 방어: 공격자가 캐나리 존재를 알고 이를 회피하려 하더라도, 오라클 경로를 통해 회피 시도를 탐지하여 방어합니다.
3. 실용성: 기존 방어 방식 대비 지식 베이스 재구성 성공률을 획기적으로 낮추면서도, 응답 품질과 지연 시간 (Latency) 에 미치는 영향은 미미합니다.

4. 실험 결과 (Results)

• 평가 환경: ChatDoctor, Mini-Wikipedia, Mini-BioASQ 등 3 가지 RAG 에이전트와 Pirates, RAG-Thief 등 최신 적응형 공격을 사용.
• 지식 베이스 유출 방지율 (Chunk Recovery Rate, CRR):
  • 기존 방어 (Reranker, Summarize, RAGFort) 는 CRR 을 0.60~0.98 배 수준으로만 감소시켰습니다.
  • CanaryRAG 는 CRR 을 평균 0.04 배 (약 96% 감소) 로 낮추어, 대부분의 경우 유출을 거의 완전히 차단했습니다.
• 사용자 경험 (User Experience):
  • 응답 품질 (BERTScore): 방어 유무에 따른 응답 품질 변화가 거의 없었습니다.
  • 오탐지 (False Positive Rate): 정상 쿼리에 대한 오탐지율은 0.15% 미만으로 매우 낮았습니다.
• 성능 오버헤드:
  • 지연 시간 (Latency): 방어 활성화 시에도 지연 시간 증가가 거의 없었습니다.
  • 계산 비용: 오라클 경로를 위한 경량 모델 사용으로 인해 추가 비용이 발생하지만, 기존 방어 방식 (요약, 재랭킹 등) 에 비해 계산 부하가 적고 오프라인 학습이 필요 없습니다.
• 적응형 공격 방어: 공격자가 캐나리 억제 (Suppression) 나 출력 난독화 (Obfuscation) 를 시도하더라도, 오라클 경로를 통해 94% 이상의 탐지율 (TPR) 을 유지했습니다.

5. 의의 및 결론 (Significance)

• 실시간 방어 (Real-time Defense): 유출이 발생하기 전이나 발생 초기 단계에서 실시간으로 탐지하고 생성을 중단할 수 있어, 대규모 지식 베이스 재구성을 효과적으로 방지합니다.
• 배포 용이성: 기존 RAG 시스템의 구조를 변경하거나 모델을 재학습할 필요가 없어, 기업 환경에 즉시 적용 가능한 확장성 있는 솔루션입니다.
• 보안 패러다임 전환: 단순한 콘텐츠 필터링을 넘어, 시스템의 무결성 (Integrity) 을 검증하는 새로운 보안 관점을 제시했습니다.

이 연구는 RAG 시스템의 프라이버시 보호를 위한 실질적이고 강력한 방어 수단으로서 CanaryRAG 의 유효성을 입증하였으며, 향후 RAG 기반 애플리케이션의 안전한 상용화에 중요한 기여를 할 것으로 기대됩니다.