기술 요약: LeakDojo: RAG 시스템의 유출 위협 해독

문제 제기

검색 증강 생성 (RAG) 시스템은 외부 지식을 대규모 언어 모델 (LLM) 에 추가하여 성능을 향상시키지만, 상당한 보안 취약점을 도입합니다. 고품질 RAG 지식 데이터베이스를 구축하고 유지하는 것은 비용이 많이 들고 전문 지식을 요구하는 반면, 추론 과정에서 LLM 에 노출된 검색된 지식 청크를 추출하는 것은 상대적으로 쉽습니다. 이러한 비대칭성은 공격자가 RAG 인터페이스를 통해 독점 지식을 악의적으로 추출할 수 있는 공격 표면을 만듭니다.

RAG 유출 공격에 대한 기존 연구는 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

1. 체계적 평가의 부재: 현재 연구는 구조가 다양한 즉흥적 (ad-hoc) RAG 시스템을 대상으로 하는 경우가 많아 직접적인 비교가 어렵습니다.
2. 진화하는 복잡성: 현대 RAG 아키텍처는 재순위화기 (rerankers), 재작성기 (rewriters), 요약기 (summarizers) 와 같은 향상 모듈과 방어 메커니즘을 점점 더 통합하고 있으며, 기존 연구들은 유출 위험의 맥락에서 이러한 요소들을 체계적으로 평가하지 못합니다.
3. 진화하는 모델 능력: 새로운 LLM 은 더 강력한 지시 따르기 능력을 보이지만, 이러한 능력과 유출 위험 간의 상관관계는 아직 충분히 탐구되지 않았습니다.

방법론: LeakDojo 프레임워크

이러한 격차를 해결하기 위해 저자들은 RAG 유출 위험의 통제된 평가를 위해 설계된 구성 가능한 모듈형 프레임워크인 LeakDojo를 제안합니다. 모듈형 설계 원칙에서 영감을 받은 LeakDojo 는 RAG 생태계를 세 가지 독립적으로 구성 가능한 구성 요소로 분해합니다:

1. 구성 가능한 RAG 시스템: 이 프레임워크는 검색기, 재순위화기, 재작성기, 요약기를 포함한 모듈의 시퀀스로 RAG 파이프라인을 모델링합니다. 이를 통해 연구자들은 특정 아키텍처 선택 (예: 재순위화기 추가) 이 유출 위험에 미치는 영향을 분리하여 분석할 수 있습니다.
2. 구성 가능한 공격 전략: 공격은 두 가지 분리된 구성 요소의 조합으로 모델링됩니다:
   • 쿼리 생성기: 시스템 피드백에 따라 정적 또는 적응적으로 정제될 수 있는 "앵커 쿼리 ($A_i$)"를 작성하는 역할을 합니다.
   • 적대적 지시: LLM 이 검색된 청크를 그대로 반복하도록 유도하도록 설계된 일정한 지시 ($I$) 입니다.
   • 최종 적대적 쿼리는 $Q^i_{adv} = A_i \oplus I$로 구성됩니다. 이 공식은 쿼리 생성의 효과와 지시 따르기 취약성을 독립적으로 분석할 수 있게 합니다.
3. 구성 가능한 방어 메커니즘: 이 프레임워크는 특정 공격 벡터에 대한 효과를 테스트하기 위해 활성화하거나 비활성화할 수 있는 입력 단계 방어 (의도 감지기) 와 출력 단계 방어 (콘텐츠 감지기) 를 지원합니다.

실험 설정:
저자들은 LeakDojo 를 사용하여 다음과 같이 광범위한 실험을 수행했습니다:

• 14 개의 LLM: 밀집형 (Dense), MoE 등 다양한 아키텍처와 7B 에서 235B 파라미터까지 다양한 규모 (Qwen-3, DeepSeek-V3, Gemini, GPT 변형 등 포함) 를 포함합니다.
• 4 개의 데이터셋: 과학 (SCIFACT), 의료 (NFCORPUS), 기업 (ENRON EMAIL), 금융 (FIQA) 도메인을 아우릅니다.
• 6 개의 기존 공격: TGTB, PIDE, DGEA, RAG-Thief, PoR, IKEA 를 벤치마킹했습니다.
• 지표: 본 연구는 네 가지 지표를 활용했습니다: 청크 누적 유출 (CCL), 성공적인 유출 트리거 (SLT), 적대적 검색 커버리지 (ARC), 그리고 청크 복구율 (CRR).

주요 발견

1. 공격 구성 요소의 독립적 기여

본 연구는 유출이 두 가지 독립적인 요인에 의해 주도된다는 것을 밝혀냈습니다: 다양한 청크를 검색하는 쿼리 생성기의 능력 (ARC) 과 모델이 이를 유출하도록 유도하는 적대적 지시의 능력 (SLT) 입니다. 전체 유출 (CCL) 은 이 두 구성 요소의 곱으로 잘 근사됩니다 ($CCL \approx ARC \times SLT$). 이는 한 구성 요소를 개선하더라도 다른 구성 요소가 동반되지 않으면 체감 효과가 감소함을 시사합니다.

2. 지시 따르기 능력과 위험의 상관관계

LLM 의 지시 따르기 능력 (IFEval 점수로 측정) 과 유출 위험 사이에 유의미한 양의 상관관계가 발견되었습니다. 사용자 지시를 잘 따르는 더 강력한 모델은 검색된 컨텍스트의 반복을 요구하는 적대적 지시에 우연히 더 취약합니다. 논문의 Figure 1 에서 보듯이, 더 높은 IFEval 점수를 가진 모델들은 더 높은 유출 확률을 보였습니다.

3. 충실도 - 보안 트레이드오프

이 연구는 생성된 응답이 검색된 컨텍스트에 얼마나 정확한지 나타내는 RAG 충실도 (faithfulness) 와 보안 사이의 근본적인 트레이드오프를 확인했습니다. 검색 범위를 넓히기 위해 재작성기 사용과 같은 충실도를 향상시키는 개선 사항들은 유출 위험을 증가시키는 것으로 관찰되었습니다. 반대로, 컨텍스트 무결성을 방해하여 유출을 줄이는 요약기와 같은 모듈들은 RAG 시스템의 충실도와 유용성을 저하시키는 경향이 있습니다.

4. 기존 공격의 불안정성

현재의 유출 공격은 다양한 RAG 구성과 LLM 에서 불안정한 성능을 보입니다. 한 모델 - 데이터셋 쌍에 대해 매우 효과적인 공격은 다른 쌍에 대해서는 성능이 떨어질 수 있으며, 이는 기존 공격 전략의 보편성 부재를 강조합니다.

중요성과 기여

본 논문은 세 가지 주요 기여를 합니다:

1. LeakDojo 프레임워크: 저자들은 RAG 유출에 대한 통제된 실험을 가능하게 하는 재현 가능하고 모듈형 평가 툴킷을 제공합니다. 이를 통해 모델, 아키텍처, 공격 전략과 같은 변수들을 분리하여 위험에 대한 구체적인 기여도를 이해할 수 있습니다.
2. 종합적 벤치마킹: 다양한 LLM 과 데이터셋에 걸쳐 여섯 가지 기존 공격을 평가함으로써, 현재 RAG 보안 상태를 이해하기 위한 표준화된 기준을 제공하며, 기존 공격 방법들의 보편성 부재를 드러냅니다.
3. 실행 가능한 통찰: 연구 결과는 실무자에게 실용적인 지침을 제공합니다. 특히, "지시 따르기 대 유출" 상관관계의 식별은 특정 대응 조치 없이 더 강력한 LLM 을 배포할 경우 취약성이 증가할 수 있음을 시사합니다. 또한, 관찰된 충실도와 보안 간의 트레이드오프는 유용성을 위해 RAG 를 최적화하는 것이 우연히 데이터 프라이버시를 훼손할 수 있음을 의미합니다.

저자들은 LeakDojo 가 더 강력한 공격과 더 견고한 방어 개발을 촉진하여 데이터 유출에 대한 RAG 시스템 보안을 위한 향후 연구를 가속화하기를 기대한다고 결론지었습니다. 이를 지원하기 위해 코드베이스는 공개되었습니다.