기술 요약: 검색되었으나 신뢰할 수 없음: RAG의 공격 및 방어에 관한 조사

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템은 외부 지식에 근거하여 출력을 생성함으로써 대규모 언어 모델(LLM)의 사실적 정확성을 높이고 환각 현상을 줄이는 것을 목표로 합니다. 그러나 검색 파이프라인의 도입은 독립적인 LLM과는 구별되는 새롭고 복잡한 공격 표면을 생성합니다. 공격자는 파이프라인을 악용하여 비공개 코퍼스 내용을 추론하거나, 오도하는 증거를 주입하여 잘못된 출력을 유도하거나, 인구통계학적 편향을 증폭시킬 수 있습니다. 기존 문헌들이 RAG 보안을 다루고 있지만, 현재의 조사들은 파편화되어 있어 전체 RAG 파이프라인(검색, 재순위화, 생성 및 추적)에 걸친 공격자 목표, 위협 모델, 단계별 방어를 연결하는 통합된 프레임워크가 부족합니다. 또한, 신흥 RAG 변체들(예: GraphRAG, Multimodal RAG)은 보안 맥락에서 아직 충분히 탐구되지 않은 채 구조적 제약을 통해 공격 표면을 재형성하고 있습니다.

방법론

본 조사는 RAG의 강건성에 대한 통합적이고 파이프라인 인지적인 개요를 구축하기 위해 체계적인 방법론을 채택합니다:

1. 문헌 수집: 저자들은 시드 논문(예: PoisonedRAG, TrojanRAG, Neural Exec, The Good and the Bad)을 식별하였으며, 인용 추적 및 키워드 검색(검색, 공격, 방어, 프라이버시, 강건성)을 통해 데이터셋을 확장했습니다.
2. 분류 체계 설계: 본 조사는 두 가지 핵심 질문을 중심으로 구조화됩니다: 공격자가 무엇을 침해하고자 하는가(목표)와 파이프라인의 어느 지점에서 실패가 발생하는가(단계).
   • 공격은 목표에 따라 분류됩니다: 정확성, 프라이버시, 공정성.
   • 방어는 파이프라인 단계에 따라 분류됩니다: 검색, 재순위화, 생성, 추적.
3. 위협 모델링: 저자들은 공격자의 목표(타겟형 vs 비타겟형), 지식 수준(블랙박스, 그레이박스, 화이트박스), 그리고 역량(코퍼스에 대한 삽입 전용 액세스, 검색기/생성기에 대한 쿼리 액세스)을 기반으로 위협 모델을 정형화합니다.
4. 범위 확장: 본 조사는 표준 RAG를 넘어 GraphRAG, Multimodal RAG, Agentic RAG와 같은 변체로 범위를 확장하여 이들의 구체적인 보안 함의를 분석합니다.

주요 기여

1. 통합 위협 모델 및 공격 분류

본 논문은 세 가지 주요 RAG 구성 요소인 코퍼스 ($D$), 검색기 ($R$), 생성기 ($F$)에 걸친 위협 모델을 정형화합니다. 공격은 세 가지 주요 목표로 분류됩니다:

• 정확성 공격: 잘못되거나 해로운 출력을 유도하는 것을 목표로 합니다.
  • 타겟형: 코퍼스 포이즈닝(오도하는 문서 주입), 백도어 공격(트리거를 통한 악성 동작 활성화), 또는 프롬프트 인젝션(검색된 문서에 실행 가능한 명령 임베딩)을 통해 특정 오답을 유도합니다.
  • 비타겟형: 다양한 쿼리에 대해 시스템 신뢰성을 광범위하게 저하시키거나 안전 제약을 우회합니다.
• 공정성 공격: 편향된 증거를 주입하거나 특정 인구통계학적 그룹과 일치하도록 쿼리 인코더를 포이즈닝함으로써 체계적인 불균형(예: 성별, 인종)을 유도하거나 증폭합니다.
• 프라이버시 공격: 시스템 출력을 변경하지 않고 민감한 정보를 추출합니다.
  • 타겟형: 멤버십 추론(문서가 코퍼스에 포함되어 있는지 여부 결정), 프라이버시 추출(모델이 검색된 비공개 콘텐츠를 드러내도록 유도), 그리고 혼동된 대리인(Confused-Deputy) 동작(과도한 권한을 가진 엔티티를 속임).
  • 비타겟형: 프로빙 쿼리를 통해 숨겨진 코퍼스 데이터를 대규모로 추출합니다.

2. 파이프라인 인지 방어 분류

방어는 개입하는 단계에 따라 분류됩니다:

• 검색 단계: 강건한 검색(진단 리소스, 증거 중심 검색, 코퍼스 정화) 및 강건한 학습(하드 네거티브 학습, 저수준 섭동 학습)에 초점을 맞추어 초기 증거 세트를 개선합니다.
• 재순위화 단계: 교차 문서 추론 및 유사도 그래프(예: GRADA)를 사용하여 양호한 문서는 촉진하고 의심스러운 문서는 억제함으로써 상위 $k$개의 후보를 정제합니다.
• 생성 단계: LLM 레벨에서 작동하며 다음과 같이 나뉩니다:
  • 선제적(Proactive): 생성 전 오염된 입력을 식별하기 위한 필터링(일관성 기반, 영향력 기반, 메커니즘 기반) 및 탐지 메커니즘.
  • 수동적(Passive): 디코딩 중 영향을 완화하기 위한 강건한 추론(격리 기반 생성, 갈등 인식 추론) 및 강건한 학습(적대적 학습, 정렬, 자기-래셔널 학습).
• 추적 단계: 실패 후 책임을 규명하기 위해 적용됩니다. 오도하거나 안전하지 않은 출력의 구체적인 출처를 식별하기 위한 컨텍스트 레벨, 문서 레벨, 데이터셋 레벨의 귀속(attribution)을 포함합니다.

3. 신흥 RAG 변체 분석

본 조사는 새로운 아키텍처가 어떻게 위협 지형을 변화시키는지 강조합니다:

• GraphRAG: 그래프 인덱싱이 표준 코퍼스 포이즈닝의 효과를 감소시킬 수 있지만, 엔티티/관계 포이즈닝 및 서브그래프 재구성을 통한 프라이버시 추출과 같은 새로운 위험을 도입합니다.
• Multimodal RAG: 공격 표면을 이미지-텍스트 쌍으로 확장하여, 모달리티 전반에 걸친 코퍼스 포이즈닝 및 멤버십 추론을 가능하게 합니다.
• Agentic RAG: 공격이 메모리에 지속되거나, 도구 선택을 조작하거나, 신뢰할 수 없는 도구 관측을 악용할 수 있는 상태 유지 루프를 도입하며, 보안 목표를 답변의 무결성에서 '검색-추론-행동-업데이트' 전체 루프의 무결성으로 전환시킵니다.

4. 벤치마크 및 설명 가능성

본 논문은 코퍼스 포이즈닝, 검색 취약성, 지식 충돌과 같은 실패 모드를 평가하는 강건성 벤치마크(예: SafeRAG, URAG)를 요약합니다. 또한, 오염된 컨텍스트가 왜 모델의 행동에 영향을 미치는지(예: 일관된 증거 체인을 선호하거나 내부 안전 정책에서 외부 증거 합성으로 전환되는 이유)를 밝혀주는 설명 가능성 방법론(귀속, 메커니즘, 구조적 및 시스템 레벨)을 검토합니다.

결과 및 발견

• 취약성: RAG 시스템은 코퍼스 포이즈닝과 프롬프트 인젝션에 매우 취약하며, 악의적인 문서가 생성기를 특정 타겟으로 유도하거나 개인 정보를 유출할 수 있습니다.
• 방어의 한계: 현재의 방어책은 종종 파편화되어 있습니다. 많은 방어책이 블랙박스 배포 환경에서는 적용하기 어려운 강력한 화이트박스 가정을 기반으로 합니다. 추적 방법은 주로 진단적이며 예방적이지 않습니다.
• 트레이드오프: 공격의 은밀함과 효과성 사이에는 긴장이 존재합니다. 최적화된 적대적 텍스트는 종종 의미론적 자연스러움이 부족하여 탐지되기 쉽습니다. 마찬가지로, 보편적인 공격은 확장성은 높지만 쿼리별 최적화에 비해 정밀도가 떨어질 수 있습니다.
• 신흥 위험: GraphRAG 및 Multimodal RAG에서의 프라이버시 위험은 아직 충분히 연구되지 않았으며, Agentic RAG는 컴프로마이즈된 상태가 승인되지 않은 외부 동작으로 이어지는 심각한 결과를 초래할 수 있습니다.

의의 및 주장

저자들은 이 연구를 신뢰할 수 있는 RAG 시스템 개발을 위한 로드맵으로 제시합니다. 본 연구의 의의는 다음과 같습니다:

1. 통합: 공격 목표와 특정 방어 단계를 연결하는 포괄적인 파이프라인 인지 분류 체계를 제공합니다. 이는 기존의 조사들이 핵심 차원(예: 사실성, 강건성)에 대해서는 포괄적인 범위를 제공했으나 공격 구조나 적대적 방어에 대한 분석은 제한적이었던 점을 해결합니다.
2. 포괄성: 표준 RAG뿐만 아니라 신흥 변체(GraphRAG, Agentic RAG)를 다루며 벤치마크와 설명 가능성 방법론을 통합합니다.
3. 미래 방향: 블랙박스 설정으로의 공격 전이성 부족, 더 은밀한 공격의 필요성, 프라이버시 유출에 대한 미세한 출처 귀속의 필요성과 같은 미해결 과제를 강조합니다.

본 논문은 빠르게 진화하는 이 분야의 발전을 지속적으로 추적하기 위해 공개 저장소 운영을 약속하며, 강건한 RAG 시스템을 구축하기 위해서는 전체 검색 증강 파이프라인에 대한 총체적인 이해가 필요함을 강조하며 결론을 맺습니다.