🤖 machine learning

RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning

이 논문은 높은 검색 정확도를 유지하면서 사실적 데이터 포이즈닝 공격을 효과적으로 무력화하기 위해 적대적 리트리버 미세 조정과 레이블이 없는 블랙박스 제로 지식 추론 패치(ZKIP)를 결합한, 검색 증강 생성 시스템을 위한 2계층 방어 프레임워크인 RAGuard를 소개한다.

원저자: Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거의 모든 것을 알고 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 하지만 이 친구는 가끔 깜빡하기도 하고 때로는 말을 지어내기도 합니다. 이 친구가 최신 뉴스나 사실들을 기억하도록 돕기 위해, 당신은 질문을 하기 전에 답을 찾아볼 수 있는 마법의 도서관을 선물했습니다. 이 설정은 검색 증강 생성(Retrieval-Augmented Generation), 줄여서 RAG라고 불립니다. 이것은 천재에게 자신의 기억력에만 의존하지 않아도 되도록 '치트 시트(컨닝 페이퍼)'를 주는 것과 같습니다. 하지만 여기에는 함정이 있습니다. 만약 몰래 숨어든 장난꾸러기가 그 도서관에 침입해 진짜 책들을 거짓말로 가득 찬 가짜 책들로 바꿔치기한다면 어떻게 될까요? 만약 로봇이 그 가짜 책들을 믿게 된다면, 로봇은 당신에게 틀린 답을 말할 것이고, 심지어 자신이 속았다는 사실조차 깨닫지 못할 수도 있습니다. 이것을 "데이터 오염(data poisoning)"이라고 부르며, 의료 조언이나 법적 사실처럼 중요한 일에 이러한 스마트 시스템을 사용하는 사람들에게는 큰 걱정거리입니다.

이제, 그 마법의 도서관을 지키기 위해 설계된 새로운 슈퍼히어로 팀인 RAGuard를 만나보세요. 연구진은 거짓말쟁이들을 저지하기 위한 두 단계 방어 시스템을 구축했습니다. 첫 번째 단계는 도서관 문 앞에 서 있는 엄격한 문지기와 같습니다. 이 문지기는 수천 권의 가짜 책을 읽으며 훈련받았기 때문에, 거짓말의 "분위기"를 포착하여 로봇에게 전달되기 전에 그 책들을 쫓아낼 수 있습니다. 하지만 문지기가 완벽하지는 않아서, 가끔 아주 정교한 가짜 책이 몰래 빠져나가기도 합니다. 바로 그 지점에서 두 번째 단계인 영리한 탐정 ZKIP(Zero-Knowledge Inference Patch)가 등장합니다. ZKIP는 알려진 거짓말쟁이 목록이나 "정답지"가 필요하지 않습니다. 대신, ZK-IP는 "만약에?"라는 게임을 합니다. 로봇이 읽으려는 모든 책에 대해, ZKIP는 "만약 우리가 이 특정 책을 없다면 로봇은 뭐라고 말할까?"라고 묻습니다. 만약 특정 책을 제거했을 때 로봇의 답변이 갑자기 변하거나 훨씬 더 혼란스러워진다면, ZKIP는 그 책이 거짓말일 가능성이 높다고 판단하고 버려버립니다.

연구진은 이 시스템을 방대한 질문 세트에 대해 테스트했으며 놀라운 결과를 발견했습니다. 도서관을 가짜 책(전체의 최대 30%)으로 채웠을 때, 문지기 단독으로는 일부를 잡아낼 수는 있었지만 전부는 아니었습니다. 그러나 이 팀에 탐정 ZKIP를 추가하자, 시스템은 테스트에서 거의 완벽해졌습니다. 방어 기능이 활성화된 모든 테스트 실행에서, ZKIP는 "공격 성공률(attack success rate)"을 0.000까지 낮추었습니다. 즉, 테스트된 특정 샘플들 사이에서 성공적인 속임수가 전혀 감지되지 않았음을 의미합니다. 다만, 이 결과는 테스트된 샘플들에 적용되는 것이며, 발생 가능한 모든 실제 상황에서 로봇이 결코 틀린 답을 하지 않을 것이라는 보장은 아니라는 점을 유의해야 합니다. 비용은 무엇일까요? 로봇은 조금 더 많이 생각해야 했습니다. 질문 하나당, 로봇은 속지 않기 위해 책을 6번 읽어야 했습니다(모든 책이 있을 때 한 번, 그리고 각 책이 없을 때 어떤 일이 일어나는지 확인하기 위해 각각 한 번씩). 비록 이 과정이 더 많은 시간을 소요하지만, 연구진은 로봇이 깨끗한 도서관에서와 마찬가지로 정답을 찾는 빈도가 여전히 높다는 것을 보여줌으로써, 안전성과 정확성을 모두 잡을 수 있음을 입증했습니다.

하지만 이 논문은 이 방패에 균열이 생길 수 있는 부분에 대해서도 신중하게 지적하고 있습니다. 이 시스템은 가짜 책들이 사실을 바꾸려고 시도할 때(예: "하늘은 파랗다" 대신 "하늘은 초록색이다"라고 말하는 경우) 가장 잘 작동합니다. 만약 장난꾸러기가 여러 권의 가짜 책을 사용하여 모두 동일한 거짓말을 함께 늘어놓는다면, 이 시스템은 어려움을 겪습니다. 왜냐하면 그중 단 한 권의 책만 제거해서는 로봇의 생각을 바꿀 수 없기 때문입니다. 또한, 이 시스템은 사실을 위한 것이지 의견을 위한 것이 아닙니다. 질문이 '무엇이 진실인가'가 아니라 '사람들이 무엇을 생각하는가'에 관한 것이라면, 사람들의 답변은 자연스럽게 다양하기 때문에 탐정이 혼란을 느낄 수 있습니다. 연구진은 또한 자신들의 가짜 책들이 키워드를 동일하게 유지하면서 텍ema를 재작성하여 만들어졌다는 점을 언급했는데, 이는 단순히 일치하는 단어를 찾는 기본적인 키 enough 검색 도구(keyword search)는 속지 않았음을 의미합니다. 이는 RAGuard가 강력한 새로운 도구이긴 하지만, 교묘한 거짓말쟁이들과의 싸움은 계속 진행 중이며, 향-후 작업에서는 더욱 똑똑하고 조직적인 공격에 대해서도 테스트가 필요함을 시사합니다.

기술 요약: RAGuard

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템은 최신의 검증 가능한 정보를 제공하기 위해 외부 코퍼스(corpus)에 거대 언어 모델(LLM)을 결합합니다. 그러나 이러한 의존성은 치명적인 취약점을 만들어냅니다: 바로 **코퍼스 포이즈닝(corpus poisoning)**입니다. 검색 코퍼스에 쓰기 권한을 가진 공격자는 조작된 사실, 모순된 정보, 또는 왜곡된 추론을 포함하는 악의적인 구절을 주입할 수 있습니다. 이러한 오염된 문서들은 비록 소량(코퍼스의 5~30%)이라 할지라도, 생성기가 오도되거나 거짓된 답변을 생성하도록 유도할 수 있습니다.

기존의 방어 기제들은 다음과 같은 구조적 결함을 가지고 있습니다:

탐지 기반 필터(Detection-based filters): 레이블이 지정된 독성 예시나 휴리스틱에 의존하며, 새로운 공격 스타일에는 대응하지 못합니다.
생성기 강화(Generator hardening): 높은 추론 비용을 발생시키며, 오염된 구절이 컨텍스트를 지배할 경우 성능이 저하됩니다.
적대적 학습된 리트리버(Adversarially trained retrievers): 학습 과정에서 본 특정 합성 독성 유형에 과적합될 위험이 있으며, 공격의 성공을 완전히 제거할 수 있다는 보장이 없습니다.

현재로서는 정답(ground-truth)이나 독성 레이블 없이 검색과 생성 단계를 모두 효과적으로 커버할 수 있는 단일 메커니즘이 존재하지 않습니다.

방법론: RAGuard

RAGuard는 독성 레이블, 정답, 또는 모델 내부 정보에 대한 접근 없이 작동하도록 설계된 2계층 방어 프레임워크를 도입합니다.

제1계층: 적대적 미세 조정 리트리버 (Adversarial Fine-Tuned Retriever)

첫 번째 계층은 검색 단계에서의 선제적 방어에 집중합니다.

학습 데이터: LLM을 사용하여 세 가지 공격 유형인 조작(fabrication, 환각 문장), 모순(contradiction, 사실적 토큰 반전), **추론 함정(reasoning traps, 오도하는 논리 단계)**을 생성한 합성 오염 문서를 만듭니다.
메커니즘: all-MiniLM-L6-v2로부터 초기화된 밀집 리트리버(dense retriever)를 트리플릿 마진 손실(triplet margin loss)을 사용하여 미세 조정합니다. 이 리트리버는 골드 구절(gold passages)과 그에 대응하는 특정 적대적 재작성 문구(adversarial rewrites)를 구별하는 법을 학습하여, 악의적인 콘텐츠가 생성기에 도달하기 전에 순위를 낮춥니다.
한계: 이 계층은 학습 중에 본 독성 분포에 국한되며, 학습되지 않은 공격 스타일이나 도메인으로 일반화되지 못할 수 있습니다.

제2계층: 제로 지식 추론 패치 (Zero-Knowledge Inference Patch, ZKIP)

두 번째 계층은 생성 시점에 작동하는 반응형, 레이블 프리(label-free) 필터입니다. 이는 자기 참조적 안전망 역할을 합니다.

메커니즘: 쿼리 $q$ $q$ 와 상위- $k$ $k$ 개의 검색된 문서 $D = \{d_i\}$ $D = {d_{i}}$ 에 대해, ZKIP는 Leave-One-Out (LOO) 분석을 수행합니다:
1. 전체 컨텍스트 $D$ 를 사용하여 참조 답변 $y_{all}$ 을 생성합니다.
2. 각 문서 $d_i$ 를 컨텍스트에서 제거함으로써 생성되는 반사실적(counterfactual) 답변 $y_{-i}$ 를 생성합니다.
스코어링: 문서 제거가 답변의 **의미론적 변화(semantic shift)**를 유발하거나 출력 엔트로피(output entropy)(불확실성)를 감소시키는 경우, 해당 문서를 이상치(anomalous)로 간주합니다. 이상치 점수 $A_i$ 는 다음과 같이 계산됩니다:
$A_i = (1 - s_i) + \lambda [\Delta H_i]_+$
여기서 $s_i$ 는 참조 답변과 반사실적 답변 임베딩 사이의 코사인 유사도이며, $\Delta H_i$ 는 엔트로피 차이입니다.
조치: 가장 높은 이상치 점수를 가진 문서들을 최종 생성 단계 이전에 제거합니다.
핵심 속성: ZKIP는 골드 답변이나 독성 레이블과 비교하지 않습니다. 대신 모델 자체 출력의 안정성에만 의존합니다.

주요 기여

레이블 프리, 블랙박스 필터: ZKIP는 독성 레이블, 정답, 또는 모델 내부 정보가 필요 없는 최초의 추론 시점 필터입니다. 이는 Natural Questions (NQ) 데이터셋의 모든 테스트 구성에서 공격 성공률(ASR)을 0.000으로 낮춥니다.
측정된 기여도를 통한 계층적 방어: 본 논문은 적대적 리트리버 학습만으로는 ASR을 줄일 수는 있지만 완전히 제거할 수는 없음을 보여줍니다(10% 포이즈닝 시 잔여 성공률 0.072). ZKIP 단독으로는 ASR을 제거하지만 검색 품질을 약간 저하시킬 수 있습니다. 이 둘의 결합은 적대적으로 학습된 리트리버의 높은 랭킹 품질을 유지하면서 공격 성공률을 제로로 달성합니다.
위협 모델의 경계 설정: 키워드 보존형 독성(키워드는 유지하되 LLM 재작성을 통해 의미를 변경하는 방식)은 BM25와 같은 렉시컬 리트리버에 거의 영향을 주지 않음(5~20% 포이즈닝 시 ASR 0.000)을 입증했습니다. 이는 본 연구의 위협 모델 범위를 명확히 하며, 공격이 특히 밀집 임베딩의 의미론적 구조를 악용함을 보여줍니다.

실험 결과

포이즌 비율이 5%에서 30%인 Natural Questions (NQ) 및 **BEIR (NFCorpus)**의 오염된 변형 모델을 대상으로 평가하였습니다:

공격 성공률 (ASR): ZKIP는 NQ 데이터셋의 10% 및 30% 포이즈닝 상황에서 방어된 모든 구성(클린 및 적대적 학습 리트리버 모두)에 대해 측정된 ASR을 0.000으로 낮춥니다.
검색 품질: 방어 기제는 높은 검색 품질을 유지합니다. 10% 포이즈닝 시, 방어된 적대적 학습 리트리버는 undefended 버전(0.319) 대비 단 0.005의 차이인 0.314의 Recall@5를 달성했습니다. 이는 클린 코퍼스 베이스라인(0.282)과 0.03 이내의 차이를 보입니다.
BM25 베이스라인: 방어 없이 BM25는 5~20% 포이즈형 시 거의 제로에 가까운 ASR(0.000)을 보여, 공격이 밀집 검색(dense retrieval)에 특화되어 있음을 확인시켜 줍니다.
학습 가능한 구조: 지도 학습 분석을 통해 ZKIP가 사용하는 반사실적 신호(답변 안정성 및 엔트로피 변화)가 학습 가능한 독성 구조를 포함하고 있음을 확인하였으며, 이는 접근 방식의 이론적 타당성을 입증합니다.

의의 및 주장

본 논문은 기존 방어 체계의 "구조적 결함"을 해결함으로써 RAGuard를 견고한 RAG 시스템을 향한 중요한 진전으로 자리매김합니다. 주요 의의는 다음과 같습니다:

자기 참조적 보안: 외부 레이블 대신 모델 자체 출력의 안정성에 의존함으로써, 학습 시 시뮬레이션된 공격 유형을 벗어난 미지의 공격 유형에도 적용 가능합니다.
모듈성: 리트리버, 생성기, 방어 계층을 독립적으로 교체할 수 있습니다.
실질적 트레이드오프: 저자들은 계산 비용( $k+1$ 번의 생성 패스, 예: $k=5$ 일 때 6배의 오버헤드)을 인정하면서도, 지연 시간을 완화하기 위한 배칭(batching) 및 조기 종료(early-stopping) 근사법을 제안합니다.

한계 및 범위

본 논문은 다음과 같이 명시하며 주장의 범위를 제한합니다:

범위: 본 방어는 밀집 검색의 코퍼스 포이즈닝 하에서의 사실적 질의응답을 대상으로 합니다. 의견 조작, 프롬프트 하이재킹, 화이트박스 그래디언트 공격은 명시적으로 제외됩니다.
협동 공격 (Coordinated Attacks): 단일 패스 방식의 ZKIP는 여러 개의 오염된 문서가 서로를 강화하여 하나를 제거해도 답변이 변하지 않는 '협동 다중 독성 연합'에 구조적으로 취약합니다. 이에 대한 반복 제거 프로토콜이 제안되었으나 완전히 평가되지는 않았습니다.
거짓 양성 (False Positives): 필터가 일반적이지만 의견이 강하거나 분포 외(out-of-distribution)인 문서를 플래그할 수 있으며, 이는 Recall@5의 약간의 감소를 초래할 수 있습니다.
분포 취약성: 적대적으로 학습된 리트리버는 학습에 사용된 특정 합성 독성 가족에 과적합될 수 있으며, 미지의 도메인(예: BEIR 의료 코퍼스)이나 그래디언트 최적화 공격에 일반화되지 못할 수 있습니다.
평가: ASR 0.000은 테스트된 특정 공격 및 샘플 세트에 대한 결과이며, 보편적인 보증은 아닙니다. 평가는 그래디언트 최적화된 적대적 주입(예: PoisonedRAG)보다는 합성 LLM 재작성에 의존하므로 실제 공격의 강도를 과소평가할 수 있습니다.

저자들은 RAGuard가 특정 위협 모델 내에서 측정된 공격 성공을 효과적으로 제거하지만, 향후 연구에서는 협동 다중 독성 공격, 표준화된 공격 베이스라인(PoisonedRAG, FlippedRAG), 그리고 추론 오버헤드의 추가적인 감소 문제를 다루어야 한다고 결론짓습니다.