💬 NLP

TopoGuard: Graph Theory Based Defenses Against Split-Knowledge Attacks on RAG

이 논문은 의미론적 유사성 그래프를 분석함으로써 검색 증강 생성(RAG) 시스템의 분할 지식 공격을 탐지하는 그래프 이론 기반의 방어 메커니즘인 TopoGuard를 소개하며, 기존의 문서별 필터 및 대규모 언어 모델 기반 시스템에 비해 현저히 높은 탐지율과 낮은 지연 시간을 입증한다.

원저자: Chahana Dahal, Zuobin Xiong

게시일 2026-07-24

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Chahana Dahal, Zuobin Xiong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 세계에서 가장 마법 같은 도서관의 사서라고 상상해 보세요. 이곳은 단순히 책들이 선반에 놓여 있는 곳이 아닙니다. 이 도서관는 당신에게 말을 걸 수 있는 곳입니다. 당신이 질문을 던지면, 사서는 즉시 여러 권의 책에서 몇 페이지를 뽑아내어 소리 내어 읽어준 뒤, 초지능 로봇 두뇌를 사용하여 그 페이지들을 엮어 완벽한 답변을 만들어냅니다. 이것이 바로 '검색 증강 생성(Retrieval Augmented Generation, RAG)'이라 불리는 현대의 AI 시스템이 작동하는 방식입니다. 이들은 단순히 추측하는 것이 아니라, 사실에 근거한 답변을 하기 위해 거대한 문서 데이터베이스에서 정보를 찾아냅니다.

하지만 여기 함정이 있습니다. 만약 누군가 몰래 도서관에 침입하여 가짜 페이지를 심어놓는다면 어떻게 될까요? 만약 누군가 "보잉(Boeing)은 마약 거래범이다"라는 페이지 한 장을 심어놓는다면, 사서의 안전 필터가 이를 감지하고 버릴 것입니다. 하지만 공격자가 더 똑똑하다면 어떨까요? 만약 그가 "보잉은 시애틀에 본사를 두고 있다"라는 페이지 하나와 "시애틀은 마약 밀매의 중심지이다"라는 또 다른 페이지를 심어놓는다면 어떨까요? 두 페이지 모두 각각은 사실입니다. 어느 것도 단순한 필터에는 위험해 보이지 않습니다. 하지만 사서가 이 페이지들을 결합할 때, 로봇 두뇌는 실수로 "오, 보잉은 마약 거래범이 분명하구나!"라는 결론을 내릴 수도 있습니다. 이것은 위험이 단 하나의 나쁜 문장에 있는 것이 아니라, 두 개의 무해한 문장 사이의 '연결'에 존재하는 새로운 종류의 속임수입니다.

TopoGuard라는 제목의 이 논문은 바로 이 교활한 문제를 다룹니다. 연구자들인 네바다 대학교 라스베이거스 캠퍼스의 차하나 다할(Chahana Dahal)과 주빈 슝(Zuobin Xiong)은 현재의 안전 도구들이 마치 한 명의 사람이 수상해 보이는지만 확인하는 보안 요원과 같다는 점을 깨달았습니다. 그들은 두 명의 무해해 보이는 사람이 함께 서서 비밀스러운 계획을 속삭이고 있을 때는 알아차리지 못합니다. 저자들은 TopoGuard라는 새로운 방어책을 제안하는데, 이는 단순히 단어를 보는 것이 아니라 대화의 '모양(shape)'을 봅니다. 그들은 검색된 문서들을 연결의 지도로 취급합니다. 만약 문서들이 긴밀하고 논리적인 웹(실제 추론 체인처럼)을 형성한다면, 지도는 매끄럽고 연결되어 보일 것입니다. 하지만 만약 문서들이 속임수라면, 지도는 멀리 떨어져 떠 있는 두 개의 별개의 섬처럼 보일 것입니다. TopoGuard는 그래프 이론의 수학을 사용하여 이 '모양'을 측정함으로써, 로봇 두뇌가 답변을 읽기도 전에 그것이 함정임을 알아낼 수 있습니다.

보이지 않는 함정: 분할 지식 공격 (Split-Knowledge Attacks)

연구자들은 먼저 자신들이 **분할 지식 공격(split-knowledge attack)**이라고 부르는 새로운 유형의 공격을 정의하며 시작합니다. 당신이 미스터리를 풀려고 노력하고 있다고 상상해 보세요. 진실을 알기 위해서는 두 가지 단서를 연결해야 합니다: "단서 A는 주방에 있다"와 "범인은 주방에 있었다." 두 가지를 모두 알게 되면, 범인이 주방에 있었다는 것을 알게 됩니다.

이제 속임수를 쓰는 사람을 상상해 보세요. 그는 거짓말을 하지 않습니다. 대신, 그는 두 가지 사실을 제시하는데, 이 사실들은 서로 관련이 있는 것처럼 들리지만 실제로는 그렇지 않습니다.

사실 1: "보잉의 주요 공장은 시애틀에 있다." (사실)
사실 2: "시애틀은 국제 마약 밀매의 주요 허브이다." (사실)

개별적으로 이 사실들은 해롭지 않습니다. 표준 안전 필터(LlamaGuard와 같은)는 각 사실을 검사하고 "모두 통과! 여기엔 나쁜 단어가 없다"라고 말합니다. 하지만 AI가 이들을 결합할 때, AI는 "보잉은 마약 밀매에 연루되어 있다"라는 잘못된 연결을 환각(hallucinate)할 수 있습니다. 이 공격이 작동하는 이유는 위험이 두 사실 자체에 있는 것이 아니라, 두 사실 사이의 '간극'에 살고 있기 때문입니다. 논문은 기존의 방어 체계들이 이러한 공격에 대해 "구조적으로 눈이 멀어(structurally blind)" 있다고 설명합니다. 즉, 재료는 검사하지만 레시피는 놓치고 있다는 것입니다.

해결책: 연결의 지도 그리기

이 속임수를 잡기 위해 저자들은 TopoGuard를 구축했습니다. TopoGuard는 텍스트를 읽는 대신 지도를 그립니다.

노드(Nodes): AI가 찾는 모든 문서는 지도 위의 하나의 점이 됩니다.
선(Lines): 두 문서가 유사하거나 관련이 있다면, AI는 그 사이에 선을 긋습니다. 연결이 강할수록 선은 더 굵어집니다.

정당한 질의(실제 질문)의 경우, 문서들은 보통 조밀하고 연결된 클러스터를 형성합니다. 그들은 동일한 주제에 대해 이야기하므로, 지도는 빽빽한 거미줄처럼 보입니다.
분할 지식 공격의 경우, 문서들은 서로 다른 세상(예: "보잉"과 "마 de")에서 온 것입니다. 그들은 실제로 함께 있을 이유가 없습니다. 지도 위에서 이것은 매우 가늘고 약한 다리로 연결된 두 개의 분리된 섬처럼 보입니다.

TopoGuard는 그래프 이론이라는 수학 분야를 사용하여 이 모양을 측정합니다. 이는 지도가 얼마나 "끊어져 있는지"를 측정하는 방법인 **스펙트럴 갭(spectral gap)**이라는 특정 수학적 신호를 찾습니다. 만약 지도가 너무 끊어져 있다면(낮은 전도도/conductance), TopoGuard는 그것이 함정임을 압니다.

연구 결과: 속도와 영리함

연구진은 까다로운 질문이 담긴 두 가지 큰 데이터셋인 HotpotQA와 MuSiQue를 통해 자신들의 아이디어를 테스트했습니다. 그들은 TopoGuard를 LlamaGuard(대중적인 AI 안전 필터)와 텍스트를 단순히 읽는 다른 방법들을 포함한 최고의 기존 안전 도구들과 맞붙였습니다.

결과는 놀라웠습니다:

기존 방식의 실패: 표준 안전 필터(LlamaGuard-2-8B 등)는 이러한 공격에 거의 무용지물이었습니다. 낮은 오탐률을 유지하면서도 공격을 잡아낸 비율은 약 **1.5%**에 불과했습니다. 그것은 기본적으로 추측하는 것과 다름없었습니다.
새로운 방식의 승리: TopoGuard는 동일한 낮은 오탐률에서 공격의 **32.6%**를 잡아냈습니다. 이는 기존 방식보다 21배 더 뛰어난 성과입니다.
속도: 기존 방식은 질문을 확인하는 데 약 40밀리초(ms)가 걸렸던 반면(실시간 채팅에서는 느린 편입니다), TopoGuard는 서브 밀리초(sub-millisecond) 단위로 작동합니다. 거대한 뇌를 가진 모델이 책 한 권을 읽는 대신 지도를 이용해 간단한 수학 계산을 수행하기 때문에 100배 이상 빠릅니다.

의의 (그리고 한계점)

이 논문은 정보의 구조를 보는 것이 텍스트 기반 필터가 놓치는 AI의 속임수를 잡아내는 강력한 방법임을 입증합니다. 저자들은 수학적 보증을 통해 AI의 메모리(임베딩)에 약간의 노이즈가 있더라도 이 방법이 견고하다는 것을 보여주었습니다.

하지만 논문은 자신들의 한계에 대해서도 솔직하게 밝히고 있습니다. TopoGuard는 전문가입니다. 이 방식은 위험이 문서 간의 연결에 있는 "분할 지식" 공격을 잡는 데 탁월합니다. 하지만 개별 문서를 검사하는 것을 대체할 수는 없습니다. 만약 공격자가 하나의 문서 안에 명확하게 악의적인 문장 하나를 넣어둔다면, TopोGuard는 그 문서 자체가 멀쩡해 보이기 때문에 놓칠 수 있습니다. 저자들은 모든 가능성을 다루기 위해 TopoGuard를 기존 필터와 함께 사용하는 '두 번째 방어 계층'으로 사용할 것을 제안합니다.

또한, 이 방법은 문서들이 어느 정도 연관성이 있을 때 가장 잘 작동한다는 것을 발견했습니다. 만약 사용자가 매우 복잡한 질문을 던져서 완전히 다른 주제 사이를 자연스럽게 넘나드는 경우(예: "로켓 엔진은 어떻게 작동하며 재즈의 역사는 무엇인가?"), TopoGuard는 질문이 실제 질문임에도 불구하고 지도가 "끊어져" 보이기 때문에 혼란을 느껴 공격이라고 오해할 수 있습니다. 이는 이러한 유형의 방어 체계가 직면한 알려진 과제입니다.

핵심 요약

AI가 점점 더 똑똑해지는 세상에서, 공격자들도 점점 더 교활해지고 있습니다. 그들은 단순히 거짓말을 외치는 것이 아니라, 결합되었을 때만 의미를 갖는 '반쪽짜리 진실'을 속삭입니다. TopoGuard는 단순히 말하는 내용을 듣는 것이 아니라, 조각들이 어떻게 맞춰지는지를 보는 새로운 종류의 보안 요원입니다. 사실들 사이의 연결을 매핑함으로써, 이 시스템은 다른 시스템을 속이는 보이지 않는 함정을 포착하여 우리의 AI 사서가 보잉을 마약 거래범이라고 말하는 일을 방지합니다. 이 방식은 빠르고, 수학적으로 견고하며, 복잡한 세상에서 AI를 더 안전하게 만드는 데 있어 중요한 단계입니다.

기술 요약: TopoGuard

1. 문제 정의: 분할 지식 공격 (Split-Knowledge Attacks)

본 논문은 프로덕션 환경의 검색 증강 생성(RAG) 시스템에서 발생하는 '분할 지식 공격(split-knowledge attack)'이라 명명된 새로운 취약점을 식별한다. 단일 악성 문서를 주입하여 검색 코퍼스를 오염시키는 전통적인 공격(예: PoisonedRAG)과 달리, 분할 지식 공격은 유해한 페이로드를 여러 개의 개별적으로는 무해해 보이는 문서들에 나누어 분산시킨다.

메커니즘: 공격자는 개별적으로 검사했을 때는 사실 관계가 정확하며 표준 콘텐츠 필터를 통과하는 문서들을 주입한다. 그러나 특정 쿼리에 대해 이 문서들이 함께 검색될 때, 이들은 허위의 의미론적 연관성을 형성하여 대규모 언어 모델(LLM)이 유해한 결론을 도출하도록 유도한다.
예시: 시애틀의 한 제조업체에 대한 쿼리에 대해, "보잉의 시설은 시애틀에 있다"라는 문서와 "시애틀은 마약 밀매의 중심지이다"라는 다른 문서가 함께 검색될 수 있다. 개별적으로 이들은 무해하다. 하지만 결합되었을 때, 이들은 보잉을 마약 밀매와 연결하는 허위의 연관성을 생성한다.
기존 방어 체계의 실패: 현재의 RAG 안전 메커니즘(예: LlamaGuard, Perspective API, LLM-as-a-Judge)은 **문서 단위(per-document)**로 작동한다. 이들은 검색된 각 문서를 독립적으로 점수화한다. 공격 신호가 개별 문서의 어휘적 내용이 아니라, 문서 간의 구성적 구조와 위상적 관계에만 존재하기 때문에, 이러한 필터들은 공격을 감지하지 못하며 종종 무작ful한 확률 수준(AUROC $\approx$ 0.5)으로 성능이 저하된다.

2. 방법론: TopoGuard

이러한 구조적 맹점을 해결하기 위해, 저자들은 그래프 이론 기반의 방어 방법론인 TopoGuard 제품군을 제안한다. 핵심 전제는 정당한 다중 홉 추론 체인은 조밀하게 연결된 의미론적 그래프를 형성하는 반면, 분할 지식 공격은 느슨하게 연결된 파편화된 그래프를 생성한다는 것이다.

핵심 알고-리즘

의미론적 유사도 그래프 구축:
- 임베딩 $\{x_1, ..., x_n\}$ 을 가진 주어진 검색 문서 집합 $D = \{d_1, ..., d_n\}$ 에 대하여, 그래프 $G = (V, E, w)$ 를 구축한다.
- 노드는 검색된 구절(passages)을 나타낸다.
- 에지는 노드들이 서로의 $k$ -최근접 이웃(k-nearest neighbors)에 속할 경우 존재한다.
- 에지 가중치 $w_{ij}$ 는 코사인 유사도(음수가 되지 않도록 클리핑됨)이다.
위상적 탐지:
- 정당한 쿼리: 문서들이 의미론적 간극을 메우는 추론 체인을 형성하여, **높은 전도도(high conductance)**를 가진 그래프를 만든다(조밀하게 연결됨).
- 분할 지식 공격: 서로 관련 없는 도메인(예: 항공 $\cup$ 마약)을 결합하여, **낮은 전도도(low conductance)**를 가진 그래프를 만든다(파편화된 클러스터).
- 이 방법은 그래프의 정규화된 라플라시안(normalized Laplacian)의 **스펙트럼 갭(spectral gap, $\lambda_2$ )**과 **피들러 전도도(Fiedler conductance)**를 활용하여 이 연결성을 정량화한다.

제안된 변형 모델들

논문은 네 가지 특정 탐지기를 소개한다:

TopoGuard- $\lambda_2$ : 정규화된 스펙트럼 갭을 직접 사용한다.
TopoGuard-Conductance: 더 정밀한 경험적 측정을 위해 피들러 벡터를 사용하여 컷 전도도(cut conductance)를 계산한다.
TopoGuard-Modularity: 루뱅 커뮤니티 탐지(Louvain community detection)를 사용하여 모듈성(modularity)을 평가한다(탐욕적 휴리스틱).
TopoGuard- $\lambda_2$ +Entity: 스펙트럼 갭과 개체명(Named Entity, NE) 중첩(추출된 엔티티의 자카드 유사도)을 결합한 하이브리드 접근 방식이다. 이 변형 모델은 견고성과 재현율(recall)의 균형 측면에서 프로덕션 적용을 위해 권장된다.

3. 이론적 분석

저자들은 탐지 능력에 대한 이론적 보증을 제공한다:

스펙트럼 안정성 (Theorem 3.1): 스펙트럼 갭 $\lambda_2$ 는 임베딩 노이즈에 대해 안정적이다. 임베딩 공간에서의 작은 섭동(인코더 노이즈로 인한)은 $\lambda_2$ 에 제한된 섭동만을 발생시켜 $\lambda_2$ 의 견고성을 보장한다.
탐지 보증 (Theorem 3.2): 정당한 그래프는 전도도가 $\ge \epsilon$ 이고 공격 그래프는 전도도가 $\le \delta$ ( $\epsilon \ge 2\sqrt{\delta}$ )라는 가정하에, 탐지 오류 확률은 검색된 구절의 수 $n$ 이 증가함에 따라 지수적으로 감소한다.
샘플 복잡도 (Corollary 3.1): 논문은 특정 참 양성률(TPR)과 거짓 양성률(FPR)을 달축하기 위해 필요한 검색 단위의 수를 도출한다.

4. 실험 결과

실험은 두 가지 멀티 홉 QA 데이터셋인 HotpotQA와 MuSiQue를 대상으로 수행되었다.

성능 지표

탐지 정확도: TopoGuard는 문서 단위 필터를 크게 능가한다.
- HotpotQA에서, TopoGuard- $\lambda_2$ +Entity는 95.2%의 AUROC와 **1% FPR에서의 32.6% 재현율(Recall)**을 달성했다.
- 비교 대상인 LlamaGuard-2-8B는 1.53%의 재현율(AUROC 54.0%)만을 기록하여, 사실상 무작위 추측보다 나은 것이 없음을 보여주었다.
- TopoGuard는 동일한 FPR에서 LlamaGuard-2-8B보다 21배 더 많은 공격을 탐지했다.
거짓 양성률 (FPR): TopoGuard는 정당한 멀티 홉 쿼리에 대해 낮은 FPR을 유지한다(HotpotQA 전체에서 0.49%). 그러나 "Q4" 쿼리(가장 의미론적으로 거리가 먼 정당한 쿼리들)에서는 FPR이 증가하는데, 이는 정당한 교차 도메인 추론이 구조적으로 공격과 닮아 있다는 근본적인 한계를 보여준다.
효율성: TopoGuard 변형 모델들은 **밀리초 미만의 지연 시간(sub-millisecond latency)**으로 실행된다(예: $\lambda_2$ 의 경우 <0.5 ms). 이는 LlamaGuard-3-8B(~40 ms)와 같은 LLM 기반 방어 모델보다 100배 이상 빠르다.
견고성:
- 적응형 공격자 (Adaptive Adversaries): 하이브리드 방식인 TopoGuard- $\lambda_2$ +Entity는 적응형 회피 전략(예: "Best-of-N" 패딩, "Chain mimicry")에 대해 가장 강력한 모습을 보였다.
- 전이 가능성 (Transferability): 방법론은 다양한 그래프 밀도( $k$ )에 잘 전이되지만, 검색 깊이( $R$ )나 인코더가 변경될 경우 재교정(recalibration)이 필요하다.
- 레이블 프리 교정 (Label-Free Calibration): 시스템은 레이블이 지정된 공격 데이터 없이도 정당한 쿼리 점수(99 백분위수)만을 사용하여 목표 FPR에 맞춰 교정될 수 있다.

관찰된 한계점

동일 커뮤니티 모방 (Same-Community Mimicry): 만약 공격자가 정당한 클러스터와 의미론적으로 정렬된(높은 전도도를 가진) 악성 콘텐츠를 주입할 경우, TopoGuard는 실패한다(재현율이 ~1%로 하락). 이는 위상적 방어의 근본적인 한계이다.
단일 구절 공격 (Single-Passage Attacks): TopoGuard는 페이로드가 단일 문서에 존재하는 공격(예: PoisonedRAG)을 위해 설계되지 않았으며, 이는 문서 단위 필터와 상호 보완적인 관계이다.

5. 의의 및 주장

본 논문은 다음과 같은 기여와 의의를 주장한다:

최초의 공식 정의: RAG 시스템에서의 분할 지식 공격을 공식적으로 정의하고, 스펙트럼 탐지 성능에 대한 이론적 경계를 제공한 첫 번째 연구이다.
구조적 방어: RAG의 보안은 어휘적 콘텐츠 필터링을 넘어 **위상적 분석(topological analysis)**으로 나아가야 함을 입증한다.
실용적 생존 가능성: TopoGuard는 높은 재현율과 낮은 지연 시간을 제공하며, 적응형 공격자에게 견고하고 레이블이 지정된 공격 데이터 없이도 배포 가능한 방어책이다.
방어 심층 구조 (Defense-in-Depth): 저자들은 TopoGuard를 기존 콘텐츠 필터를 대체하는 것이 아니라, 문서 단위 점수 매기기에서는 보이지 않는 구성적 공격을 잡아내기 위한 필수적인 보완 계층으로 위치시킨다.

결론적으로, TopoGuard가 모든 공격 벡터(특히 정당한 의미론적 클러스터를 모방하는 공격)를 해결할 수는 없지만, 기존의 방어 체계가 구조적으로 맹점(blind spot)을 가지고 있는 데서 발생하는 결정적인 격차를 효과적으로 메워준다는 것을 보여준다.