🤖 AI

Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention

이 논문은 검색 증강 생성(RAG) 시스템에서 유해한 문서 간 상호작용을 방지하기 위해 블록 희소 주의 집중(block-sparse attention)을 사용하는 새로운 방어 메커니즘인 Sparse Document Attention RAG(SDAG)를 소개하며, 이를 통해 코퍼스 지식 오염 공격을 유의미하게 완화하고 기존의 최첨단 방어 기제들을 능가하는 성능을 보여준다.

원저자: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

게시일 2026-08-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 지형에서 대규모 언어 모델은 인간 지식의 방대한 저장소 역할을 하며, 놀라운 유창함으로 질문에 답하고 텍스트를 생성할 수 있습니다. 그러나 이 모델들에는 한계가 있습니다. 이들은 특정 시점에서 멈춘 데이터로 학습되었기 때문에, 도움 없이는 최근의 사건이나 특정 분야의 미세한 사실들을 알 수 없다는 점입니다. 이를 해결하기 위해 연구자들은 검색 증강 생성(Retrieval-Augmented Generation)이라 불리는 시스템을 개발했습니다. 이 설정에서는 사용자가 질문을 던지면, 시스템이 먼저 방대한 문서 라이브러리를 검색하여 관련 정보를 찾습니다. 그런 다음 질문과 검색된 문서들을 모두 언어 모델에 입력하며, 모델은 이들을 가이드 삼아 정확한 답변을 작성합니다. 이 방식은 AI의 지식을 최신 상태로 유지하고, '환각(hallucination)'이라고 알려진 문제, 즉 AI가 사실을 지어내는 가능성을 줄여줍니다. 하지만 외부 문헌에 대한 바로 이 의존성은 새로운 취약점을 만들어냅니다. 시스템은 찾아낸 문서를 신뢰하기 때문에, 악의적인 행위자가 라이브러리에 거짓 정보를 몰래 주입할 수 있습니다. 만약 시스템이 이렇게 오염된 문서를 검색하게 되면, 진실을 무시하고 대신 거짓을 전달하도록 속을 수 있습니다.

이스라엘 테크니온 공대의 연구진은 이러한 시스템이 정보를 처리하는 방식에서 발생하는 특정한 약점을 식별해냈으며, 이것이 시스템을 그러한 기만에 취약하게 만든다는 것을 밝혀냈습니다. 표준 언어 모델에서 AI가 텍스트의 서로 다른 부분에 집중할 수 있게 해주는 메커니즘은, 모든 단어가 이전의 모든 단어를 연속적인 흐름 속에서 되돌아볼 수 있도록 설계되어 있습니다. 이는 이야기를 쓰거나 단일 기사를 요약할 때처럼 맥락이 한 문장에서 다음 문장으로 자연스럽게 흐르는 경우에는 잘 작동합니다. 그러나 검색 시스템에서 입력값은 종종 함께 붙여넣어진 별개의 독립적인 문서들의 집합체입니다. 연구진은 이러한 문서들을 처리하는 표준 방식이 한 문서의 단어들이 다른 문서의 단어들과 상호작용하게 함으로써 해로운 결과를 초래할 수 있다고 주장합니다. 악의적인 문서가 존재할 때, 그 오도하는 내용은 AI가 진실된 문서들을 이해하는 방식에 영향을 미칠 수 있으며, 결과적으로 전체 답변을 오염시킬 수 있습니다.

이를 해결하기 위해 연구팀은 '희소 문서 주의 집중(Sparse Document Attention)'이라는 새로운 방어 전략을 도입했습니다. AI가 검색된 세트 내의 모든 단어가 다른 모든 단어를 살펴보도록 허용하는 대신, 이 방법은 문서 사이에 엄격한 경계를 만듭니다. 이는 시스템이 각 검색된 문서를 하나의 고립된 섬으로 취급하도록 강제합니다. 단일 문서 내에서는 단어들이 맥락을 유지하기 위해 서로를 참조할 수 있지만, 다른 검색된 문서의 단어들을 보거나 그로부터 영향을 받는 것은 완전히 차단됩니다. 이러한 변화는 시스템이 답변을 생성할 때만 적용되며, 기본 AI 모델을 재학습시키거나 소프트웨어 파이프라인에 복잡한 기능을 추가할 필요가 없습니다. 이는 주의 집중(attention)의 규칙을 단순하게 조정한 것으로, 거짓말쟁이와 진실을 말하는 자 사이의 해로운 교차 대화(cross-talk)를 방지합니다.

연구진은 다양한 시나리오에 걸쳐 서로 다른 질문 답변 데이터셋과 여러 유형의 언어 모델을 사용하여 이 접근 방식을 엄격하게 테스트했습니다. 그들은 공격자가 AI를 특정 오답으로 유도하기 위해 설계된 오도하는 문서들을 주입하는 상황을 시뮬레이션했습니다. 이 테스트에서, 문서들이 서로 영향을 주고받도록 허용했던 표준 시스템은 빈번하게 속임수에 빠져 공격자가 원하는 거짓 답변을 생성하곤 했습니다. 반면, 새로운 희소 주의 집중 방식을 사용한 시스템은 훨씬 더 높은 회복력을 보여주었습니다. 이 시스템은 대다수의 경우에서 오염된 문서를 성공적으로 무시했으며, 답변의 정확성을 유지하고 공격의 성공률을 획기적으로 낮추었습니다. 개선 효과가 매우 커서, 이 새로운 방식은 이러한 공격을 잡아내기 위해 개발된 기존의 더 복잡한 방어 전략들보다 우수한 성능을 보였습니다.

연구는 또한 가짜 문서의 위치가 결과에 어떤 영향을 미치는지 탐구했습니다. 그들은 만약 기만적인 문서가 진실된 문서들과 내용 면에서 매우 유사할 경우, 시스템이 그 영향에 저항하기가 더 어려워진다는 것을 발견했습니다. 그러나 새로운 방식은 이러한 어려운 상황에서도 여전히 효과적이었습니다. 나아가, 연구진은 이 방어책이 여러 문서의 정보를 결합해야 하는 다단계 추론 질문과 같은 복잡한 문제를 해결하도록 AI에게 요청될 때도 잘 작동한다는 것을 발견했습니다. 초기 설정에서는 표준 방식에 비해 약간의 성능 저하가 나타났으나, 연구진은 모델을 새로운 규칙에 맞춰 짧은 기간 동안 미세 조정(fine-tuning)함으로써 이 손실을 완전히 회복할 수 있음을 찾아냈습니다. 그 결과, 공격에는 강력하면서도 매우 정확한 시스템을 구현해 냈습니다.

이 연구 결과는 AI가 소스 자료를 바라보는 방식이 자료 그 자체만큼이나 중요하다는 것을 시사합니다. 단순히 서로 다른 문서들이 서로 대화하는 것을 막는 것만으로도 시스템을 속이기가 훨씬 어려워집니다. 이 접근법은 검색 기반 AI 시스템을 보호할 수 있는 실용적이고 효율적인 방법을 제공하며, 시스템이 가장 설득력 있는 거짓말에 휘둘리는 대신 진실에 의존하도록 보장합니다. 이 연구는 이러한 시스템을 보호하기 위한 새로운 기준을 세우며, 정보를 처리하는 방식에 대한 근본적인 변화가 복잡한 탐지 도구들을 층층이 쌓는 것보다 더 효과적일 수 있음을 보여줍니다.

기술 요약: 희소 주의 집중(Sparse Attention)을 이용한 RAG의 코퍼스 지식 오염 공격 대응

문제 정의

검색 증강 생성(RAG)은 대규모 언어 모델(LLM)의 지식을 업데이트하고 환각 현상을 줄이기 위한 지배적인 패러다임입니다. 그러나 RAG 시스템은 공격자가 의도적으로 잘못된 응답을 유도하기 위해 검색 코퍼스에 기만적이거나 악의적인 문서를 주입하는 **코퍼스 지식 오염 공격(corpus knowledge poisoning attacks)**에 취약합니다.

저자들은 RAG의 근본적이고 종종 간과되는 취약점이 디코더 전용(decoder-only) LLM에서 사용되는 표준 인과적 주의 집중(standard causal attention) 메커니즘에서 비롯된다고 주장합니다. 표준 RAG 파이프라인에서는 검색된 문서들이 하나의 프롬프트로 결합됩니다. 인과적 주의 집중 하에서는 한 검색 문서의 토큰이 다른 검색 문서의 토큰을 참조(attend to)하거나 그 영향을 받을 수 있습니다. 검색된 세트에 상충하는 정보(예: 올바른 양질의 문서와 주입된 적대적 문서)가 포함될 경우, 이러한 문서 간 교차 주의 집중(cross-document attention)을 통해 적대적 콘텐츠가 양질의 문서의 은닉 상태(hidden states)를 오염시켜 잘못된 생성을 유도하게 됩니다.

방법론: 희소 문서 주의 집중 RAG (SDAG)

이러로써 저자들은 모델 미세 조정이나 구조적 변경 없이 추론 시 주의 집중 마스크(attention mask)를 수정하는 방어 메커니즘인 **희소 문서 주의 집중 RAG (Sparse Document Attention RAG, SDAG)**를 제안합니다.

핵심 메커니즘

SDAG는 검색된 문서들에 대해 블록 희소 주의 집중(block-sparse attention) 패턴을 강제합니다:

문서 내 주의 집중 (Intra-document Attention): 단일 검색 문서 내의 토큰은 해당 문서 내의 이전 토큰들을 참조할 수 있습니다.
문서 간 차단 (Inter-document Blocking): 서로 다른 검색 문서 간의 교차 주의 집중은 명시적으로 비활성화됩니다. 즉, 문서 $d_i$ 의 토큰은 문서 $d_j$ ( $i \neq j$ )의 토큰을 참조할 수 없습니다.
컨텍스트 보존 (Preserved Context): 태스크 지시문 블록( $B_T$ )과 생성기 컨텍스트 블록( $B_C$ )의 토큰은 표준 인과적 주의 집중을 유지하여, 이전의 모든 토큰을 참조할 수 있습니다. 마찬가지로, 생성된 토큰들은 시퀀스의 모든 이전 토큰을 참조할 수 있습니다.

구현

최소한의 오버헤드: 이 방법은 추론 시 주의 집중 마스크를 수정하는 것만으로 구현 가능합니다.
호환성: 모든 디코더 전용 LLM과 호환되며, 기존의 생성 전 방어 방법(예: 문서 필터링 또는 판별)과 통합될 수 있습니다.
학습 불필요: 많은 방어 전략과 달리, SDAG는 생성기를 미세 조정하거나 추가적인 판별기를 학습시킬 필요가 없습니다.

실험 설정

저자들은 다음과 같은 다차원적인 측면에서 엄격한 경험적 평가를 수행했습니다:

데이터셋: HotpotQA (multi-hop), TriviaQA, Natural Questions (NQ) (single-hop)를 사용하였으며, 코퍼스로는 영어 위키피디아 덤프를 사용했습니다.
모델: 세 가지 생성기 LLM (Llama-8B, Qwen-7B, Mistral-7B)과 다양한 검색기 (E5, Contriever, BM25)를 사용했습니다.
공격 전략:
- In-Set vs. In-Corpus: 적대적 문서가 검색 세트 내에 있음이 보장되는 시나리오와, 코퍼스에 주입되어 검색될 수도 있고 안 될 수도 있는 시나리오를 평가했습니다.
- 문서 개수: 단일 문서 공격 및 다중 문서 공격 (2개 또는 3개의 적대적 문서)을 평가했습니다.
- 공간적 전략: 무작위 선택(Random selection), "근접(Near)" (임베딩 공간에서 양질의 문서와 가까운 경우), "원거리(Far)" (임베딩 공간에서 먼 경우)를 비교했습니다.
- 적응형 공격 (Adaptive Attacks): 공격자가 양질의 문서나 이전 모델의 응답을 관찰하여 공격을 정교화하는 시나리오입니다.
베이스라인: 표준 인과적 주의 집중 RAG (CARG), RAGDefender (필터링 기반), Discern&Answer (판별기 기반).
지표: 정확도 (ACC) 및 공격 성공률 (ASR).

주요 결과

1. 표준 주의 집중 대비 우월성 (RQ1)

SDAG는 적대적 환경에서 표준 인과적 주의 집중 RAG (CARG)보다 일관되게 우수한 성능을 보였습니다:

ASR 감소: SDAG는 모든 데이터셋, 생성기, 검색기에 대해 공격 성공률(ASR)을 유의미하게 낮추었습니다. 예를 들어, NQ 데이터셋에 대한 단일 문서 공격에서 SDAG는 여러 구성에서 CARG 대비 ASR을 절반 이상 감소시켰습니다.
정확도 향상: 대부분의 경우, SDAG는 CARG에 비해 생성된 답변의 정확도를 높였는데, 이는 문서 간 교차 주의 집중을 차단함으로써 양질의 정보의 무결성을 보존함을 나타냅니다.
강건성: SDAG는 단일 홉(single-hop) 및 멀티 홉(multi-hop) 질문 모두에서 방어 효과를 유지하며, 이는 SDAG가 문서 간 정보를 합성하는 모델의 능력을 저해하지 않음을 입증합니다 (오라클 설정에서의 비적대적 상황을 통해 검증됨).

2. 최신 방어 기법과의 비교 (RQ2)

단일 문서 공격: SDAG는 단일 문서 공격 시나리오에서 기존의 최첨단 방어 기법들(RAGDefender 및 Discern&Answer)보다 뛰어난 성능을 보였습니다. 이는 매우 중요한 발견으로, 기존의 많은 방어 기법들이 여러 개의 적대적 문서 사이의 유사성을 탐지하는 데 의존하며, 단 하나의 악의적 문서만 존재할 때는 실패한다는 점을 시사합니다.
다중 문서 공격: SDAG를 기존 방어 기법(특히 RAGDefender)과 통합했을 때, 결합된 접근 방식은 베이스라인 단독 사용 시보다 ASR과 정확도 모두에서 통계적으로 유의미한 개선을 달성하며 새로운 최첨단(state-of-the-art) 성능을 구축했습니다.

3. 공간적 위치 분석 (RQ3)

저자들은 임베딩 공간에서 적대적 문서와 양질의 문서 사이의 기하학적 거리와 공격 효과 사이의 관계를 분석했습니다:

근접 효과: 적대적 문서가 임베딩 공간에서 양질의 문서 중심점 근처에 있는 "Near" 상태일 때 공격이 더 효과적이었습니다. "Far" 공격은 덜 성공적이었습니다.
방어 효능: 적대적 문서가 양질의 집합으로부터 기하학적으로 멀리 떨어져 있을 때 SDAG가 CARG 대비 보여주는 상대적인 성능 우위가 더욱 두드러졌으며, 이는 블록 희소 주의 집중 메커니즘이 구별된 의미론적 클러스터를 격리하는 데 특히 효과적임을 시사합니다.

의의 및 주장

본 논문은 다음과 같은 기여와 의의를 주장합니다:

근본적인 결함 식별: 저자들은 표준 인과적 주의 집중 메커니즘이 코퍼스 오염의 주요 경로이며, 여기서 문서 간 상호작용을 통해 적대적 콘텐츠가 양질의 컨텍스트를 오염시킨다는 점을 밝혀냈습니다.
새롭고 가벼운 방어책: SDAG는 미세 조정이나 추가적인 파이프라인 구성 요소 없이, 오직 추론 시의 최소한의 변경(마스크 수정)만으로 작동하는 실용적인 방어를 제공합니다.
최첨단 성능: SDAG는 특히 그동안 충분히 연구되지 않았던 단일 문서 공격 시나리오에서 RAG의 강건성에 대한 새로운 벤치마크를 설정했습니다. 다른 방어 기법과 결합하여 더 우수한 복합 방어를 만들어내는 능력은 그 범용성을 강조합니다.
공격 역학에 대한 통찰: 임베딩 공간 내 위치에 대한 분석은 공격자가 어떻게 주입 공격을 최적화하는지, 그리고 방어 체계가 어떻게 기하학적 분리를 활용하여 강건성을 높일 수 있는지에 대한 새로운 통찰을 제공합니다.

저자들은 제한 사항으로, 주의 집중 마스크 제어가 필요하기 때문에 오픈 소스 모델에 국한되었다는 점, 영어 위키피디아 기반 QA에 집중했다는 점, 그리고 대부분의 실험에서 상대적으로 작은 규모의 LLM(7B-8B)을 사용했다는 점을 언급했습니다. 다만, 더 큰 모델(70B)과 추론 능력이 있는 모델들도 이 방식의 혜택을 받는다는 점을 덧붙였습니다.