기술 요약: PRA-RAG

문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템은 외부 지식을 통합하여 대규모 언어 모델(LLM)을 강화하지만, **검색 오염 공격(retrieval corruption attacks)**에 취약한 상태로 남아 있습니다. 이러한 시나리오에서 공격자는 외부 지식 데이터베이스에 악의적인 텍스트(오염된 문서)를 주입합니다. 사용자의 질의가 처리될 때, 검색기가 이러한 오염된 텍스트를 선택하면 LLM이 공격자가 의도한 잘못된 출력(예: "가장 높은 산은 무엇인가?"라는 질문에 "후지산"이라고 답변하도록 유도)을 생성하도록 조종할 수 있습니다.

기존의 방어 기제들은 다음과 같은 상당한 한계점을 가집니다:

• 이론적 보증의 부재: 대부분의 방법(예: AstuteRAG, TrustRAG)은 휴리스틱 탐지나 LLM의 내부 지식에 의존하며, 강건성에 대한 공식적인 인증을 제공하지 못합니다.
• LLM 지식에 대한 의존성: 오염된 콘텐츠를 인식해야 하는 방어 방식은 모델이 악의적인 입력을 구별할 충분한 도메인 지식을 갖추지 못한 경우 실패합니다.
• 높은 계산 오버헤드: RobustRAG와 같이 이론적 보증을 제공하는 방법들은 종종 여러 번의 LLM 생성을 요구하여 과도한 지연 시간을 초래합니다.
• 검증되지 않은 신뢰성: 현재의 접근 방식들은 오염의 최대 영향을 측정하거나 적대적 조건 하에서 시스템의 강건성을 인증할 수 있는 정량적 프레임워크가 부족합니다.

방법론: PRA-RAG

저자들은 LLM의 내부 지식에 의존하지 않고 검색 단계에서의 오염을 완화하기 위해 설계된 모델 불가지론적(model-agnostic) 집합 알고리즘인 PRA-RAG(Provably Robust Aggregation in Retrieval-Augmented Generation)를 제안합니다.

핵심 워크플로우

1. 다양한 검색(Diverse Retrieval): 시스템은 정보의 다양성을 높이고 단일 악의적 텍스트의 영향력을 희석하기 위해 표준 요구 사항보다 더 큰 규모의 Top-$K$ 문서 세트를 의도적으로 검색합니다.
2. 조합 샘플링(Combinatorial Sampling): 검색된 세트는 크기가 $n$인 여러 개의 하위 집합으로 분해됩니다. 각 하위 집합은 고차원 임베딩 벡터로 인코딩됩니다.
3. 기하학적 강건 집합(Geometric Robust Aggregation):
   • 알고리즘은 임베딩 공간 내에서 작동하여 하위 집합 임베딩의 절반 이상을 포함하는 **최소 반경 구(minimum-radius ball)**를 식별합니다.
   • 이 구의 중심은 다수(정상) 텍스트의 합의를 포착하면서 이상치(오염된 텍스트)를 제외하는 "강건한 하위 집합"을 나타냅니다.
   • 이 접근 방식은 **조합적 다수(combinatorial majority)**에 의존합니다: 오염된 텍스트의 수 $\epsilon$이 $K$와 $n$에 대한 특정 임계값보다 낮은 한, 정상적인 하위 집합의 수가 오염된 하위 집합의 수보다 많게 됩니다.
4. 가중 집합(Weighted Aggregation): 선택된 강건한 하위 집합 내의 임베딩들에 대한 가중 평균을 계산하여 LLM을 위한 최종 컨텍스트를 생성합니다.

이론적 프레임워크

본 논문은 증명 가능한 평균 편차(Provable Average Deviation, PAD) 지표를 도입합니다. 오염에 의한 의미적 변화를 집합 섭동(set perturbation) 문제로 모델링함으로써, 저자들은 정상 데이터와 오염된 데이터 간의 집합 표현 차이에 대한 이론적 상한선을 도출합니다.

• 인증(Certification): 이 방법은 의미적 편차에 대한 인증된 경계($d \le (1+\beta)\hat{R}$)를 제공하여, 공격 상황에서도 집합된 출력이 통제 가능한 범위 내에 머물도록 보장합니다.
• 확장성(Scalability): 하위 집합의 조합 폭발($\binom{K}{n}$)을 처리하기 위해 저자들은 몬테카를로 샘플링(Monte Carlo sampling) 전략을 채택합니다. 저자들은 조합의 일부를 샘플링하는 것이 상당한 성능 저하 없이 최적의 강건 반경에 대한 통계적으로 유계된 근사치를 제공함을 증명합니다.

주요 기여

1. 이론적 인증: 본 연구는 RAG 시스템에서 오염된 검색으로 인해 발생하는 최대 의미적 편차에 대한 최초의 이론적 특성화 및 인증을 제공하며, 강건성을 평가하기 위한 원칙적인 지표(PAD)를 제시합니다.
2. 증명 가능한 강건 알고리즘: PRA-RAG는 다수 덮개 최소 포함 구(Minimum Enclosing Ball, MEB) 중심을 선택함으로써 LLM 기반의 탐지 없이도 오염된 검색의 영향을 효과적으로 완화하는 기하학적 집합 방법을 도입합니다.
3. 실증적 검증: 다양한 LLM(Mistral, Llama, Vicuna, GPT 변형들)과 다양한 데이터셋(Natural Questions, MS-MARCO, HotpotQA)에 걸친 광범위한 실험을 통해 PRA-RAG가 기존의 최첨단 방어 기제들을 유의미하게 능가함을 입증했습니다.

실험 결과

• 강건성: 20%의 오염율 환경에서, PRA-RAG는 MS-MARCO 데이터셋에서 정확도(ACC) **71%**를 유지하면서 공격 성공률(ASR)을 **1%**까지 낮추었습니다.
• 비교: 이 방법은 PoisonedRAG, Adversarial Decoding, DoS, CorruptRAG와 같은 다양한 공격 전략에 대해 일관되게 베이스라인들을 능가하며 더 낮은 ASR과 더 높은 ACC를 달 기록했습니다.
• 효율성: 여러 번의 LLM 생성을 요구하는 방법들과 달리, PRA-RAG는 비교된 방어 기제 중 가장 낮은 추론 지연 시간을 보여주었습니다 (예: MS-MARCO에서 RobustRAG의 약 27초 대비 약 6초). 이는 실제 배포에 있어 실용적임을 의미합니다.
• 절제 연구(Ablation Studies): 검색되는 텍스트의 수($K$)와 하위 집합 크기($n$)를 늘릴수록 강건성이 향향(낮은 PAD 점수)된다는 점과, 몬테카를로 샘플링이 계산 오버헤드를 줄이면서도 성능을 유지한다는 점을 확인했습니다.

의의 및 주장

본 논문은 방어 패러다임을 탐지 기반(LLM이 거짓을 찾아내도록 함)에서 집합 기반(기하학적 합의를 통해 수학적으로 거짓을 필터링함)으로 전환함으로써 RAG 보안의 중요한 격차를 해결한다고 주장합니다.

• 모델 불가지론적 보증: 강건성 보증은 LLM의 특정 능력에서 유도되는 것이 아니라 검색 임베딩의 기하학적 특성에서 유도되므로, 모델이 검색된 콘텐츠에 대한 지식이 제한적인 경우에도 효과적입니다.
• 정량적 보안: 의미적 편차에 대한 인증된 상한을 제공함으로써, 본 연구는 경험적 관찰을 넘어 적대적 조건 하에서 시스템 신뢰성을 정량적으로 평가할 수 있게 합니다.
• 실용적 생존 가능성: 저자들은 자신들의 접근 방식이 강력한 방어를 달성하면서도 계산 오버헤드가 낮아, 기존의 강건한 방법들에서 보이는 "과잉 거부(over-refusal)"나 높은 지연 시간 없이 보안과 사용성을 균형 있게 맞춘다고 강조합니다.

저자들은 오염된 텍스트의 수가 특정 임계값 미만으로 유지되어야 방어가 작동한다는 점과 하위 집합 구성이 약간의 계산 오버헤드를 발생시킨다는 점을 언급하며 한계점을 인정하였으나, 이는 보안 요구 사항에 따라 조절 가능한 수준이라고 밝혔습니다.