ReliabilityRAG: RAG 기반 웹 검색을 위한 효과적이고 검증 가능한 강력한 방어 기술

이 논문은 검색 증강 생성 (RAG) 시스템, 특히 웹 검색과 결합된 RAG (예: Google Search AI Overview, Bing Chat 등) 가 직면한 취약점을 해결하기 위해 제안된 ReliabilityRAG 프레임워크를 소개합니다. RAG 는 외부 문서에서 정보를 검색하여 LLM 의 응답을 생성하지만, 검색된 문서 코퍼스가 적대적 공격 (예: 프롬프트 인젝션, 코퍼스 오염) 에 의해 오염될 경우 심각한 오류나 악성 출력을 초래할 수 있습니다. 기존 방어 기법들은 검색된 문서의 신뢰도 신호 (예: 검색 엔진 순위) 를 활용하지 못하거나, 복잡한 생성 작업에서 성능이 저하되는 한계가 있었습니다.

1. 문제 정의 (Problem)

• 취약성: RAG 기반 검색 시스템은 검색 엔진이 반환한 문서 중 일부가 적대자에 의해 조작될 경우 (Corpus Poisoning, Prompt Injection), LLM 이 잘못된 정보를 학습하거나 악성 지시를 따르게 되어 허위 사실이나 악성 콘텐츠를 생성할 수 있습니다.
• 기존 방어 기법의 한계:
  • RobustRAG와 같은 기존 방어 프레임워크는 단순한 다수결 (Majority Voting) 방식을 사용하지만, 자유 형식의 자연어에서 의미 있는 다수결을 정의하기 어렵고, 키워드 기반이나 토큰 확률 기반의 투표는 중요한 정보 손실을 초래하여 장문 생성 (Long-form generation) 작업에서 성능이 크게 떨어집니다.
  • 대부분의 기존 방어 기법은 검색된 문서들을 순서가 없는 집합으로만 취급하여, 검색 엔진이 제공하는 **문서 순위 (Rank)**나 **신뢰도 점수 (Reliability Score)**와 같은 강력한 신호를 활용하지 못합니다.
• 기회: 검색 엔진은 수십 년간 SEO 공격을 막기 위해 고도화된 방어 기법을 갖추고 있어, 상위 랭킹의 문서를 오염시키는 것은 하위 랭킹 문서를 오염시키는 것보다 훨씬 어렵습니다. 따라서 문서의 순위나 신뢰도 정보를 방어 메커니즘에 통합할 수 있습니다.

2. 방법론 (Methodology)

ReliabilityRAG 는 검색된 문서의 신뢰도 정보를 명시적으로 활용하여 악성 문서를 필터링하고, 신뢰할 수 있는 문서 집합을 선택하는 두 가지 주요 접근법을 제안합니다.

2.1. 순서 기반 신뢰도 (Ordinal-Reliability) 설정: MIS 기반 알고리즘

검색된 문서의 순위 정보만 주어지는 상황을 가정합니다.

• 모순 그래프 (Contradiction Graph) 구축:
  1. 고립된 답변 생성 (Isolated Answering): 검색된 각 문서 $x_i$에 대해 LLM 에게 질문 $q$와 해당 문서만 입력하여 개별 답변 $y_i$를 생성합니다.
  2. 모순 테스트: 자연어 추론 (NLI) 모델을 사용하여 모든 답변 쌍 $(y_i, y_j)$ 간의 모순 관계를 확인합니다. 모순일 확률이 임계값을 초과하면 두 문서 간에 간선 (Edge) 을 연결합니다.
  3. 그래프 인코딩: 문서들을 정점 (Vertex), 모순 관계를 간선 (Edge) 으로 하는 무방향 그래프를 구성합니다.
• 순위 인식 최대 독립 집합 (Rank-Aware MIS) 탐색:
  • 이 그래프에서 **최대 독립 집합 (Maximum Independent Set, MIS)**을 찾습니다. 독립 집합은 서로 모순되지 않는 문서들의 최대 집합을 의미합니다.
  • 핵심 전략: 여러 개의 MIS 가 존재할 경우, 더 높은 순위 (더 높은 신뢰도) 를 가진 문서들을 포함하는 집합을 우선적으로 선택합니다. (예: 사전적 순서로 더 작은 인덱스를 가진 문서 집합을 선택).
  • 이 선택된 문서 집합만을 사용하여 최종 LLM 응답을 생성합니다.
• 이론적 보장: NLI 모델의 오류율이 일정 수준 이하이고, 악성 문서의 수가 전체 문서의 1/5 미만이 라는 가정 하에, 악성 문서가 선택된 집합에 포함될 확률이 문서 수 $k$가 커짐에 따라 지수적으로 감소함을 수학적으로 증명했습니다.

2.2. 수치 기반 신뢰도 (Cardinal-Reliability) 설정: 가중치 샘플링 및 집계 프레임워크

문서에 순위뿐만 아니라 구체적인 신뢰도 점수 (가중치) 가 주어지거나, 검색 문서 수가 매우 많은 (예: $k=50$ 이상) 상황을 처리하기 위해 제안되었습니다.

• 가중치 샘플링 (Weighted Sampling):
  • 각 문서의 신뢰도 점수를 기반으로 가중치를 부여합니다 (예: 상위 문서일수록 높은 가중치).
  • $T$번의 반복에서, 가중치에 비례하여 확률적으로 문서 집합 (Context) 을 샘플링합니다.
• 집계 (Aggregation):
  • 각 샘플링된 집합에 대해 중간 답변을 생성한 후, 이를 집계하여 최종 답변을 도출합니다.
  • 집계기 (Aggregator) 로서 위의 MIS 기반 선택 알고리즘을 사용할 수 있습니다. 즉, 샘플링된 작은 집합 내에서 MIS 를 찾아 신뢰할 수 있는 문서를 선별한 후 이를 기반으로 답변을 생성합니다.
• 확장성: 이 방식은 대규모 문서 집합에서도 계산 비용을 줄이면서도 RobustRAG 와 같은 기존 방법보다 우수한 견고성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 신뢰도 신호 활용: RAG 방어 메커니즘에 검색 엔진의 순위나 신뢰도 점수를 명시적으로 통합한 최초의 프레임워크 중 하나입니다.
2. 그래프 이론 기반 방어: 문서 간의 모순 관계를 그래프로 모델링하고, 순위 정보를 반영한 최대 독립 집합 (MIS) 탐색을 통해 악성 문서를 효과적으로 필터링하는 새로운 알고리즘을 제안했습니다.
3. 검증 가능한 견고성 (Provably Robustness): NLI 모델의 성능과 공격의 규모에 대한 자연스러운 가정 하에, 방어 알고리즘이 악성 문서를 배제할 확률에 대한 이론적 보장을 제공했습니다.
4. 확장 가능한 프레임워크: 대규모 문서 집합을 처리하기 위한 가중치 샘플링 및 집계 방식을 제안하여, 실제 웹 검색 환경에서의 실용성을 높였습니다.
5. 성능 검증: 다양한 벤치마크 (RealtimeQA, Natural Questions, TriviaQA, Biography 생성) 와 LLM (Mistral, Llama, GPT-4o-mini) 을 통해 기존 방어 기법 (RobustRAG, AstuteRAG 등) 보다 우수한 공격 저항성과 정상적인 상황에서의 높은 정확도를 입증했습니다.

4. 실험 결과 (Results)

• 공격 저항성 (Robustness):
  • 프롬프트 인젝션 (Prompt Injection) 및 코퍼스 오염 (Corpus Poisoning) 공격에 대해 기존 방법들 (Vanilla RAG, RobustRAG, AstuteRAG 등) 보다 월등히 높은 정확도를 유지했습니다.
  • 특히, 장문 생성 (Biography generation) 작업에서 기존 견고성 중심 방법들이 성능이 급격히 떨어지는 반면, ReliabilityRAG 는 높은 점수를 유지했습니다.
  • 공격이 하위 랭킹 문서 (신뢰도 낮음) 에 집중될 때 방어 성능이 더욱 향상되는 것을 확인했습니다 (순위 인식 방어).
• 정상 상황 성능 (Benign Accuracy):
  • 공격이 없는 상황에서도 기존 RAG 시스템과 유사하거나 더 높은 정확도를 보여주어, 방어 메커니즘이 정상적인 정보 접근을 방해하지 않음을 입증했습니다.
• 다중 위치 공격 (Multi-Position Attacks):
  • 여러 문서가 동시에 오염되었을 때, ReliabilityRAG 는 성능이 점진적으로 저하되는 (Graceful degradation) 반면, RobustRAG 는 급격히 무너지는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

ReliabilityRAG 는 RAG 시스템의 보안 취약점을 해결하기 위한 중요한 진전입니다.

• 실용성: 검색 엔진이 이미 보유하고 있는 강력한 신뢰도 신호 (순위) 를 활용함으로써, 별도의 복잡한 학습이나 인프라 변경 없이도 효과적인 방어가 가능합니다.
• 이론적 엄밀성: 단순한 휴리스틱을 넘어, 수학적 모델을 통해 방어 성능을 보장하는 '검증 가능한 (Provably Robust)' 방어 체계를 제시했습니다.
• 미래 지향성: 이 연구는 RAG 시스템이 복잡한 현실 세계의 정보 환경 (가짜 뉴스, SEO 조작 등) 에서도 신뢰할 수 있는 답변을 제공할 수 있는 기반을 마련했습니다. 특히, 웹 검색과 결합된 AI 시스템의 신뢰성을 높이는 데 핵심적인 역할을 할 것으로 기대됩니다.

요약하자면, ReliabilityRAG 는 **"검색된 문서의 신뢰도 (순위) 를 활용하여 모순 관계를 그래프로 분석하고, 신뢰할 수 있는 문서 집합을 선별함으로써 RAG 시스템의 적대적 공격에 대한 견고성을 획기적으로 높인 프레임워크"**입니다.