기술 요약: ADMIT – RAG 기반 사실 확인에 대한 퓨샷 지식 중독 공격

1. 문제 정의

검색 증강 생성 (RAG) 시스템은 외부 지식을 통합하여 환각 현상과 지식의 유효 기간 문제를 완화함으로써 대규모 언어 모델 (LLM) 을 강화합니다. 그러나 이러한 시스템은 공격자가 LLM 의 출력을 조작하기 위해 지식 베이스에 적대적 콘텐츠를 주입하는 지식 중독에 취약합니다.

기존의 지식 중독 관련 문헌은 실제 세계의 사실 확인 시나리오에 비현실적인 가정에 자주 의존합니다:

1. 양적 우세: 검색된 컨텍스트에서 악성 콘텐츠가 지배적이라고 가정합니다. 반면, 실제 세계 시스템은 신뢰할 수 있는 출처 (예: 뉴스 매체, 의료 데이터베이스) 에서 권위 있는 증거를 검색하며, 여기서 신뢰할 수 있는 정보가 우세합니다.
2. 정당성 부재: LLM 이 일관된 정당성을 요구하지 않고 잘못된 답변을 생성한다고 가정합니다. 이는 설득력 있는 결론을 도출하기 위해 에이전트 기반 추론을 활용하는 현대적인 RAG 파이프라인을 무시합니다.
3. 시스템 접근성: 공격자가 검색기나 LLM 내부에 접근할 수 있다고 자주 가정하지만, 실제 세계의 공격은 일반적으로 블랙박스 방식입니다.

본 논문은 다음과 같은 중요한 질문에 답합니다: 신뢰할 수 있는 지지 증거가 검색된 컨텍스트에 공존할 때, 현대적인 LLM 기반 RAG 시스템은 여전히 견고할 수 있는가?

2. 방법론: ADMIT

저자들은 **ADMIT(Adversarial Multi-Injection Technique, 적대적 다중 주입 기법)**을 제안합니다. 이는 타겟 LLM, 검색기, 또는 토큰 수준의 제어에 접근하지 않고도 사실 확인 결정을 뒤집고 기만적인 정당성을 유도하도록 설계된 퓨샷, 의미 정렬형 중독 공격입니다.

2.1 위협 모델

• 블랙박스 접근: 공격자는 피해자의 검색기나 LLM 에 접근할 수 없습니다.
• 퓨샷 주입: 공격자는 지식 베이스에 최소한의 적대적 단락 ($m$) 을 주입하며, 여기서 $m \le k$ (검색된 단락의 수) 입니다. 1-샷 설정에서 단일 악성 단락은 잠재적으로 4 개의 정제된 단락을 대체해야 합니다.
• 의미 정렬: 주입된 콘텐츠는 nonsensical 하거나 노골적인 악성 지시 (예: "이전 지시 무시") 를 포함해서는 안 됩니다. 이는 합법적인 뉴스나 증거를 모방하는 일관된 인간이 읽을 수 있는 단락이어야 합니다.

2.2 핵심 구성 요소

ADMIT 은 타겟 환경을 시뮬레이션하기 위해 프록시 검증 설정을 통해 작동합니다:

1. 프록시 단락 구성:

   • 검색 기반: 공격자는 경량 LLM 을 사용하여 주장에서 다양한 쿼리를 생성하고, 오픈 웹 소스에서 문서를 검색한 후, 대상 주장을 반박하는 단락을 찾기 위해 이를 필터링합니다.
   • LLM 기반: 제한된 시나리오의 경우, 공격자는 LLM 에 대상 주장의 반대 입장을 지지하는 단락을 생성하도록 프롬프트를 입력합니다.
   • 이러한 프록시 단락은 적대적 단락이 최적화되는 "정제된" 컨텍스트 역할을 합니다.

2. 적대적 다중 주입 (공격 루프):

   • 단일 턴 생성: 프록시 컨텍스트를 기반으로 초기 적대적 단락이 생성됩니다.
   • 멀티 턴 최적화: 단일 턴 생성이 실패할 경우, 공격자는 반복 피드백 루프를 사용합니다. 공격자 LLM($A$) 은 이전 검증 결과 ($\tilde{V}$) 와 프록시 컨텍스트 ($R_{proxy}$) 를 기반으로 적대적 단락 ($p$) 을 업데이트합니다.
   • 메모리 초기화: 컨텍스트 저하를 방지하기 위해 메모리는 $L$회 반복마다 재설정되어 단락 생성을 재개하고 새로운 의미 방향을 탐색합니다.
   • 목표: $\tilde{f}_{verify}(C_i, R_{proxy} \cup p) \approx V^{target}_i$가 되도록 단락 $p$를 찾는 것입니다. 이는 의미적 일관성을 유지하면서 판정을 효과적으로 뒤집는 것을 목표로 합니다.

3. 적대적 접두사 증강:

   • 정제된 증거가 존재함에도 불구하고 적대적 단락이 검색되도록 하기 위해, 공격자는 프록시 단락 구성에 사용된 검색 쿼리를 적대적 텍스트 앞에 추가합니다. 이는 검색기가 쿼리 키워드와 일치하는 경향을 악용하여 악성 콘텐츠의 검색 확률을 높입니다.

3. 주요 기여

• 새로운 공격 패러다임: ADMIT 는 신뢰할 수 있는 증거가 검색 풀을 지배하는 퓨샷 설정에서 효과적인 지식 중독을 최초로 입증한 연구입니다. 이는 성공을 위해 대규모 주입이 필요하다는 가정에 도전합니다.
• 기만적 정당성: 노골적인 지시나 불일관된 텍스트 생성에 의존하는 이전 공격과 달리, ADMIT 는 뒤집힌 판정에 대한 기만적 정당성을 포함하는 의미적으로 일관된 인간이 읽을 수 있는 허위 정보를 생성합니다.
• 블랙박스 적용 가능성: 이 방법은 피해 시스템에 대한 화이트박스 접근이 필요하지 않으며, 프록시 검증자와 공개 검색 엔진에만 의존합니다.
• 종합적 평가: 이 공격은 4 개의 교차 도메인 벤치마크 (FEVER, SciFact, Climate-FEVER, HealthVer), 11 개의 LLM(오픈소스, 상업용, 추론 모델 포함), 그리고 4 개의 서로 다른 검색기에 대해 평가되었습니다.

4. 실험 결과

• 높은 공격 성공률 (ASR): ADMIT 는 극도로 낮은 중독률 ($0.93 \times 10^{-6}$) 로 모든 설정에서 평균 ASR **86%**를 달성합니다.
• 기존 방법 대비 우위: 최첨단 방법 (PoisonedRAG, CorruptRAG, 프롬프트 주입 등) 과 비교할 때, ADMIT 는 평균 ASR 을 11.2% 향상시킵니다. 특히, 기존 방법들이 종종 상업용 LLM(예: GPT-4o) 에서 실패하는 반면, ADMIT 는 높은 효과를 유지합니다.
• 반증에 대한 견고성: 검색된 컨텍스트에 강력한 사실적 반증 (예: 4 개의 정제된 단락 대 1 개의 악성 단락) 이 존재할지라도, ADMIT 는 오픈소스 LLM 에서 80%, 상업용 시스템에서 **65%**의 경우 성공적으로 판정을 뒤집습니다.
• 전이성: 이 공격은 보지 못한 검색기와 LLM 간에 효과적으로 전이됩니다. 사실 일관성을 위해 설계된 추론 중심 모델 (예: o1-mini) 도 취약한 것으로 밝혀졌으며, ASR 은 60~70% 에 달했습니다.
• 방어 회피: ADMIT 는 기존 방어 기법을 일관되게 우회합니다.
  • 가짜 뉴스 탐지: LLM 기반 분류기는 ADMIT 단락을 실제 뉴스와 구별하지 못합니다 (AUC 점수가 무작위 확률 수준).
  • 통계적 탐지: Perplexity(PPL) 및 ROUGE-N 유사도 지표는 생성된 콘텐츠의 의미적 일관성으로 인해 적대적 단락과 정제된 단락을 분리하지 못합니다.
  • 지식 통합: "분할 및 투표"나 클러스터링과 같은 전략은 중독을 완화하기보다 오히려 적대적 영향을 증폭시키는 경우가 많습니다.
  • 에이전트 기반 방어: 작업을 검색 및 반성 단계로 분해하는 ReAct 에이전트는 여전히 매우 취약하며, 주입량이 증가함에 따라 ASR 은 88~94% 로 상승합니다.

5. 중요성 및 주장

본 논문은 사실적 견고성이 LLM 의 규모나 추론 능력에서 자동으로 도출되는 것은 아니다라고 주장합니다. ADMIT 의 존재는 실제 세계의 RAG 기반 사실 확인 시스템에 상당한 구조적 취약점이 있음을 드러냅니다.

• 하이브리드 시스템의 취약성: 이 연구는 시스템이 다양한 신뢰할 수 있는 출처를 집계하더라도, 단일의 잘 만들어진 적대적 단락이 권위 있는 증거를 대체할 수 있음을 보여줍니다.
• 현재 방어 기법의 한계: 기존 방어 기법 (통계적 필터링, 가짜 뉴스 탐지, 지식 통합) 은 의미 정렬된 퓨샷 중독에 대해 불충분합니다.
• AI 안전에 대한 함의: 이 발견들은 출처 추적, 불확실성 평가, 검색된 컨텍스트를 넘어선 추론과 같은 표면적 일관성을 넘어선 방어책의 시급한 필요성을 강조합니다.

저자들은 그들의 작업이 순수하게 방어적이며, 취약점을 체계적으로 평가함으로써 더 견고한 사실 확인 시스템 설계에 정보를 제공하기 위한 것이라고 강조합니다. 그들은 공격이 효과적이지만, 특정 조건 (예: 공개 지식 베이스에 주입할 수 있는 능력) 에 의존하며 모든 RAG 시스템을 보편적으로 무너뜨린다고 주장하지는 않지만, 오히려 중요하면서도 미탐구된 공격 표면을 드러낸다고 지적합니다.