기술 요약: 검색 증강 대규모 언어 모델(RAG)을 위한 추론 비용 공격

문제 정의

검색 증강 생성(RAG) 시스템은 외부 지식 베이스(예: 웹 데이터, 도메인 특화 데이터베이스)로부터 정보를 동적으로 검색하여 응답을 합성함으로써 대규모 언어 모델(LLM)의 성능을 향향시킵니다. 이러한 구조는 효과적이지만, 다단계 추론 파이프라인을 도입하여 운영 비용을 크게 증가시키며, 특히 추론이 전체 계산 GPU 수요의 90% 이상을 차지하기도 합니다.

기존의 추론 비용 공격(Inference Cost Attacks, ICA) 연구는 주로 사용자의 입력 프롬프트를 조작하여 모델이 과도하게 길거나 반복적인 출력을 생성하도록 강제하는 데 집중해 왔습니다. 그러나 이 방식은 공격자가 피해자의 입력 쿼리를 직접 제어할 수 있다는 비현실적인 가정을 전제로 합니다.

본 논문은 중요하지만 간과되었던 취약점인 **검색 증강 추론 비용 공격(Retrieval-Augmented Inference Cost Attacks, RA-ICA)**을 식별합니다. 직접적인 프롬프트 조작과 달리, RA-ICA는 외부 지식 베이스 자체를 표적으로 삼습니다. 검색 가능한 데이터베이스를 오염시킴으로써(예: 공공 웹 지식에 악성 문서를 주입), 공격자는 직접적인 상호작용 없이도 선의의 사용자 쿼리에 대해 고비용 추론을 유발할 수 있습니다. 핵심 과제는 다음과 같은 특성을 가진 악성 문서를 제작하는 것입니다:

1. 검색 가능성(Retrievable): 대상 쿼리에 대해 검색 모듈에 의해 선택될 만큼 충분히 의미론적 관련성을 갖출 것.
2. 비용 증폭성(Cost-Amplifying): LLM이 과도하게 긴 추론 과정이나 토큰 소비를 생성하도록 유도할 것.
3. 은밀성(Stealthy): 최종 답변의 의미론적 정확성을 유지하여 탐지를 피하고 시스템 효용성을 보존할 것.

방법론: CREEP 프레 lackwork

RA-ICA를 실행하기 위해 저자들은 LLM 에이전트를 활용하여 악성 문서를 자율적으로 제작하고 정교화하는 프레임워크인 **CREEP(Computational Resource Exhaustion via External Poisoning)**를 제안합니다.

1. 공격 에이전트 및 전략

이 프레임워크는 기존에 검색된 문서를 수정하는 재작성 기반(Rewrite-based) 에이전트와 문서를 처음부터 생성하는 생성 기반(Generation-based) 에이전트라는 두 가지 유형의 에이전트를 사용하며, 세 가지 구체적인 자원 고갈 전략을 활용합니다:

• 미끼 주입(Decoy Injection): 문서 컨텍스트에 복잡한 다단계 추론 작업(예: 논리 퍼즐 또는 계획 문제)을 주입합니다. 이는 RAG 시스템이 원래의 쿼리 요구 사항을 넘어 추가적이고 계산 집약적인 추론 단계를 수행하도록 강제합니다.
• 모순 주입(Contradiction Injection): 선의의 답변과 사실적으로 상충되는 그럴듯한 진술을 도입합니다. 이는 LLM이 검색된 문서들 사이의 갈등을 판정하기 위해 추가적인 분석을 수행하게 함으로써 토큰 소비를 증가시킵니다.
• 태스크 지향적 조작(Task-Oriented Manipulation): 에이전트에게 구체적인 생성 절차를 규정하지 않고 높은 수준의 목표(검색, 비용 증폭, 은밀성)를 제공하여, 에이전트가 자신의 전체 추론 능력을 활용해 다양한 공격 패턴을 발견하도록 합니다.

2. MA-GRPO를 통한 최적화

사전 학습된 LLM 에이전트가 본질적으로 적대적 비용 증폭을 위해 최적화되어 있지 않을 수 있음을 인식하여, 저자들은 **메모리 증강 그룹 상대 정책 최적화(Memory-Augmented Group Relative Policy Optimization, MA-GRPO)**를 도입합니다.

• 보상 공식화: 보상 함수는 세 가지 구성 요소의 복합체입니다:
  • 검색 보상($R_{retrieval}$): 문서가 실제로 검색되는지를 나타내는 이진 지표.
  • 답변 순도 보상($R_{purity}$): 최종 답변이 선의의 진실과 일치하고 출력에 조작 흔적이 없음을 보장하는 가중 합계.
  • 토큰 소비 비율($R_{TCR}$): 공격받은 토큰 수와 기준 토큰 수의 비율.
• 메모리 증강: 표준 GRPO는 샘플링된 그룹에 낮은 보상을 가진 출력만 포함될 경우 불안정해질 수 있습니다. MA-GRPO는 상위-$k$개의 역사적 최적 적대적 문서들을 유지하는 동적 메모리 버퍼를 통해 이를 해결합니다. 훈련 중에 새로운 후보의 이점(advantage)은 현재 배치와 메모리 버퍼를 모두 포함하는 참조 그룹에 상대적으로 계산됩니다. 이는 훈련을 안정화하고 강력한 공격 패턴의 발견을 가속화합니다.

주요 기여

1. 새로운 공격 패러다임 (RA-ICA): 본 논문은 RAG가 강화된 LLM 시스템에 특화된 최초의 추론 비용 공격을 정의하고 조사하며, 공격 벡터를 사용자 프롬프트에서 외부 지식 오염으로 전환합니다.
2. CREEP 프레임워크: 검색 성공과 계산적 고갈 사이의 균형을 맞추는 악성 문서를 생성하기 위해 LLM 에이전트와 세 가지 뚜렷한 전략(미끼, 모순, 태스크 지향)을 사용하는 새로운 프레임워크를 제시합니다.
3. MA-GRPO 알고리즘: 적대적 문서를 생성하는 효율성과 효과성을 크게 향착시키는 동적 메모리 버퍼를 통합한 강화 학습 알고리즘을 제안합니다.

실험 결과

저자들은 세 가지 실제 데이터셋인 Natural Questions (NQ), HotpotQA, MS MARCO에서 RA-ICA를 평가했습니다. 실험은 Contriever 리트리버를 사용하는 네 가지 피해 LLM(qwen-turbo, GPT-5, claude-sonnet-4, deepseek-r1)을 대상으로 블랙박스 환경에서 수행되었습니다.

• 효과성: RA-ICA는 선의의 추론에 비해 토큰 소비를 최대 13.12배까지 성공적으로 증가시켰습니다.
• 성공률: 이 공격은 데이터셋 전반에 걸쳐 90% 이상의 성공률을 달 기록했습니다.
• 은밀성: 결정적으로, 이 공격은 생성된 답변의 무결성을 유지했습니다. 즉, 시스템은 막대한 계산 비용 증가에도 불구하고 올바른 응답을 계속 제공했습니다.

의의 및 주장

본 논문은 RAG가 강화된 LLM 시스템의 추론 비용 취약성을 탐구한 최초의 연구라고 주장합니다. 저자들은 RAG 시스템이 실시간 웹 검색 및 외부 지식을 점점 더 많이 통합함에 따라, 외부 지식 베이스가 중요한 실질적 취약점이 된다고 주장합니다.

본 연구의 의의는 다음과 같습니다:

• RAG 시스템은 지식 오염을 통한 비용 고갈 공격에 취약하며, 이는 직접적인 프롬프트 조작보다 더 확장 가능하고 실용적인 공격 벡터임을 입증합니다.
• 단 하나의 오염된 문서가 수많은 사용자 쿼리에 영향을 미칠 수 있으며, 이는 운영 비용과 시스템 가용성에 대한 공격의 영향을 증폭시킵니다.
• 현재의 프롬프트 필터링 중심 방어 메커니즘은 불충분합니다. 왜냐하면 이 공격은 출력의 의미론적 정확성을 유지하므로 표준적인 답변 검증을 통해 탐지하기 어렵기 때문입니다.

저자들은 이 연구를 신뢰할 수 있는 생성형 AI를 이해하기 위한 필수적인 단계로 자리매김하며, RAG 아키텍처에서 외부 지식 오염에 대한 강력한 방어 체계의 필요성을 강조합니다.