ToolFlood: Beyond Selection -- Hiding Valid Tools from LLM Agents via Semantic Covering

1. 문제 정의 (Problem Definition)

배경:
대형 언어 모델 (LLM) 에이전트는 복잡한 작업을 수행하기 위해 외부 도구 (API, 데이터베이스 등) 를 활용하며, 이를 위해 임베딩 기반 검색 (Embedding-based Retrieval) 을 사용하여 관련 도구를 Top-k 개로 선별합니다. 기존 연구들은 주로 검색된 도구 목록 내에서 악성 도구가 선택될 확률을 높이는 '선택 단계 (Selection Stage)' 공격에 집중했습니다.

새로운 위협 모델 (Top-k Domination):
이 논문은 기존 연구가 간과한 검색 계층 (Retrieval Layer) 의 취약점을 지적합니다. 공격자가 검색 결과 자체를 장악하여, 정상적인 도구 (Benign Tools) 가 Top-k 목록에 아예 포함되지 않도록 만드는 'Top-k 지배 (Top-k Domination)' 공격을 제안합니다.

• 핵심 문제: 검색 단계에서 정상 도구가 완전히 배제되면, 이후의 선택 단계나 프롬프트 필터링 방어 기법들은 무용지물이 됩니다. 에이전트는 공격자가 선정한 도구만 보고 추론하게 되어, 시스템의 가용성과 무결성이 훼손됩니다.
• 목표: 소수의 공격자 제어 도구를 주입하여, 다양한 사용자 쿼리에 대해 검색된 Top-k 목록을 공격자 도구로만 채워 정상 도구를 은폐하는 것.

2. 방법론 (Methodology: ToolFlood)

ToolFlood 는 임베딩 공간의 기하학적 특성을 악용하여 **의미적 덮기 (Semantic Covering)**를 수행하는 2 단계 공격 전략입니다.

1 단계: 몬테카를로 후보 생성 (Monte Carlo Candidate Generation)

• 목적: 다양한 쿼리 집합을 포괄할 수 있는 다양한 악성 도구 메타데이터 풀을 생성합니다.
• 과정:
  1. 타겟 쿼리 집합 ($Q_{tar}$) 에서 무작위로 소규모 부분집합 ($S_i$) 을 샘플링합니다.
  2. LLM 을 사용하여 해당 부분집합의 모든 쿼리와 의미적으로 연관된 도구 이름과 설명을 생성합니다.
  3. 이 과정을 반복하여 대규모의 후보 도구 풀 ($P_I$) 을 구축합니다.
• 이론적 근거: 충분한 반복을 통해 생성된 풀은 타겟 쿼리 공간 전체를 의미적으로 덮을 수 있는 '탄약'을 확보하게 됩니다.

2 단계: 반복적 탐욕적 의미 다중 덮기 (Iterative Greedy Semantic Multi-Covering)

• 목적: 주어진 주입 예산 ($B$) 내에서, 정상 도구를 완전히 밀어낼 수 있는 최적의 악성 도구 집합을 선택합니다.
• 과정:
  1. 의미적 덮기 지표 정의: 쿼리 $q$와 도구 메타데이터 $m$ 사이의 임베딩 거리 (코사인 거리) 가 임계값 $\delta$ 이하일 때, $m$이 $q$를 '덮는다 (Cover)'고 정의합니다.
  2. 탐욕적 선택 (Greedy Selection):
     • 현재 아직 덮이지 않은 (또는 덮기 횟수 $r$에 도달하지 않은) 쿼리 집합을 유지합니다.
     • 남은 후보 도구 중, 가장 많은 잔여 쿼리를 덮는 도구를 선택합니다.
     • 선택된 도구를 공격자 도구 집합 ($M_{adv}$) 에 추가하고, 해당 쿼리의 덮기 카운트를 업데이트합니다.
  3. 종료 조건: 모든 쿼리가 목표 덮기 횟수 (보통 $r=k$, 즉 Top-k 전체를 차지할 수 있는 수준) 에 도달하거나, 주입 예산이 소진될 때까지 반복합니다.

이 과정을 통해 공격자는 정상 도구가 Top-k 에 진입하는 것을 물리적으로 차단합니다.

3. 주요 기여 (Key Contributions)

1. 검색 계층 위협 모델 정립: 도구 생태계에서 'Top-k 지배'라는 새로운 공격 패러다임을 제시했습니다. 이는 기존 선택 단계 공격과 달리, 검색 결과 자체를 DoS(서비스 거부) 상태로 만들어 방어 기법을 우회합니다.
2. ToolFlood 알고리즘 개발: LLM 을 활용한 생성과 탐욕적 최적화를 결합하여, 소량의 악성 도구로 대규모 도구 카탈로그의 검색 결과를 장악하는 구체적인 공격 기법을 제안했습니다.
3. 이론적 분석: 임베딩 공간의 기하학적 특성을 기반으로, 제한된 수의 주입 도구로도 검색 공간을 포화시킬 수 있음을 수학적으로 증명했습니다.
4. 실증적 평가: 표준 벤치마크 (MetaTool, ToolBench) 에서 소량의 주입 (약 1%) 만으로도 **95% 이상의 공격 성공률 (ASR)**과 **Top-k 지배율 (TDR)**을 달성함을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋: MetaTool (199 개 도구) 및 ToolBench (11,760 개 도구).
• 성능:
  • MetaTool: 171 개의 악성 도구 (주입률 86.3%) 를 주입하여 TDR 97.2%, ASR 99.6% 달성.
  • ToolBench: 145 개의 악성 도구 (주입률 1.2%) 를 주입하여 TDR 91.0%, ASR 94.6% 달성.
  • 비교: 무작위 주입 (Random-Sybil) 이나 기존 RAG 공격 기법 (PoisonedRAG) 보다 훨씬 효과적이며, 특히 대규모 도구 환경에서도 높은 효율을 보였습니다.
• 전이성 (Transferability): 공격자가 사용한 쉐도우 임베딩 모델 (Shadow Embedding Model) 과 실제 타겟 시스템의 임베딩 모델이 다르더라도 (예: text-embedding-3-small vs MiniLM), 공격 성공률이 크게 떨어지지 않아 블랙박스 환경에서도 유효함을 입증했습니다.
• 방어 기법 평가:
  • MMR (Maximal Marginal Relevance): Top-k 내 도구의 다양성을 높여 지배율을 91% 에서 44.8% 로 낮췄으나, 공격 성공률 (ASR) 은 여전히 91% 로 높아 부분적 침투만으로도 공격이 성공함을 보임.
  • 프롬프트 가드 (Prompt Guard): 악성 도구의 메타데이터가 명시적인 지시어 (Instruction) 를 포함하지 않고 의미적으로만 유사하므로, 기존 프롬프트 주입 탐지 기법은 무효함이 확인됨.

5. 의의 및 결론 (Significance)

• 보안 패러다임의 전환: LLM 에이전트 보안은 단순히 '어떤 도구를 선택할지'가 아니라, **'어떤 도구가 검색되는지'**에 대한 검색 계층의 무결성을 보호해야 함을 강조합니다.
• Sybil 공격의 새로운 형태: 기존 Sybil 공격이 투표나 랭킹을 조작하는 방식이었다면, ToolFlood 는 검색 공간 자체를 침식하여 정상 콘텐츠의 가시성을 차단하는 새로운 형태의 위협을 보여줍니다.
• 대응 방향: 단순한 필터링을 넘어, 검색 결과의 중복성 제거, 다양성 기반 재순위화 (Diversity-aware reranking), 검색 계층의 이상 탐지 (Flooding pattern detection), 그리고 도구 출처 검증 (Provenance) 강화 등의 새로운 방어 체계가 필요함을 시사합니다.

이 논문은 도구 기반 LLM 에이전트의 확장 과정에서 검색 계층이 가장 취약한 보안 지점 중 하나임을 드러냈으며, 향후 더 견고한 에이전트 시스템 설계를 위한 중요한 기초를 제공합니다.