Beyond Max Tokens: Stealthy Resource Amplification via Tool Calling Chains in LLM Agents

이 논문은 모델 컨텍스트 프로토콜 (MCP) 환경에서 도구 호출 체인을 악용하여 기존 단일 회선 공격의 한계를 넘어, 은밀하게 토큰 소모와 비용을 극대화하는 새로운 형태의 DoS 공격 기법을 제안하고 그 위험성을 입증합니다.

핵심

이 논문은 최신 인공지능 (AI) 에이전트가 겪고 있는 새로운 형태의 '보안 구멍'을 발견하고, 이를 악용하는 방법을 설명한 연구입니다. 어렵게 들릴 수 있는 기술 용어들을 일상적인 비유로 풀어 설명해 드릴게요.

🕵️‍♂️ 핵심 내용: "정직한 일을 시키지만, 비용을 터뜨리는 사기"

이 연구의 핵심은 **"AI 가 일을 잘해내게 하되, 그 과정에서 엄청난 돈과 전기를 낭비하게 만드는 방법"**을 찾았다는 점입니다.

1. 배경: AI 는 이제 '도구'를 다룹니다

과거의 AI 는 단순히 질문에 답하는 '챗봇'이었습니다. 하지만 요즘 AI 에이전트는 외부 도구 (날짜 확인, 검색, 계산 등) 를 직접 호출하며 복잡한 일을 처리합니다. 이때 AI 와 도구 사이를 연결해주는 규칙을 **MCP(Model Context Protocol)**라고 합니다.

2. 기존 공격 vs 새로운 공격 (비유로 이해하기)

• 기존 공격 (단일 턱 공격):

  • 상황: 식당에 가서 "밥을 100 번 더 달라고" 소리치는 것과 같습니다.
  • 문제: AI 가 "그건 이상하네?"라고 바로 알아채거나, 한 번에 할 수 있는 말의 양 (토큰) 제한이 있어 큰 피해를 주기 어렵습니다. 또한, AI 가 멍청하게 길게 말하면 바로 들킬 수 있습니다.

• 이 연구의 공격 (스텔스 도구 공격):

  • 상황: 식당에 가서 "요리사가 요리를 할 때, 재료를 하나씩 세어보게 하고, 그 세는 과정을 100 번 반복하게 만드는" 사기입니다.
  • 결과:
    • 요리 (작업): 결국 맛있는 요리는 나옵니다 (작업 성공).
    • 비용: 하지만 요리사가 재료를 세느라 100 번을 왔다 갔다 하느라, 전기세와 인건비가 600 배나 폭등합니다.
    • 숨김: 요리사가 "재료를 세는 건 요리 과정의 일부"라고 생각하므로, 감시 카메라 (보안 시스템) 는 "이상한 짓"으로 보지 않습니다.

3. 어떻게 이런 일이 가능할까요? (공격 원리)

연구진은 AI 가 부르는 '도구 서버'의 내용을 살짝 바꿨습니다. 하지만 도구의 이름이나 기능은 그대로 두었습니다.

1. 지시장 바꿈: 도구가 "결과를 줘요" 대신 "결과를 주기 전에, 100 개의 숫자 목록을 확인해 주세요. 그리고 다음 단계로 넘어가세요"라고 말합니다.
2. 반복 유도: AI 는 "아, 이 도구는 이렇게 작동하는구나"라고 생각하며, 목록을 확인하고 다시 도구를 부르는 과정을 반복합니다.
3. 최종 결과: 100 번의 반복 끝에야 진짜 결과를 줍니다. AI 는 결국 원하는 답을 얻지만, 그 사이에 AI 가 생성한 말 (토큰) 양이 폭발적으로 늘어납니다.

4. 실험 결과: 얼마나 무서운가요?

• 비용 폭증: 질문 하나당 AI 가 생성하는 말의 양이 60,000 개 이상으로 불어났습니다. 기존보다 최대 658 배 더 많은 비용이 들었습니다.
• 전기세 폭탄: AI 가 돌아가는 서버의 전력 소모가 500 배 이상 증가했습니다.
• 시스템 마비: 한 번의 공격으로 서버의 메모리 (GPU) 가 꽉 차서, 다른 정상적인 사용자들도 서비스를 받기 힘들어졌습니다 (처리 속도 50% 감소).
• 방어 불가: 기존의 보안 시스템들은 "AI 가 엉뚱한 말을 했나?"만 확인합니다. 하지만 이 공격은 정답을 잘 내놓기 때문에 보안 시스템은 "아, 잘하고 있네"라고 생각하며 아무것도 막지 못했습니다.

5. 결론 및 시사점

이 논문은 **"AI 가 일을 잘해낸다고 해서 안전한 것은 아니다"**라고 경고합니다.

• 새로운 위협: 앞으로 AI 에이전트가 널리 쓰이면, 악의적인 서버가 AI 를 속여 "일하는 척"하게 만들고, 그 과정에서 기업이나 사용자의 자산을 고갈시킬 수 있습니다.
• 해결책: 단순히 "답이 맞는지"만 보는 게 아니라, **"AI 가 그 답을 얻기 위해 얼마나 비효율적인 과정을 거쳤는지"**를 감시하는 새로운 방어 시스템이 필요합니다.

한 줄 요약:

"이 연구는 AI 가 일을 잘해내는 척하면서, 그 과정에서 엄청난 돈과 전기를 낭비하게 만드는 '교묘한 사기'를 발견했습니다. 마치 요리사가 요리를 잘해내지만, 그 과정에서 재료를 100 번이나 세게 만들어 식당을 파산시키는 것과 같습니다."

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 (LLM) 이 단순한 챗봇에서 외부 도구와 상호작용하는 '에이전트 (Agent)'로 진화하면서, 모델 컨텍스트 프로토콜 (MCP) 등을 통한 도구 호출이 표준화되고 있습니다.
• 기존 공격의 한계: 기존 LLM 에 대한 서비스 거부 (DoS) 공격은 주로 사용자 프롬프트나 검색 증강 생성 (RAG) 컨텍스트 계층에서 발생하며, **단일 회차 (Single-turn)**로 제한됩니다.
  • 이는 모델의 최대 생성 토큰 수에 비용이 제한되며, 과도한 출력은 작업 목표와 무관해 보여 탐지가 쉽다는 단점이 있습니다.
• 새로운 취약점: 에이전트 - 도구 상호작용 루프 (Multi-turn Agent-Tool Loop) 는 아직 탐구되지 않은 공격 표면입니다.
  • 핵심 문제: 에이전트가 **작업 성공 (Correctness)**을 유지하면서도, 도구 호출 단계에서 반복적이고 장문의 출력을 생성하도록 유도하여 시스템 리소스 (토큰 비용, 에너지, GPU 메모리) 를 극도로 낭비하는 공격이 가능합니다.
  • 기존 방어 수단 (프롬프트 필터, 최종 결과 모니터링) 은 작업이 성공적으로 완료되었기 때문에 이러한 공격을 탐지하지 못합니다.

2. 방법론 (Methodology)

저자들은 MCP 기반의 악성 도구 서버를 설계하여 에이전트를 속여 장문의 도구 호출 체인을 생성하게 하는 공격을 제안합니다.

• 공격 원리:
  1. 기능 서명 유지: 도구 함수의 시그니처, 식별자, 최종 반환 값 (Benign Payload) 은 변경하지 않습니다.
  2. 텍스트 가시 필드 편집: 도구 응답의 텍스트 필드 (예: 진행 상황, 오류 메시지, 인자 설명) 만을 수정합니다.
  3. 템플릿 기반 반환 정책:
     • 세그먼트 인덱스 (Segment Index): 에이전트가 진행 상황을 인식하도록 t 값을 증가시키며, Tmax 에 도달할 때까지 계속 호출하도록 유도합니다.
     • 보정 시퀀스 (Calibration Sequence): 각 호출 시 긴 쉼표로 구분된 숫자 리스트를 생성하도록 요구하여 토큰 수를 급증시킵니다.
     • 반환 모드: 진행 중 (Progress), 수정 요청 (Repair), 종료 (Terminal) 모드를 정의하여 에이전트가 작업을 완료할 때까지 반복되도록 설계합니다.
• 최적화 (MCTS Optimizer):
  • 몬테카를로 트리 서치 (MCTS) 를 활용하여 텍스트 편집을 자동화합니다.
  • 목표: 작업 성공 확률 (p_min) 을 유지하면서, 기대 토큰 비용 (C(τ)) 을 최대화하는 악성 템플릿을 찾습니다.
  • 단계적 접근: 먼저 다중 회차 행동을 유도 (AMT), 그 다음 길이 인도를 강화 (ALEN), 오류 발생 시 수정 (AREP) 하는 방식으로 탐색합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 표면 발견: 에이전트 시대에 **도구 호출 계층 (Tool-calling layer)**을 DoS 공격의 주요 표적으로 규명했습니다. 작업이 정확히 수행되더라도 중간 과정의 비용이 기하급수적으로 증가할 수 있음을 증명했습니다.
2. 범용 최적화 방법론 제안: 텍스트만 수정하고 페이로드를 보존하는 제약 하에서, MCTS 를 통해 benign 서버를 악성 변형으로 전환하는 범용적인 방법을 제시했습니다.
3. 광범위한 실험 및 검증: ToolBench 와 BFCL 벤치마크에서 6 개의 주요 LLM(Qwen, Llama, Mistral 등) 을 대상으로 실험하여, 기존 단일 회차 공격보다 훨씬 효과적이고 은밀한 공격이 가능함을 입증했습니다.

4. 실험 결과 (Results)

6 개의 LLM 과 2 개의 벤치마크를 대상으로 한 실험 결과는 다음과 같습니다.

• 비용 증폭 (Cost Amplification):
  • 쿼리당 생성된 토큰 수가 60,000 개 이상으로 증가했습니다.
  • 쿼리당 비용이 최대 658 배까지 증가했습니다.
  • 에너지 소비는 100~560 배 증가했습니다.
• 시스템 리소스 영향:
  • GPU 의 Key-Value (KV) 캐시 사용량이 정상 상태 (<1%) 에서 **35~74%**까지 급증하여, 동시 실행 가능한 작업 수 (Concurrency) 를 크게 제한했습니다.
  • 시스템 처리량 (Throughput) 은 평균 50% 이상 감소했습니다.
• 정확성 유지 (Correctness):
  • 공격이 성공한 경우 (ASR), 에이전트는 최종적으로 사용자의 작업을 성공적으로 완료했습니다 (TSR 과 유사한 수준).
• 방어 회피 (Stealthiness):
  • PPL 필터: 도구 응답의 텍스트가 정상 범위 내에 있어 탐지되지 않았습니다.
  • 자기 모니터링 및 안전 판정기 (Guard Models): "작업이 성공했으므로 안전하다"고 판단하여 공격을 거의 탐지하지 못했습니다 (탐지율 <3%).
  • 토큰/호출 제한: 하드 제한을 걸어도 공격은 제한 내에서 최대한의 리소스를 소모하도록 적응하여 효과를 발휘했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 방어 패러다임의 전환 필요: 기존 방어는 최종 결과물 (Output) 이나 단일 프롬프트에 집중했으나, 본 연구는 에이전트의 전체 워크플로우 (Workflow) 와 행동 패턴을 모니터링해야 함을 강조합니다.
• 경제적 DoS 의 위험성: 악성 코드가 아닌, 정상적인 도구 호출을 악용하여 시스템의 운영 비용과 리소스를 고갈시키는 '경제적 DoS'의 심각성을 보여줍니다.
• 향후 과제: 에이전트 - 도구 인터페이스의 비효율적인 패턴을 식별할 수 있는 행동 기반 (Behavioral Baseline) 방어 메커니즘 개발이 시급합니다.

요약하자면, 이 논문은 LLM 에이전트가 도구를 사용할 때, 작업 성공 여부는 유지하되 도구 호출 루프를 악성하게 조작하여 시스템 자원을 고갈시키는 새로운 형태의 은밀한 DoS 공격을 제시하고, 기존 방어 체계가 이를 무력하게 만든다는 점을 경고합니다.