ThunderAgent: A Simple, Fast and Program-Aware Agentic Inference System

이 논문은 기존 시스템의 비효율적인 리소스 관리를 해결하기 위해 LLM 프로그램을 추상화하고 프로그램 인식 스케줄러 및 도구 리소스 관리자를 도입하여 KV 캐시 히트율과 처리량을 극대화하는 'ThunderAgent'라는 새로운 에이전트 추론 시스템을 제안합니다.

핵심

번개 에이전트 (ThunderAgent): AI 가 여러 일을 동시에 할 때 생기는 '혼란'을 해결한 새로운 시스템

이 논문은 인공지능 (AI) 이 복잡한 작업을 할 때, 기존 시스템이 겪는 비효율적인 문제를 해결한 새로운 기술인 ThunderAgent를 소개합니다.

어렵게 들릴 수 있는 기술 용어들을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

🏭 비유: 거대한 공장과 혼란스러운 작업장

AI 가 복잡한 일을 할 때 (예: 코드를 짜거나, 과학 실험을 설계하는 것) 는 마치 거대한 공장에서 일하는 것과 같습니다.

• AI 모델 (LLM): 공장의 주요 기계입니다.
• 도구 (Tools): 기계가 사용하는 공구, 창고, 외부 협력업체입니다.
• 작업 (Workflow): 기계가 여러 단계를 거쳐 최종 제품을 만드는 생산 라인입니다.

❌ 기존 시스템의 문제점: "각자 알아서 하는 무질서한 공장"

기존 시스템은 이 공장을 운영할 때, 기계 담당자와 공구 관리자가 서로 말을 안 하고 따로따로 일했습니다.

1. 기억력 상실 (KV Cache Thrashing):

   • 기계가 공구를 가져오러 잠시 멈추면, 담당자는 "아, 이 기계는 이제 끝났나?"라고 생각하고 기계의 **작업 기억 (메모리)**을 바로 지워버립니다.
   • 공구가 돌아와서 다시 일을 시작할 때, 기계는 "어? 내가 뭐 하고 있었지?"라며 처음부터 다시 기억을 복원해야 합니다.
   • 결과: 매번 처음부터 다시 시작하느라 시간이 엄청나게 낭비됩니다. (차량 정체가 심한 도로에서 매번 출발선으로 돌아가는 꼴입니다.)

2. 자원 불균형 (Memory Imbalance):

   • 어떤 기계는 일이 너무 많아 공장이 꽉 차고, 다른 기계는 일도 없이 빈둥거립니다.
   • 담당자들은 "이 기계는 이 공장에 붙어있어야 기억을 잘 쓴다"고 고정시켜 두는데, 일이 늘어나면 한 공장은 붕괴하고 다른 공장은 비어 있게 됩니다.

3. 쓰레기 처리 미흡 (Tool Lifecycle):

   • 일을 끝낸 기계의 **작업 공간 (Docker 컨테이너 등)**을 치우지 않아서, 공장이 쓰레기로 가득 차고 새로운 일을 할 공간이 없어집니다.

---

⚡ ThunderAgent 의 해결책: "작업 전체를 보는 스마트 관리자"

ThunderAgent 는 이 모든 문제를 해결하기 위해 작업 전체 (Program) 를 하나의 단위로 인식하는 새로운 관리 시스템을 도입했습니다.

1. "작업 단위"로 생각하기 (Program Abstraction)

기존에는 "이 명령어", "다음 명령어"처럼 조각조각 나누어 관리했지만, ThunderAgent 는 **"이 프로젝트 전체"**를 하나의 **작업자 (Program)**로 봅니다.

• 비유: 개별 공구 관리가 아니라, "이 프로젝트 팀장"을 관리합니다. 팀장이 공구를 가져오러 가든, 다시 돌아오든, 팀장의 상태를 계속 추적합니다.

2. 지능적인 대기열 (Program-Aware Scheduler)

이 시스템은 기계가 공구를 기다리는 동안에도 기억을 지우지 않고 적절히 보관합니다.

• 스마트 대기: 기계가 공구를 기다리는 동안, 다른 기계가 일을 할 수 있도록 기억을 잠시 멈추게 (Pause) 하거나, 기억이 적은 기계로 옮기게 (Migration) 합니다.
• 결과: 공구가 돌아오면 기억을 다시 불러와서 바로 일을 이어갈 수 있어, 처음부터 다시 시작할 필요가 없습니다.

3. 자동 청소부 (Tool Resource Manager)

작업이 끝난 기계의 작업 공간은 자동으로 치워집니다.

• 비유: 공장이 끝날 때마다 자동으로 쓰레기를 치우고, 새로운 작업을 위해 공간을 미리 준비해 둡니다.

---

🚀 실제 효과: 얼마나 빨라졌나요?

이 시스템을 적용한 결과, 기존 시스템에 비해 다음과 같은 놀라운 성과를 거두었습니다.

• 처리 속도 1.5~3.6 배 향상: 같은 시간에 훨씬 더 많은 작업을 처리할 수 있습니다. (공장이 3 배 더 빨리 돌아가는 셈입니다.)
• 학습 속도 1.8~3.9 배 향상: AI 가 스스로 학습 (RL) 하는 속도가 비약적으로 빨라졌습니다.
• 저장 공간 4.2 배 절약: 불필요한 쓰레기를 치워 하드디스크 공간을 아껴줍니다.

💡 요약

ThunderAgent는 AI 가 복잡한 일을 할 때, **"각 단계별로 따로따로 관리하던 낡은 방식"**을 버리고, **"작업 전체를 한눈에 보고 기억과 자원을 똑똑하게 관리하는 새로운 방식"**으로 바꾼 기술입니다.

마치 혼란스러운 교통체증을 해결한 스마트 신호등처럼, AI 가 여러 일을 동시에 처리할 때 발생하는 막힘과 낭비를 없애고, 훨씬 더 빠르고 효율적으로 일하게 만들어줍니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반의 복잡한 다중 턴 에이전트 워크플로 (예: 코딩, 과학적 발견, 라우팅 에이전트) 가 증가함에 따라, 기존 추론 시스템은 다음과 같은 근본적인 비효율성에 직면해 있습니다.

• 분리된 아키텍처의 한계: 기존 시스템은 LLM 추론 엔진 (예: vLLM) 과 도구 오케스트레이터 (예: Kubernetes) 를 느슨하게 결합하여 사용합니다. 이는 각 요청을 개별적으로 처리하므로, 전체 워크플로의 맥락을 파악하지 못합니다.
• KV 캐시 스래싱 (Thrashing): 에이전트가 도구 호출 (Tool Call) 을 수행하는 동안, 기존 시스템은 메모리 부족으로 인해 해당 워크플로의 KV 캐시를 미리 내보냅니다 (Eviction). 도구가 완료된 후 다시 전체 컨텍스트를 재계산 (Re-prefill) 해야 하므로, 지연 시간이 최대 7.14 배 증가하고 처리량 (Throughput) 이 급격히 떨어집니다.
• 크로스 노드 메모리 불균형: 데이터 병렬 (DP) 노드 간에 워크플로를 고정적으로 라우팅하는 기존 정책은, 컨텍스트 길이가 예측 불가능하게 증가하는 에이전트 워크로드에서 특정 노드는 과부하가 걸리고 다른 노드는 유휴 상태로 남는 불균형을 초래합니다.
• 도구 수명 주기 무관심 (Lifecycle Obliviousness): 도구 실행 환경 (샌드박스, API 서버 등) 의 시작과 종료를 LLM 추론 엔진과 동기화하지 못해, 사용되지 않는 리소스가 디스크와 네트워크 포트를 차지하며 시스템 자원이 고갈됩니다.

2. 방법론 (Methodology)

저자들은 에이전트 워크플로를 개별 요청이 아닌 "에이전트 프로그램 (Agentic Program)" 단위로 추상화하여, 종단 간 (End-to-End) 관점에서 리소스를 관리하는 ThunderAgent를 제안합니다.

A. 프로그램 추상화 (Program Abstraction)

• 에이전트 워크플로를 P = ⟨ID, c, T, L, τ, s⟩로 정의된 1 등위 스케줄링 단위로 취급합니다.
  • ID: 고유 식별자
  • c: 컨텍스트 토큰 수 (KV 캐시 크기)
  • T: 필요한 도구 환경 세트
  • L: 배치된 GPU 노드
  • τ: 실행 단계 (Reasoning: 추론 중, Acting: 도구 실행 중)
  • s: 스케줄링 상태 (Active, Paused, Terminated)
• 이 추상화를 통해 시스템은 워크플로의 상태와 의존성을 실시간으로 파악할 수 있습니다.

B. 프로그램 인식 스케줄러 (Program-Aware Scheduler)

• 목적: 재계산 비용 (Recomputation) 과 유휴 캐싱 비용 (Caching) 을 최소화하고 처리량을 극대화합니다.
• 상태 인식 일시 정지 (State-aware Pausing):
  • 메모리 압박이 발생할 때, **도구 실행 중 (Acting)**인 프로그램을 우선적으로 일시 정지 (Pause) 시킵니다.
  • 이유: 도구 실행 중에는 GPU 가 유휴 상태이므로 KV 캐시를 유지할 필요가 없으며, 이를 해제하여 Reasoning 중인 프로그램의 메모리를 확보합니다.
  • 최단 우선 제거 (Shortest-First Eviction): 메모리를 확보해야 할 때, 컨텍스트 길이가 짧은 프로그램부터 제거하여 재계산 비용 ($c^2$에 비례) 을 최소화합니다.
• 글로벌 대기열 (Global Waiting Queue):
  • 모든 DP 노드가 공유하는 단일 대기열을 도입하여, 메모리 불균형을 해결합니다.
  • 일시 정지된 프로그램은 특정 노드에 고정되지 않고, 사용 가능한 메모리가 있는 임의의 노드로 동적으로 마이그레이션됩니다.

C. 프로그램 인식 도구 리소스 관리

• 수명 주기 기반 가비지 컬렉션: 프로그램이 종료 (Terminated) 되면 즉시 Docker 샌드박스, 네트워크 소켓 등 도구 리소스를 회수하여 리소스 누수를 방지합니다.
• 비동기 환경 준비: LLM 추론이 대기하는 동안, 다음에 실행될 프로그램의 도구 환경 (Docker 컨테이너 시작 등) 을 비동기적으로 미리 준비하여 전체 지연 시간을 숨깁니다.

3. 주요 기여 (Key Contributions)

1. 에이전트 프로그램 추상화: LLM 추론과 도구 실행을 통합된 프로그램 단위로 모델링하여, 이기종 리소스 (KV 캐시, 시스템 상태, 외부 도구) 를 통합 관리할 수 있는 기반을 마련했습니다.
2. 최적화 기반 스케줄링: 메모리 제약 하에서 재계산과 캐싱 비용의 균형을 맞추는 수학적 비용 모델을 제시하고, 이를 기반으로 한 지능형 스케줄링 정책 (상태 기반 일시 정지, 동적 마이그레이션) 을 구현했습니다.
3. 리소스 수명 주기 관리: 도구 실행 환경의 수명 주기를 프로그램 상태와 동기화하여, 장기 실행 에이전트에서의 리소스 고갈 문제를 해결했습니다.

4. 실험 결과 (Results)

다양한 에이전트 워크로드 (코딩, 라우팅, 과학적 발견) 및 RL(Rollout) 시나리오에서 vLLM, Continuum, SGLang Gateway 등 최신 시스템과 비교 평가했습니다.

• 서빙 처리량 (Serving Throughput):
  • SWE-Agent, OpenHands, ToolOrchestra 등 다양한 벤치마크에서 1.48 배 ~ 3.58 배의 처리량 향상을 달성했습니다.
  • 특히 고동시성 (High Concurrency) 환경에서 KV 캐시 스래싱을 방지하여 vLLM 과 Continuum 대비 월등한 성능을 보였습니다.
• RL Rollout 처리량:
  • 분산 GPU 클러스터 환경에서 1.79 배 ~ 3.92 배의 처리량 개선을 기록했습니다. 이는 RL 학습 시 정책의 지연 (Policy Lag) 을 줄여 수렴 속도를 높이는 데 기여합니다.
• 리소스 효율성:
  • KV 캐시 히트율: 예측 가능한 도구 호출 환경에서는 100% 에 가까운 히트율을 유지했습니다.
  • 디스크 메모리: 불필요한 도구 환경의 누적을 방지하여 최대 4.2 배의 디스크 메모리 절감 효과를 얻었습니다.
  • 지연 시간: 도구 환경 준비 시간을 비동기화하여 전체 지연 시간을 크게 단축했습니다.

5. 의의 및 결론 (Significance)

ThunderAgent 는 기존에 분리되어 있던 LLM 추론 엔진과 도구 오케스트레이터 간의 간극을 메우는 프로그램 인식 (Program-Aware) 아키텍처를 제시합니다.

• 핵심 통찰: 에이전트 워크플로는 단순한 요청의 연속이 아니라, 상태와 의존성을 가진 '프로그램'으로 간주해야 최적의 성능을 낼 수 있음을 증명했습니다.
• 실용성: 복잡한 최적화 없이도 기존 엔진 (vLLM 등) 을 쉽게 통합할 수 있으며, 오픈소스로 공개되어 향후 에이전트 시스템 개발의 표준으로 자리 잡을 가능성이 높습니다.
• 미래 영향: 대규모 에이전트 시스템과 RL 학습의 확장성을 보장하며, 하드웨어 비용을 절감하고 학습 효율성을 극대화하는 데 필수적인 기술로 평가됩니다.

요약하자면, ThunderAgent 는 에이전트 워크플로의 전체 수명 주기를 이해하고 리소스를 지능적으로 조율함으로써, 기존 시스템의 비효율성을 해결하고 에이전트 추론의 처리량과 안정성을 획기적으로 개선한 시스템입니다.