논문 요약: 효율적인 에이전트 워크플로우를 위한 LLM 서빙: 데이터 시스템 관점 (Helium)

이 논문은 현대 AI 시스템의 핵심 워크로드가 된 **에이전트 워크플로우 (Agentic Workflows)**의 비효율성을 해결하기 위해 제안된 Helium이라는 새로운 LLM 서빙 프레임워크를 소개합니다. 저자들은 기존 LLM 서빙 시스템이 개별 호출 최적화에만 집중하여 워크플로우 전체의 의존성과 중복을 간과한다는 문제를 지적하고, 이를 데이터 시스템의 쿼리 최적화 관점에서 재정의했습니다.

1. 문제 정의 (Problem)

에이전트 워크플로우는 사용자의 목표를 달성하기 위해 여러 LLM 호출 (프롬프트, 도구 사용 등) 을 순차적 또는 병렬적으로 조합한 것입니다. 이러한 워크플로우에서는 다음과 같은 심각한 비효율성이 발생합니다.

• 중복성 (Redundancy): 에이전트가 다양한 전략을 탐색하거나 (Speculative execution), 여러 에이전트가 유사한 하위 작업을 수행할 때 프롬프트와 중간 결과 (KV Cache) 가 반복적으로 생성됩니다.
• 기존 시스템의 한계: vLLM 과 같은 최신 LLM 서빙 엔진은 개별 LLM 호출 단위 (Operator-level) 에서만 최적화 (Continuous Batching, Prefix Caching) 를 수행합니다. 이는 워크플로우 전체의 구조 (DAG) 를 보지 못하므로, 서로 다른 호출 간에 공유되는 프롬프트 접두사나 KV 상태를 재사용하지 못해 불필요한 연산이 발생합니다.
• 블랙박스 처리: 기존 데이터 시스템 (Spark, Dask 등) 은 LLM 을 사용자 정의 함수 (UDF) 로 감싸서 처리하므로, LLM 의 내부 상태 (KV Cache) 나 비용 구조를 최적화기에 알 수 없어 전역 최적화가 불가능합니다.

2. 방법론 (Methodology)

저자들은 에이전트 워크플로우를 **데이터 시스템의 쿼리 플랜 (Query Plan)**으로 모델링하고, LLM 호출을 **1 등 연산자 (First-class Operator)**로 취급하는 Helium을 제안합니다. Helium 은 다음과 같은 핵심 기술들을 통해 워크플로우 인지형 (Workflow-aware) 서빙을 구현합니다.

2.1. 쿼리 최적화 (Query Optimization)

• 논리적 플랜 최적화: 워크플로우를 DAG(방향성 비순환 그래프) 로 표현한 후, 불필요한 연산자 제거 (Dead Code Elimination) 와 공통 서브그래프 제거 (Common Subgraph Elimination) 를 수행하여 구조적 중복을 제거합니다.
• 프롬프트 캐싱: 결정론적 연산자의 입력과 출력을 매핑하는 글로벌 프롬프트 캐시를 구축합니다. 동일한 입력이 들어오면 LLM 호출 대신 경량 CacheFetch 연산자로 대체하여 연산을 완전히 생략합니다.

2.2. 템플릿 라디스 트리 (Templated Radix Tree, TRT)

• 정적 프롬프트 접두사와 다른 연산자의 출력에서 파생된 동적 부분을 모두 포함하는 TRT를 구축합니다.
• TRT 는 워크플로우 내의 모든 프롬프트 구조와 의존성을 전역적으로 파악하여, 어떤 프롬프트가 어디서 공유되는지 식별합니다.

2.3. 능동적 캐싱 및 인지형 스케줄링 (Proactive Caching & Cache-Aware Scheduling)

• 능동적 KV 캐싱: 배치 실행 전에 TRT 를 분석하여 정적 프롬프트 접두사를 미리 계산 (Pre-warming) 하고 GPU 메모리에 KV 상태를 저장합니다. 이를 통해 추후 배치에서 불필요한 Prefill 단계를 제거합니다.
• 비용 기반 스케줄링: TRT 와 의존성 DAG 를 기반으로 연산자를 작업자 (Worker) 에 할당하고 실행 순서를 결정합니다. 공유 접두사를 가진 호출들을 연속적으로 배치하여 KV 캐시 재사용을 극대화하고, 의존성 지연을 숨기도록 병렬 실행을 조정합니다. 이는 NP-hard 문제이며, 저자들은 휴리스틱 기반의 그리디 알고리즘을 통해 근사 최적해를 찾습니다.

3. 주요 기여 (Key Contributions)

1. Helium 프레임워크: 에이전트 워크플로우를 쿼리 플랜으로 모델링하고 LLM 을 1 등 연산자로 취급하는 워크플로우 인지형 서빙 레이어를 최초로 제안했습니다.
2. 능동적 캐싱 전략: 정적 프롬프트 접두사를 사전에 계산하여 KV 캐시를 워밍업하고, 전역 프롬프트 캐시를 통해 중복 연산자를 우회하는 새로운 전략을 도입했습니다.
3. 비용 기반 인지형 스케줄링 알고리즘: 템플릿 라디스 트리 (TRT) 를 활용하여 프롬프트 구조와 의존성을 포착하고, 배치 내 에이전트 워크로드 전반에 걸쳐 접두사 캐시 재사용을 극대화하는 스케줄링을 설계했습니다.
4. 성능 검증: 다양한 워크로드에서 기존 최첨단 시스템 대비 최대 1.56 배의 속도 향상을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Qwen3-8B/14B 모델을 사용하여 다양한 에이전트 워크플로우 (Map-Reduce, Multi-Agent Debate, Iterative Refinement 등) 와 복잡한 금융 트레이딩 워크플로우 (Trading) 를 평가했습니다.

• 마이크로 벤치마크: Helium 은 단순한 vLLM 기반 실행 대비 최대 100 배 이상의 속도 향상을 보였으며, 기존 에이전트 오케스트레이션 프레임워크 (LangGraph, AgentScope, Parrot 등) 대비 1.34 배 ~ 1.58 배의 속도 향상을 기록했습니다.
• 엔드투엔드 벤치마크 (Trading Workflow): 복잡한 금융 분석 워크플로우에서 Helium 은 vLLM 대비 최대 39.5 배, LangGraph 대비 1.49 배, KVFlow 대비 1.34 배의 성능 향상을 보였습니다.
• Ablation Study: 계획 제거 (Plan Pruning), 프롬프트 캐싱, KV 캐싱, 인지형 스케줄링 등 각 구성 요소가 전체 성능에 기여하는 정도를 분석했습니다. 특히 계획 제거와 인지형 스케줄링이 가장 큰 성능 향상을 가져왔습니다.
• 확장성: 배치 크기, 병렬 분기 수, 모델 크기, GPU 메모리 제약 등 다양한 환경에서 Helium 의 성능 우위가 유지되거나 더욱 커지는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 서빙을 단순한 추론 엔진이 아닌, 데이터 시스템의 쿼리 최적화 원리를 적용해야 하는 복잡한 워크플로우 처리 시스템으로 재정의했습니다.

• 패러다임 전환: 개별 LLM 호출 최적화를 넘어, 워크플로우 전체의 데이터 흐름과 상태 의존성을 고려한 전역 최적화가 에이전트 시스템의 확장성과 효율성에 필수적임을 증명했습니다.
• 실용성: 에이전트 워크플로우에서 발생하는 막대한 중복 계산을 제거함으로써, GPU 자원 효율성을 극대화하고 지연 시간을 획기적으로 단축할 수 있음을 보여주었습니다.
• 미래 방향: 동적 제어 흐름 (조건부 루프 등) 과 외부 API 호출에 대한 비용 모델링 등 향후 연구 과제를 제시하며, 에이전트 시스템의 데이터 시스템적 접근이 앞으로의 핵심 방향임을 시사합니다.

결론적으로, Helium 은 LLM 기반 에이전트 시스템의 병목 현상을 해결하고, 대규모 에이전트 워크플로우를 효율적으로 운영할 수 있는 강력한 데이터 시스템적 솔루션을 제공합니다.