Towards Understanding, Analyzing, and Optimizing Agentic AI Execution: A CPU-Centric Perspective

논문 개요

이 논문은 단일 LLM 추론을 넘어 도구 호출, 계획 수립, 추론을 수행하는 에이전트 AI (Agentic AI) 시스템의 실행 효율성을 분석하고 최적화하는 것을 목표로 합니다. 기존 연구들이 GPU 추론 성능에 집중했던 것과 달리, 본 논문은 CPU 중심 (CPU-Centric) 관점에서 에이전트 워크로드의 병목 현상을 규명하고, 이를 해결하기 위한 새로운 스케줄링 기법을 제안합니다.

1. 문제 정의 (Problem)

• 에이전트 AI 의 복잡성: 에이전트 AI 는 LLM 이 외부 도구 (웹 검색, 코드 실행, 데이터베이스 조회 등) 를 호출하며 문제를 해결합니다. 이 과정에서 LLM 추론뿐만 아니라 도구 실행을 담당하는 CPU의 역할이 매우 중요해집니다.
• 기존 연구의 한계: 기존 효율성 연구는 주로 GPU 커널 최적화나 KV 캐시 관리에 집중하여, 에이전트 워크로드의 핵심 병목인 CPU 기반 도구 실행을 간과했습니다.
• 실제 병목 현상:
  • RAG(검색 증강 생성) 워크로드의 경우, 문서 검색 (ENNS) 이 전체 지연 시간의 80% 이상을 차지합니다.
  • 고성능 GPU 를 사용하더라도 CPU 도구 처리 시간이 길어지면 전체 시스템 성능이 CPU 에 의해 제한받게 됩니다.
  • CPU 병렬화 전략 (멀티프로세싱 등) 은 GPU 에 비해 효율이 낮아, 과도한 병렬화가 오히려 스레드 경합을 유발하고 GPU 활용도를 떨어뜨립니다.

2. 방법론 (Methodology)

가. 컴파일 타임 및 런타임 특성 분석 (Characterization)

• 워크로드 분류 체계: 에이전트 시스템을 3 가지 직교하는 차원으로 분류하여 분석했습니다.
  1. 오케스트레이터: LLM 이 제어하는 방식 vs 호스트 (Python 코드) 가 제어하는 방식.
  2. 에이전트 경로: 고정 경로 (Static) vs 동적 경로 (Dynamic).
  3. 반복성: 단일 단계 (Single-step) vs 다단계 (Multi-step).
• 대표 워크로드 선정: Toolformer, SWE-Agent, RAG (Haystack), ChemCrow, Web-Augmented Agent 등 5 가지 대표적인 워크로드를 선정했습니다.
• 하드웨어 환경: 두 가지 다른 CPU-GPU 구성 (HP CPU/LP GPU vs HP CPU/HP GPU) 에서 실험하여 병목이 CPU 로 이동하는지 확인했습니다.

나. 제안된 최적화 기법

분석 결과 도출된 인사이트를 바탕으로 두 가지 스케줄링 최적화를 제안했습니다.

1. COMB (CPU-Aware Overlapped Micro-Batching):

   • 대상: 동종 (Homogeneous) 워크로드.
   • 문제: 대규모 배치 (Batch) 처리 시 CPU 코드가 과부하 (Over-subscription) 되어 병목이 발생하고, CPU 와 GPU 가 교대로 유휴 상태가 되는 비효율이 발생합니다.
   • 해결:
     • 마이크로 배치 캡 (Micro-batch Capping): CPU 병렬화 효율이 떨어지기 전의 최적 크기 ($B_{cap}$) 로 대배치를 잘게 쪼갭니다.
     • 겹침 (Overlap): CPU 가 도구 실행을 하는 동안 GPU 가 다음 배치의 추론을 수행하도록 파이프라인을 구성하여 CPU-GPU 동시 활용도를 극대화합니다.

2. MAS (Mixed Agentic Scheduling):

   • 대상: 이종 (Heterogeneous) 워크로드 (CPU 중점 요청과 GPU 중점 요청이 혼합된 환경).
   • 문제: 단일 큐에서 요청을 처리할 경우, 한 유형의 요청이 자원을 독점하여 다른 유형의 요청 대기 시간이 급증하는 문제가 발생합니다.
   • 해결:
     • 요청 유형 인식 동시성 캡: CPU 중점 요청과 GPU 중점 요청을 별도의 실행 큐로 분리하고 각각에 대한 동시성 제한 ($E_{cap, CPU}$, $E_{cap, GPU}$) 을 적용합니다.
     • 유연한 공유 큐: 특정 요청 유형이 우세할 때를 대비해 공유 예약 큐를 두어 처리량 손실을 방지하면서도 소수 유형의 요청이 대기하지 않도록 보호합니다.

3. 주요 결과 (Results)

COMB 성능

• 지연 시간 개선: 독립적인 워크로드 실행 시 P50 지연 시간을 최대 1.7 배 감소시켰습니다.
• 서비스 지연 시간: 오픈-루프 (Open-loop) 부하 하에서 서비스 지연 시간을 최대 3.9 배, 총 지연 시간을 1.8 배 개선했습니다.
• 처리량: CPU 과부하를 방지하여 처리량 (Throughput) 을 최대 1.7 배 향상시켰습니다.
• 메커니즘: CPU 코어 과할당을 방지하고 GPU 활용도를 높여 P50/P90 지연 시간 간의 트레이드오프 (Pareto frontier) 를 최적화했습니다.

MAS 성능

• 공정성 및 소수 요청 보호: 혼합 워크로드 환경에서 소수 요청 유형 (예: CPU 중점 요청이 많을 때의 GPU 요청 등) 의 P50/P90 지연 시간을 최대 2.37 배 / 2.49 배 개선했습니다.
• 자원 독점 방지: 특정 요청 유형이 자원을 독점하는 것을 방지하여 전체 시스템의 총 지연 시간을 줄이고 CPU-GPU 활용도의 균형을 유지했습니다.

에너지 분석

• CPU 중심 에이전트 워크로드 (예: RAG) 에서 CPU 동적 에너지 소비가 전체 시스템의 **61%**까지 차지하는 것으로 확인되어, 향후 데이터센터 설계 시 CPU 에너지 최적화의 중요성을 강조했습니다.

4. 기여도 및 의의 (Significance)

1. 새로운 관점 제시: 에이전트 AI 시스템의 병목이 LLM 추론 (GPU) 이 아닌 **도구 실행 (CPU)**에 있음을 체계적으로 증명하고, 이를 해결하기 위한 CPU 중심 최적화 전략을 제시했습니다.
2. 실용적인 최적화 기법: 기존 GPU 중심 스케줄러 (vLLM 등) 와는 차별화된 COMB와 MAS를 통해, 다양한 하드웨어 환경과 워크로드 혼합 비율에서 높은 성능과 공정성을 동시에 달성하는 방법을 제시했습니다.
3. 시스템 설계 지침: 에이전트 AI 서비스 시스템 설계 시, GPU 성능만 높이는 것이 아니라 CPU-GPU 간의 동시 활용 (Concurrent Utilization) 과 자원 할당의 균형을 맞추는 것이 핵심 설계 원칙임을 강조했습니다.
4. 에너지 효율성: CPU 의 에너지 소비 비중이 매우 높음을 규명하여, 차세대 에이전트 AI 데이터센터 설계에 있어 CPU 효율성 고려의 필요성을 제기했습니다.

결론

이 논문은 에이전트 AI 의 성능을 극대화하기 위해서는 LLM 추론뿐만 아니라 이를 지원하는 도구 실행을 담당하는 CPU 의 병목 현상을 해결해야 함을 강조합니다. 제안된 COMB 와 MAS 기법은 CPU-GPU 간의 비효율적인 자원 할당을 개선하고, 동시 활용도를 높여 에이전트 AI 시스템의 지연 시간과 처리량을 획기적으로 개선할 수 있음을 실험을 통해 입증했습니다.