🤖 AI

HeraSys: Collaborative Serving of Multiple LLM Workflows via Fine-Grained End-to-End Optimization

HeraSys는 구조적 노드 병합을 통해 워크플로 간의 계산 중복을 제거하고 부하 인지형 공동 스케줄링 정책을 채택함으로써, 테일 레이턴시를 크게 줄이는 동시에 처리량을 높여 동시 다발적인 멀티 테넌트 워크플로의 엔드 투 엔드 성능을 최적화하는 LLM 서빙 시스템입니다.

원저자: Size Li, Zhiqing Tang, Hongrui Liang, Jianxiong Guo, Jiong Lou, Tian Wang, Weijia Jia

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Size Li, Zhiqing Tang, Hongrui Liang, Jianxiong Guo, Jiong Lou, Tian Wang, Weijia Jia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수백 가지의 복잡한 요리를 동시에 만들어내려는 요리사 팀이 있는 북적이는 주방을 상상해 보세요. 인공지능의 세계에서 이 '요리'들은 거대 언어 모델(LLM)—이야기를 쓰고, 질문에 답하며, 문제를 해결하는 초지능적인 컴퓨터 뇌—이 수행하는 작업들입니다. 보통 여러분이 AI에게 무언가를 요청하면, 그것은 하나의 독립된 주문처럼 취급됩니다. 하지만 현실 세계에서 애플리케이션은 점점 더 정교한 연회와 같아지고 있습니다. 단 하나의 요청이 정보를 검색하고, 데이터베이스를 확인한 다음, 그 결과를 요약하는 과정을 모두 포함할 수 있기 때문입니다. 이것들을 '워크플로(workflows)'라고 부릅니다.

문제는 많은 사람이 이러한 복잡한 연회를 동시에 주문할 때 주방이 혼란에 빠진다는 점입니다. 만약 두 명의 고객이 같은 재료를 손질해 달라고 요청한다면, 주방은 그 재료를 두 번 손질하게 되어 시간과 에너지를 낭비할 수 있습니다. 설상가가, 한 고객이 아주 오래 걸리는 대형 스튜를 주문하면 요리사들이 그 작업에 매달려 있게 되어, 다른 모든 사람이 주문한 간단한 샐러드가 서빙되는 것을 기다리게 만들 수도 있습니다. 이것이 바로 AI를 '서빙'하는 문제, 즉 어떻게 하면 시스템이 멈추거나 누군가를 영원히 기다리게 만들지 않고도 쏟아지는 복잡하고 중첩된 요청들을 관리할 것인가에 대한 과제입니다.

여기에서 HeraSys라는 새로운 시스템이 등장합니다. HeraSys를 개별 주문 하나하나만 보는 것이 아니라, 서로 다른 주문들이 어떻게 서로를 도울 수 있는지 주방 전체를 관찰하는 혁신적인 주방 매니저라고 생각해보세요. HeraSys는 모든 요청을 별개의 섬처럼 취급하는 대신, 중첩되는 부분을 찾아냅니다. 만약 두 명의 서로 다른 고객이 동일한 문서를 분석하거나 동일한 도구를 사용해야 한다면, HeraSys는 "잠깐, 그 작업은 한 번만 수행하고 그 결과를 공유합시다!"라고 말합니다. 또한 교통 경찰처럼 행동하여, 빠르고 간단한 주문이 느리고 무거운 주문 뒤에 갇히지 않도록 하며, 동시에 느린 주문들이 관심을 받지 못해 굶주리는 일도 없도록 보장합니다.

HeraSys를 개발한 연구진은 이 복잡한 AI 작업들을 아주 작고 세밀한 조각들로 나누는 시스템을 구축했습니다. 그들은 중복되는 단계를 병합하고 컴퓨터 칩과 같은 주방 자원을 누구에게 할당할지 스마트하게 스케줄링함으로써 전체 시스템을 훨씬 더 빠르게 만들 수 있다는 것을 발견했습니다. 테스트 결과, HeraSys는 기존의 가장 우수한 시스템들과 비교했을 때 가장 느린 요청이 완료되는 시간을 최대 2.17배(즉, 두 배 이상 빠르게) 단축했으며, 시스템이 처리할 수 있는 총 작업량을 최대 1.85배까지 늘렸습니다.

이 논문은 모든 요청을 독립적이고 고립된 작업으로 취급하는 기존 방식에 반론을 제기합니다. 그들은 이러한 '고립'이 불필요한 낭비와 병목 현상을 만든다는 점을 보여줍니다. 대신, 시스템이 능동적으로 공유 작업을 찾는 협력적인 접근 방식을 제안합니다. 또한, 긴 작업이 다른 모든 사람을 막아서게 만드는 '선착순(first come, first served)' 방식이나, 긴 작업이 영원히 기다리게 만드는 '최단 작업 우선(shortest job first)'과 같은 단순한 스케줄링 규칙에도 반대합니다. HeraSys는 무거운 작업을 위한 자원을 일부 예약하면서도 빠른 작업을 우선시하여 모두에게 공정함과 속도를 보장하는 균형 잡힌 '부하 인식(load-aware)' 전략을 제안합니다.

실제 하드웨어에서 광범위한 실험을 통해 측정된 결과는, 이러한 세밀하고 협력적인 접근 방식이 중요한 진전임을 시사합니다. 중복되는 단계를 융합하고 작업의 그룹화 및 실행 방식을 동적으로 조정함으로써, HeraSys는 평균 대기 시간을 낮게 유지하면서도 복잡한 AI 시스템에서 흔히 발생하는 '테일(tail)' 현상, 즉 길고 답답한 지연 문제를 방지합니다. 이는 마치 친구들에게 집 청소를 부탁할 때, 단순히 각자 방을 맡기는 것이 아니라, 두 사람이 같은 복도를 청소기로 밀고 있다면 함께 작업하도록 유도하면서, 창문을 닦는 사람이 청소기가 끝나기를 마냥 기다리게 하지 않는 법을 깨닫는 것과 같습니다.

기술 요약: HeraSys

문제 정의

대규모 언어 모델(LLM)의 확산으로 인해 애플리케이션 개발은 단순한 단일 턴 상호작용에서 유향 비순환 그래프(DAG)로 표현되는 복잡한 멀티 테넌트 에이전트 워크플로우로 변화했습니다. 기존 서빙 시스템은 주로 단일 워크플로우 내의 성능을 최적화하거나 워크플로우 내부의 의존성(예: LLM 추론 배칭)에 집중합니다. 그러나 이러한 접근 방식은 동시 실행되는 워크플로우를 독립적인 인스턴스로 취급하며, 이는 멀티 테넌트 환경에서 두 가지 결정적인 비효효율성을 초래합니다:

계산적 중복성(Computational Redundancy): 동시 실행되는 쿼리들은 동일한 문서 청크 임베딩, 동일한 데이터 검색, 또는 유사한 컨텍스트를 가진 동일한 도구 호출과 같은 구조적 공통점을 공유하는 경우가 많습니다. 현재의 모듈형 설계는 이러한 중복을 감지할 수 있는 전역적 관점이 부족하여, 시스템이 중복된 작업을 반복해서 실행하게 만듭니다.
스케줄링 비효효율성 및 불공정성(Scheduling Inefficiency and Unfairness): 실제 워크로드는 단순 QA와 같은 짧은 작업과 다회차 추론과 같은 긴 작업을 혼합하는 높은 이질성을 보입니다. 전통적인 스케줄링 정책인 선입선출(FCFS)은 긴 작업이 짧은 작업을 지연시키는 헤드 오브 라인(Head-of-Line, HOL) 블로킹 문제를 겪습니다. 반대로, 짧은 작업을 엄격하게 우선시하는 방식(예: 최단 작업 우선, SJF)은 긴 작업의 기아 현상(starvation)을 유발하여 페어니스(fairness)와 꼬리 지연 시간(tail latency)을 저하시킬 수 있습니다.

방법론

저자들은 이중 계층 최적화 아키텍처를 통해 동시 멀티 워크플로우 시나리오를 최적화하도록 설계된 미세 조정된 엔드 투 엔드 서빙 시스템인 HeraSys를 제안합니다.

1. 실행 전 최적화: 시맨틱 그래프 퓨전(Semantic Graph Fusion)

HeraSys는 실행 전 들어오는 쿼리의 전역 컨텍스트를 분석함으로써 요청 수준의 격리를 해제합니다.

노드 시맨틱 시그니처(Node Semantic Signature): 시스템은 연산자 유형, 파라미터, 입력 데이터 및 선행 노드의 시그니처를 기반으로 각 태스크 노드에 고유한 해시 시그니처를 할당합니다. 이를 통해 시스템은 서로 다른 쿼리 간에 논리적으로는 독립적이지만 계산적으로는 동일한 태스크를 식별할 수 있습니다.
위상적 퓨전(Topological Fusion): 짧은 시간 창 내에 도착하는 동시 쿼리에 대해, 시스템은 중복된 노드를 퓨전합니다. 새로운 쿼리의 노드가 이미 준비 큐(ready queue)에 있는 노드와 일치하면, 해당 노드는 실행 그래프에서 제거되고 그 하위 의존성은 기존 노드로 재지정됩니다.
비동기 캐시 재사용(Asynchronous Cache Reuse): 시간 창 외부에 있는 요청의 경우, 시스템은 완료된 노드의 결과를 재사용하거나 현재 실행 중인 노드가 완료되기를 기다려 출력을 공유합니다.
우선순위 조정(Priority Adjustment): 퓨전된 노드는 병합된 모든 논리적 노드의 기여도를 합산하여 더 높은 스케줄링 우선순위를 할당받으며, 이를 통해 여러 하위 경로의 진행을 동시에 가속화합니다.

2. 런타임 최적화: 부하 인지 합동 스케줄링(Load-Aware Joint Scheduling)

런타임 스케줄러는 평균 지연 시간과 긴 꼬리(long-tail) 태스크에 대한 페어니스의 균형을 맞추기 위해 실행 순서와 자원 할당을 동적으로 관리합니다.

동적 잔여 시간 추정(Dynamic Remaining Time Estimation): 시스템은 오프라인 프로파일링과 온라인 실행 진행 상황을 결합하여 각 쿼리의 예상 잔여 서비스 시간( $\hat{S}_q$ )을 추정합니다. 긴 디코딩 연산자는 미세한 선점(preemption)과 정확한 추적을 가능하게 하기 위해 순차적인 서브 노드로 분해됩니다.
노드 기여도 지표(Node Contribution Metric): 지표( $\phi_v$ )는 하위 워크로드, 경로 길이 및 병렬 브랜치를 기반으로 쿼리 진행에 대한 노드의 기여도를 정량화합니다.
자원 왜곡 및 분할(Resource Skewing and Partitioning): 기아 현상을 방지하기 위해, 시스템은 잔여 시간 분포에서 도출된 동적 임계값을 기준으로 쿼리를 "긴(long)" 쿼리와 "짧은(short)" 쿼리로 분류합니다. 시스템은 긴 쿼리의 무거운 노드에 대해 최소 자원 예약을 강제하여, 짧은 작업이 낮은 지연 시간을 위해 우선시되는 동안 무거운 노드도 보장된 자원 쉐어를 받을 수 있도록 합니다.
합동 우선순위 함수(Joint Priority Function): 스케줄러는 다음 세 가지 요소를 균형 있게 고려하는 합성 우선순위 함수 $\pi_v$ $π_{v}$ 를 사용하여 준비된 노드의 순서를 정합니다:
1. 동적 최단 잔여 시간 우선(Dynamic SRTF): 평균 지연 시간을 최소화합니다.
2. 위상적 기여도(Topological Contribution): 하위 작업을 활성화하는 핵심 노드를 우선시합니다.
3. 안티 스타베이션(Anti-Starvation): 긴 작업의 무거운 노드에 대한 우선순위를 높입니다.
적응형 실행(Adaptive Execution): 시스템은 시스템 부하에 따라 배치 크기와 파이프라인 분해 정밀도를 동적으로 조정합니다. 고부하 상황에서는 처리량을 개선하기 위해 배칭을 늘리고, 저부하 상황에서는 데이터 병렬성을 활용하고 지연 시간을 줄이기 위해 파이프라인 분할을 늘립니다.

주요 기여

이중 계층 최적화 아키텍처: HeraSys는 실행 전 그래프 퓨전과 런타임 동적 스케줄링을 통합하여, 자원 활용도와 스케줄링 효율의 합동 최적화를 달성함으로써 전통적인 요청 수준의 격리를 극복하는 시스템을 도입했습니다.
교차 쿼리 그래프 노드 재사용: 시맨틱 시그니처 매칭을 통해 워크플로우 간의 중복된 계산 서브그래프를 식별하고 제거하는 메커즘을 제공하여 계산 오버헤드를 크게 줄였습니다.
부하 인지 합동 스케줄링 전략: 동적 태스크 분류, 편향된 자원 할당 및 적응형 배칭을 통합하여 긴 꼬리 태스크에 대한 페어니스를 보장하면서도 엔드 투 엔드 지연 시간을 효과적으로 줄이는 전략을 제시했습니다.
구현 및 평가: 저자들은 vLLM을 백엔드로 사용하여 NVIDIA RTX 4090 GPU가 장착된 서버에 HeraSys를 구현하였으며, 광범에한 비교 실험을 통해 그 효과를 입증했습니다.

실험 결과

저자들은 다양한 동시성 수준(6~300)에서 다양한 워크로드(Reranking이 포함된/포함되지 않은 RAG, 웹 검색, 혼합 시나리오)에 대해 LangGraph, LlamaIndex 및 최첨단 시스템인 Ayo와 함께 HeraSys를 평가했습니다.

지연 시간 감소: 엄격한 지연 시간 보장 조건 하에서 HeraSys는 베이스라인 대비 P99 지연 시간을 최대 2.17배, P95 지연 시간을 최대 1.94배 감소시켰습니다. 혼합 워크로드에서 P99 지연 시간을 2.17배 개선했습니다.
처리량 향상: 시스템은 베이스라인 대비 서빙 처리량을 최대 1.85배 증가시켰습니다.
절제 연구(Ablation Studies): 실험을 통해 그래프 퓨저(Graph Fuser)를 제거하면 처리량이 약 1.16배 감소하고, 자원 왜곡 없이 SRTF 스케줄링만 사용할 경우 P99 지연 시간이 전체 시스템 대비 22.3% 증가함을 확인하여 합동 최적화 접근 방식의 필요성을 입증했습니다.
페어니스(Fairness): 자원 왜곡 메커니즘은 순수 SRTF 전략에서 흔히 발생하는 기아 현상을 성공적으로 완화하여, 짧은 작업의 응답성을 크게 저해하지 않으면서도 긴 작업에 대해 더 예측 가능한 서비스 품질(QoS)을 제공했습니다.

의의 및 주장

본 논문은 LLM 서빙의 초점을 고립된 요청 최적화에서 협력적, 교차 워크플로우 최적화로 전환함으로써 HeraSys가 LLM 서빙 인프라의 중요한 진전임을 주장합니다. 미세한 구조적 공통점을 활용하고 자원 경합을 동적으로 조절함으로써, HeraSys는 멀티 테넌트 에이전트 워크플로우의 본질적인 중복성과 스케줄링 과제를 해결합니다. 저자들은 이 접근 방식이 더 효율적이고 확장 가능하며 공정한 LLM 애플리케이션 서빙 시스템을 구축하는 데 통찰력을 제공하며, 궁극적으로 계산 자원 소비와 운영 비용을 줄이는 동시에 사용자 경험을 향상시킨다고 단언합니다.