기술 요약: Harmonia – 엔드 투 엔드 RAG 서빙 최적화

1. 문제 정의

검색 증강 생성(Retrieval-Augmented Generation, RAG)은 외부 지식을 통합함으로써 대규모 언어 모델(LLM)의 신뢰성을 향상시키기 위한 핵심적인 패러다임으로 부상했습니다. 그러나 RAG 워크플로우를 대규모로 효율적으로 서빙하는 것은 기존 프레임워크들이 해결하지 못한 상당한 과제를 안겨줍니다. 본 논문은 세 가지 주요 병목 현상을 식별합니다:

1. 경직된 프로그래밍 모델: 기존 프레임워크(예: LangChain, Haystack)는 종종 경직된 선언적 도메인 특화 언어(DSL)나 특정 그래프 연산자에 의존합니다. 이는 프레임워크 자체를 수정하지 않고도 새로운, 진화하는 구성 요소(예: 다양한 검색 구조, 안전 게이트 또는 적응형 제어 흐름)를 빠르게 실험하고 통합하는 것을 방해합니다.
2. 단일적 리소스 뷰: RAG 파이프라인은 극도로 이질적입니다. CPU/메모리/I/O 집약적 단계(검색, 후처리)와 GPU 집약적 단계(생성)가 혼재되어 있습니다. 현재의 시스템은 이러한 워크플로우를 종종 단일한 Python 프로세스로 취급하여, 모든 단계가 하나의 리소스 풀을 공유하도록 강제합니다. 이는 정교한 복제가 불가능하게 만듭니다. 즉, 워크플로우의 토폴로지와 쿼리 복잡성에 따라 병목 지점이 동적으로 변함에도 불구하고 전체 워크플로우를 스케일링하는 것은 비효크율적입니다.
3. 런타임 가시성 및 제어의 부재: RAG 워크로드는 매우 확률적입니다. 제어 흐름은 중간 결과에 따라 분기하거나, 재귀하거나, 조기에 종료될 수 있습니다. 또한, 스트리밍과 같은 통신 메커니즘은 부하에 따라 달라집니다. 낮은 부하에서는 유익하지만, 관리되지 않는 스트리밍은 높은 부하에서 파이프라인 정체와 처리량 저하를 유발할 수 있습니다. 기존 프레임워크에는 라우팅, 우선순위 지정 및 리소스 할당을 실시간으로 적응시키는 데 필요한 글로벌 텔레메트리와 폐쇄 루프 제어가 부족합니다.

2. 방법론: Harmonia 프레임워크

Harmonia는 3계층 아키텍처인 명세 계층(Specification Layer), 배포 계층(Deployment Layer), **런타임 제어 계층(Runtime Control Layer)**을 통해 이러한 과제를 해결하도록 설계된 엔드 투 엔드 RAG 서빙 엔진입니다.

2.1 명세 계층: 의도 기반 Python 인터페이스

Harmonia는 개발자가 커스텀 DSL의 마찰 없이 아이디오매틱(idiomatic)한 Python으로 RAG 파이프라인을 작성할 수 있게 합니다.

• 라이브러리 불가지론적 통합: 개발자는 구성 요소를 위해 어떤 외부 라이브러리든 사용할 수 있습니다.
• 관리형 분산 액터(Managed Distributed Actors): 액터를 장기 실행되는 분리된 프로세스로 취급하는 범용 프레임워크(예: Ray)와 달리, Harmonia는 데코레이터가 붙은 클래스를 완전히 관리되는 분산 액터로 취급합니다. 이는 라이프사이클, 상태 관리 및 리소스 할당을 자동으로 처리합니다.
• 스트리밍 객체(Streaming Objects): 관리형 Streaming Object 추상화는 개발자의 로직과 저수준 통신 세부 사항을 분리하여, 런타임이 통신 그래뉴리티(granularity)를 제어하는 동안 비동기 쓰기가 가능하도록 합니다.
• 워크플로우 제약 조건: 개발자는 상태성(재귀적 워크플로우를 위한 일관된 라우팅 보장), 리소스 요구 사항(CPU/GPU/Memory), 최소 인스턴스 수와 같은 제약 조건을 선언적으로 지정할 수 있습니다.

2.2 배포 계층: 이질성 인지 최적화

배포 계층은 추상 구문 트리(AST)의 정적 분석을 통해 Python 코드로부터 실행 가능한 파이프라인 그래프를 캡처합니다. 이는 프로파일링 기반의 조건부 경로를 가진 유향 비순환 그래프(DAG)로 워크플로우를 모델링합니다.

• 리소스 할당 정식화: Harmonia는 리소스 할당을 일반화된 네트워크 플로우 문제로 정식화합니다. 예산 제약 하에서 엔드 투 엔드 처리량을 최대화하기 위해 구성 요소(예: 검색기 수 vs 생성기 수)의 배치와 용량을 최적화합니다.
• 주요 파라미터: 최적화는 오프라인 프로파일링에서 도출된 처리량 계수($\alpha$), 요청 증폭 계수($\gamma$), 라우팅 확률($p$)을 고려합니다.
• 분산 배포: 노드 간 통신을 위해 고성능 gRPC를 사용하고 노드 내 실행을 위해 공유 메모리를 사용하여 개발자를 저수준 배포 세부 사항으로부터 보호하는 분산 레이어를 자동으로 주입합니다.

2.3 런타임 제어 계층: 폐쇄 루프 적응

런타임의 확률성과 변화하는 병목 현상을 처리하기 위해, Harmonia는 제어 결정과 데이터 이동을 분리하는 중앙 집중식 제어 평면을 채택합니다.

• 글로벌 텔레메트리: 컨트롤러는 그래프 노드에서의 실행 진행 상황, 큐잉 및 리소스 압박을 모니터링합니다.
• 동적 재할당: 컨트롤러는 업데이트된 런타임 처리량 및 분기 확률 추정치를 사용하여 최적화 모델을 주기적으로(매 10초마다) 다시 풀어 리소스를 재구성합니다.
• 부하 및 상태 인지 라우팅: 스케줄러는 상태 유지 작업(stateful tasks)과 예측된 재진입 패턴을 추적하여 미래의 부하를 예측함으로써, 상태 기반 반복을 위해 예약된 인스턴스로 요청이 디스패치되는 것을 방지합니다.
• 통신 그래뉴리티 관리: 컨트롤러는 실시간 부하에 따라 스트리밍 청크 크기를 동적으로 조절하여 관리되지 않는 리소스 경합으로 인한 파이프라인 정체를 방지합니다.
• SLO 관리: 온라인 선형 회귀 모델을 사용하여 컨트롤러는 실행 중인 요청에 대한 "슬랙(slack)"(SLO 데드라인 전까지 남은 시간)을 추정합니다. 이는 실행 이질성과 슬랙 예측을 바탕으로 요청의 우선순위를 지정하는 데드라인 인지 스케줄러를 구현합니다.

3. 주요 기여

1. 범용 RAG 서빙 프레임워크: Harmonia는 워크플로우 명세, 이질성 인지 배포, 그리고 폐쇄 루프 런타임 제어를 공동으로 다루는 최초의 시스템입니다.
2. 유연한 명세: 취약한 DSL에 강제되지 않고 표준 Python을 사용하여 복잡하고 조건적이며 재귀적인 RAG 워크플로우를 표현할 수 있으며, 실행 그래프를 캡처합니다.
3. 이질성 인지 프로비저닝: 단일적 스케일링을 넘어 RAG 구성 요소를 특정 리소스 요구 사항을 가진 별개의 엔티티로 취급하고, 배치 및 용량을 최적화하기 위해 네트워크 플로우 문제를 해결합니다.
4. 폐쇄 루프 런타임 제어: 동적 리소스 재할당, 상태 인지 라우팅 및 적응형 통신 그래뉴리티 메커니즘을 도입하여 확률적 워크로드 하에서 SLO를 관리합니다.
5. 오픈 소스: 저자들은 연구 커뮤니티를 지원하기 위해 Harmonia를 오픈 소스로 공개할 것을 약속합니다.

4. 실험 결과

저자들은 4대의 서버(각 서버당 8개의 NVIDIA A100 GPU 탑재) 클러스터에서 네 가지 대표적인 RAG 아키텍처(Vanilla-RAG, Corrective-RAG, Self-RAG, Adaptive-RAG)를 상용 베이스라인(LangChain 및 Haystack)과 비교하여 평가했습니다.

• 처리량: Harmonia는 베이스라인 대비 최대 2.04배 높은 처리량(평균 1.6배)을 달 기록했습니다. 이 이득은 조건부 분기와 재귀가 있는 복잡한 파이프라인(예: Corrective-RAG에서 2.04배)에서 가장 두드러졌습니다.
• SLO 위반: Harmonia는 SLO 위반을 최대 78.4%까지 감소시켰습니다. 감소 폭은 실행 이질성과 슬랙 예측을 바탕으로 요청을 우선순위화하는 능력이 효과적이었던 Adaptive-RAG(78.4%)와 Self-RAG(41.3%)에서 가장 컸습니다.
• 오버헤드: 배포 레이어는 단일 노드 LangChain 실행 대비 무시할 만한 오버헤드(~0.8%)를 도입했습니다. 런타임 컨트롤러는 요청당 약 2ms의 지연 시간을 추가했으며, 높은 부하(1024 req/s)에서도 안정적으로 유지되었습니다.
• 리소스 효율성: 절제 연구(Ablation studies)를 통해 단일 메커니즘만으로는 충분하지 않으며, 최적의 성능을 위해서는 리소스 관리, 라우팅, 통신 그래뉴리티 관리의 조합이 필요함을 확인했습니다. 예를 들어, Corrective-RAG에서 시스템은 "Grader"를 병목 지점으로 정확히 식별하고 추가 리소스를 할당한 반면, 베이스라인은 이를 수행하지 못했습니다.

5. 의의 및 주장

본 논문은 Harmonia가 RAG 시스템이 설계되고 운영되는 방식의 근본적인 변화를 나타낸다고 주장합니다. RAG 워크플로우를 제어 평면에 대한 고수준의 실행 가능한 요청 그래프로 노출함으로써, Harmonia는 느린 타임스케일의 계획과 빠른 타임스케일의 적응을 분리합니다.

저자들은 다음과 같은 이유로 이 아키텍처가 필수적이라고 주장합니다:

• 경직된 추상화는 비용이 많이 듭니다. 이는 빠르게 진화하는 구성 요소의 시대에 그렇습니다.
• 정적 프로비저닝은 불충분합니다. 이질적인 파이프라인에서 병목 지점은 계속 변하는 타겟이기 때문입니다.
• 좁은 런타임 인터페이스는 실패합니다. 복합 AI 애플리케이션에 내재된 교차 단계 의존성과 확률성을 포착하지 못하기 때문입니다.

Harmonia는 유연한 명세, 지능적인 프로비저닝, 그리고 반응형 런타임 제어를 결합한 엔드 투 엔드 코디네이션이 프로덕션 RAG 시스템에서 높은 처리량과 낮은 지연 시간을 달 수 있게 하는 데 필요함을 입증합니다. 논문은 아직 임의의 LLM 기반 제어 흐를 가진 완전한 동적 에이전트 워크플로우를 지원하지는 않지만, 중앙 집중식 제어 평면 아키텍처가 미래의 에이전트 오케스트레이션을 위한 기초적인 접근 방식을 제공한다고 결론짓습니다.