🤖 AI

Ready Cohorts: Bounding GPU Opportunity and Avoiding Host Round Trips in LLM-Agent Control

이 논문은 특화된 동적 계획법이 GPU의 동시 작업량을 유의미하게 증가시킬 수 있다는 점과, 경로 결정을 온디바이스(on-device)에서 유지하는 것이 정확성을 유지하면서도 비용이 많이 드는 호스트 왕복 과정을 피할 수 있다는 점을 입증함으로써, LLM 에이전트 제어의 GPU 실행 최적화를 위한 두 가지 핵심 관문인 마감 기한 준수 코호트 공급(deadline-feasible cohort supply)과 관측 배치(observation placement)를 확립한다.

원저자: Josef Liyanjun Chen

게시일 2026-08-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Josef Liyanjun Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 고속 열차역에 수천 대의 작은 자동화 로봇들이 끊임없이 도착하여 질문을 던지고 지시를 기다리고 있다고 상상해 보십시오. 인공지능의 세계에서 이 로봇들은 '에이전트(agents)'이며, 생각을 하기 위해 거대한 뇌와 같은 컴퓨터(GPU라고 불리는)를 사용하고, 일을 완수하기 위해 작은 도구들을 실행합니다. 하지만 여기에는 함정이 있습니다. 로봇이 생각을 마칠 때마다, 그들은 중앙 제어실(CPU)로 달려가 "다음에는 무엇을 해야 하나요?"라고 물어야 합니다. 이 왕복 여정은 마치 러너가 트랙에서 코치의 텐트로 전력 질주하여 새로운 지시를 받고 다시 트랙으로 전력 질주하는 것과 같습니다. 만약 로봇들은 작고 빠르지만, 텐트로 가는 길이 느리다면 전체 시스템은 교통 체증에 갇히게 됩니다. 과학자들은 오랫동안 고민해 왔습니다. "코치가 트랙 위에 머물게 할 수는 없을까? 로봇들을 한데 모아서, 트랙을 떠나지 않고도 한꺼번에 다음 지시를 받게 할 수는 없을까?" 이것이 바로 '에이전트 제어(agent control)'의 퍼즐이며, 이는 매끄럽고 초고속인 경주와 혼란스럽고 느릿느릿한 정체의 차이를 만듭니다.

"Ready Cohorts"라는 제목의 이 논문은 바로 그 교통 체증을 해결하기 위해 두 가지 단순하지만 까다로운 질문을 던집니다. 첫째, 그룹을 만드는 것이 가치가 있을 만큼 충분한 수의 로봇이 동시에 나타나는가? 둘째, 만약 그렇다면, 의사결정을 트랙 내부(GPU)에 유지하는 것이 실제로 시간을 절약해 주는가, 아니면 그저 효과 없는 화려한 속임수에 불과한가?

연구진은 이를 알아내기 위해 두 가지 서로 다른 실험을 설계했습니다. 첫 번째 부분에서, 그들은 로봇들의 움직임에 대한 방대한 기록(851회의 세션이라는 '트레이스')을 조사하여 얼마나 많은 로봇을 하나의 그룹으로 묶을 수 있는지 살펴보았습니다. 그들은 정해진 시간 창(마치 안에 사람이 몇 명 있든 상관없이 정확히 오후 5시에 출발하는 버스처럼)을 기다리는 표준 방식과, 완벽한 그룹을 잡기 위해 딱 필요한 만큼만 기다리는 더 똑똑한 '정확한(exact)' 방식을 비교했습니다. 그 결과, 똑똑한 방식은 실제로 로봇의 **43.00%**를 잡아낼 수 있었던 반면, 고정된 시간 창 방식은 **30.19%**만을 잡아낼 수 있었습니다. 이는 매우 큰 차이입니다! 즉, 타이밍을 유연하게 조절함으로써 잃어버린 기회의 **81.83%**를 회복할 수 있다는 것을 의미합니다. 그러나 그들은 또한 어려운 한계점도 발견했습니다. 만약 그룹 크기 요구 사항이 너무 높으면(구체적으로, 그룹을 형성하기 위해 256대의 로봇이 필요한 경우), 특히 활성화된 로봇의 총수가 적을 때 시스템은 짧은 시간 창 내에서 충분한 로봇을 찾는 데 자주 실패했습니다. 그런 경우, '그룹화' 아이디어는 무너지고 로봇들은 결국 각자 알아서 해야 합니다.

두 번째 부분에서 연구팀은 '트랙 위에 머무는' 아이디어를 테스트했습니다. 그들은 로봇이 이진 결정(예: "왼쪽으로 돌기" 또는 "오른쪽으로 돌기")을 내리는 시뮬레이션을 구축했습니다. 그들은 이 결정을 호스트 컴퓨터(코치의 텐트)로 보내고 다시 로봇에게 보내는 방식과, 그 결정을 바로 그 자리(GPU)에 유지하는 두 가지 방식을 비교했습니다. 결과는 명확했습니다: 결정을 트랙 위에 유지하는 것이 항상 더 빨랐습니다. 네 가지 다른 유형의 컴퓨터 하드웨어에 걸쳐, '트랙 유지' 방식은 결정을 주고받는 방식보다 1.19배에서 2.39배 더 빨랐습니다. 예를 들어, 특정 설정에서 빠른 방식은 약 258 마이크로초가 걸린 반면, 느린 방식은 467 마이크로초가 걸렸습니다.

하지만 이 논문은 과장하지 않도록 매우 주의를 기울였습니다. 그들은 몇 가지 아이디어를 명시적으로 배제했습니다. 그들은 트랙이 의사결정 단계를 실제로 제거하지는 않으면서, 의사결정을 보내지 않고 다음 단계를 실행하려고 시도하는 '중첩된(nested)' 접근 방식을 테스트했습니다. 이는 실패했으며, 모든 테스트에서 더 느렸습니다. 이는 속도 향상이 단순히 트랙 위에서 무언가를 더 빨리 실행하기 때문이 아니라, 그 작은 결정을 코치의 텐트로 보내지 않아도 되기 때문에 발생하는 것임을 증명합니다.

그렇다면 결론은 무엇일까요? 이 논문은 우리가 AI 에이전트를 가속화할 수 있지만, 여기에는 두 가지 조건이 충족되어야 한다고 제안합니다. 첫째, 그룹을 형성할 만큼 충분한 로봇이 동시에 도착해야 합니다(이것이 '코호트 공급'입니다). 둘째, 의사결정을 작업이 일어나는 곳에 그대로 두어 중앙 컴퓨터로 돌아가는 느린 여정을 피해야 합니다. 만약 이 두 조건 중 하나라도 충족되지 않는다면, 화려한 GPU 기술은 도움이 되지 않을 것이며, 시스템은 기존의 믿음직한 방식을 고수하는 것이 더 낫습니다. 저자는 잠재력은 존재하지만, 이 두 가지 아이디어를 결합한 실제적인 시스템을 구축하는 것이 다음 단계의 큰 과제이며, 이는 시뮬레이션이 아닌 실제 교통 상황에서 테스트되어야 한다고 결론지었습니다.

기술 요약: Ready Cohorts – LLM-Agent 제어에서의 GPU 기회 경계 설정 및 호스트 라운드 트립 방지

문제 정의

LLM-에이전트 서비스는 모델과 도구 호출 간의 결정론적 제어 전이(예: 라우팅 결과, 상태 업데이트, 효과 방출)를 수행한다. 개별 전이는 작지만, 고동시성 서비스는 이를 지속적으로 실행하므로, 호스트 오케스트레이션이 임계 경로(critical path)에 위치하여 버스트형 CPU 수요와 반복적인 CPU-GPU 경계 교차를 유발하는 데이터센터 문제를 야기한다.

본 논문은 두 가지 구체적인 시스템 질문을 다룬다:

코호트 공급(Cohort Supply): 어떤 조건에서 결정론적 제어 경로가 GPU에서 수익성 있게 그룹화되어 실행될 수 있을 만큼 충분한 동시 작업량을 제공하는가?
관측 배치(Observation Placement): GPU에서 계산된 결정을 재디스패치(redispatch)하기 위해 호스트로 반환할 때 발생하는 성능 비용은 무엇이며, 해당 결정을 장치(device) 내에 유지할 경우와 비교하면 어떠한가?

저자는 "ready-cohort 경계"를 충분한 동시 작업 공급과 관측 배치 오버헤드 사이의 인터페이스로 정의한다.

방법론

본 논문은 워크로드 특성과 메커로니즘 성능의 혼동을 피하기 위해, 두 가지 별도로 수치 분리된 실험을 사용하여 이 질문들에 답한다.

1. 트레이스 연구: 코호트 공급 분석

데이터 소스: 공개된 Exgentic 에이전트 트레이스 데이터셋(tau2_airline, tau2_retail, tau2_telecom)의 고정된 전향적 리플레이(prospectively defined replay)로, 851개 세션과 9,031개의 LLM 스팬(span)으로 구성된다.
모델: 정적 푸아송 과정(stationary Poisson process)이 세션 도착을 생성한다. 이벤트는 "결과 유도 라우트 키(outcome-derived route key)"(의미적 융합의 증거가 아닌, 실행 가능 호환성의 프록시)에 의해 그룹화된다.
지표:
- $F$ (고정 파티션 점유율, Fixed-Partition Share): 고정 시간 창(time window) 하에서 배치(batching)가 가능한 이벤트의 비율.
- $P^\star$ (정확한 오프라인 점유율, Exact Offline Share): 미래 지식, 제로 서비스 타임, 무제한 용량을 가진 최적의 오프라인 알고리즘에 의해 스케줄링 가능한 최대 이벤트 비율. 동일한 상대적 데드라인을 가진 특수 동적 계획법(dynamic program)을 통해 계산된다.
- $U$ (로컬 상한, Local Upper Bound): 런칭 윈도우 내에서 $K$ 개의 동일한 라우트 이벤트를 로컬하게 중첩하는 이벤트의 비율.
- $K$ (하드웨어 임계값): 코호트 크기가 $K$ 이상일 때 수익성이 있다고 간주되는 안전한 접미사 임계값.
구성: 주요 셀(primary cell)은 100,000개의 타겟 활성 세션, $K=256$ , 50ms 런칭 데드라인을 테스트한다.

2. 메커니즘 연구: 관측 배치

설정: GPU에서 상태 전이 및 이진 라우트 결정을 실행하는 세 가지 메커니즘을 비교하는 CUDA 기반 실험.
- 호스트 라운드 트립(Host Round Trip): 술어(predicate) 실행 $\to$ 결과를 호스트로 복사 $\to$ 동기화 $\to$ 선택된 라우트 그래프 실행.
- 디바이스 레지던트(Device Resident): 루트 그래프를 실행하며, 디바이스 측 셀렉터가 선택된 경로 그래프를 테일 런칭(tail-launch)하고, $H$ 에포크 동안 결정을 디바이스에 유지함.
- 노-디시전 플로어(No-Decision Floor): 결정 로직이 생략된 구조적 베이스라인(오라클).
그리드: 네 가지 배치(Local GTX 1660 Ti, Modal L4, RunPod L4, Lambda H100)에서 에이전트 수( $N$ )와 에포크 호라이즌( $H$ )을 변화시키며 네 가지 GPU 배치를 테스트한다.
정확성: 1,450만 건의 배치 호출에 대해 정확한 상태 일치 및 결정 시퀀스를 확인하기 위해 별도의 호스트 오라클과 검증되었다.

주요 기여

Ready-Cohort 정식화: 본 논문은 하드웨어 임계값 $K$ , 고정 파티션 점유율 $F$ , 정확한 오프라인 점유율 $P^\star$ , 로컬 상한 $U$ , 온라인 달성 점유율 $A$ 라는 별개의 양을 사용하여 경계를 정식화한다. 또한 $F \le P^\star \le U$ 의 순서를 확립한다.
정확한 기회 측정 도구: 제로 서비스 타임 및 동일한 상대적 데드라인 하에서 $P^\star$ 를 정확하게 계산하는 특수 동적 계획법을 사용하여, 알고리즘적 참신함을 주장하지 않으면서도 재현 가능한 워크로드 측정을 제공한다.
숨겨진 공급에 대한 트레이스 증거: 정확한 슬라이딩 데드라인 패킹(sliding-deadline packing)이 고정 윈도우에서 놓친 상당한 기회를 회복함을 입증한다.
교차 프로바이더 메커니즘 증거: 다양한 하드웨어 및 클라우드 제공업체에 걸쳐 이진 결정을 디바이스에 유지하는 것이 호스트 매개 라운드 트립보다 일관되게 빠르다는 실증적 증거를 제시한다.

결과

코호트 공급 (트레이스 연구)

주요 셀 ( $C=100,000, K=256, \delta=50$ ms)에서:

고정 파티션 점유율 ( $F$ ): 30.19%
정확한 오프라인 점유율 ( $P^\star$ ): 43.00%
로컬 상한 ( $U$ ): 45.85%
갭 회복(Gap Recovery): 정확한 패킹은 고정 윈도우 경계에서 손실된 기회의 81.83%( $P^\star - F$ )를 회복한다.
경계 민감도: 코호트 공급는 $C \le 10,000$ 및 $K=256$ 일 때 0으로 붕괴한다. $K$ 를 낮추면 $P^\star$ 가 크게 증가한다 (예: $C=100,000$ 일 때, $K=256$ 에서 $P^\star$ 는 43.00%였으나 $K=32$ 에서는 66.8%로 상승).

관측 배치 (메커니즘 연구)

성능 이득: 디바이스 레지던트 경로가 네 가지 배치 전 영역에서 호스트 라운드 트립보다 빠르다.
속도 향상 비율: 배치 내 중앙값(row-median)은 1.19 $\times$ 에서 2.39 $\times$ 사이이다.
- 주요 셀 ( $N=256, H=32$ ): 1.71 $\times$ (GTX), 2.39 $\times$ (Modal L4), 2.06 $\times$ (RunPod L4), 1.84 $\times$ (Lambda H100).
- 절대 지연 시간: 디바이스 경로 (258–309 $\mu$ s) vs. 호스트 라운드 트립 (467–625 $\mu$ s).
부정 대조군(Negative Control): 디바이스에서 자식 그래프를 런칭하지만 호스트 결정 에포크를 유지하는 "중첩 디바이스 그래프(nested device graph)"는 모든 60개 구성에서 더 느렸다. 이는 속도 향상이 단순히 디바이스 측 런칭 때문이 아니라, 호스트 결정 에포크를 제거했기 때문임을 확인시켜 준다.

의의 및 주장

본 논문은 GPU 기반 에이전트 제어 평면을 위한 두 가지 측정 가능한 "게이트(gate)"를 설정한다:

데드라인 준수 코호트 공급: 워크로드는 런칭 데드라인 전에 충분한 동일 그룹 작업을 공급해야 한다. 고정 윈도는 상당한 스케줄링 가능 작업량을 놓치며, 정확한 패킹은 이러한 여유 공간을 드러낸다.
관측 배치: 디바이스 레지던트 결정은 측정 가능한 호스트 매개 오버헤드(복사, 동기화, 브랜치, 재디스패치)를 피한다.

범위 및 한계:

본 논문은 트레이스 임계값 $K=256$ 이 레지던트 정책의 측정된 교차점(crossover)이 아닌 탐색된 후보임을 명시한다.
메커니즘 호라이즌( $H=32$ )은 트레이스로부터 추론되지 않았다.
두 연구는 곱해지지(multiplied) 않았다. 오프라인 최적값은 제로 서비스 타임과 무제한 용량을 가정하는 반면, 메커니즘 연구는 합성된 상태(synthetic state)를 사용한다.
"라우트 키"는 조건부 프록시이지, 의미적 융합의 증거가 아니다.
본 논문은 온라인 달성 점유율( $A$ ), CPU 치환, 또는 엔드 투 엔드 서비스 수준 목표(SLO)를 측정하지 않는다.

결론:
결과는 미래의 온라인 라우트 컴팩터(route compactor)를 위한 워크로드 예산과 메커니즘 테스트를 제공한다. 저자는 유효한 시스템이 두 가지 게이트를 모두 통과해야 한다고 주장한다: 즉, 오프라인 여유 공간을 온라인 작업( $A$ )으로 전환할 수 있어야 하며, 모델 서비스를 해치지 않으면서 CPU를 치환할 수 있어야 한다. 만약 그렇지 못하다면, 그 경계가 GPU 설계를 거부할 것이며, 가능하다면 이러한 양들이 GPU 레지던트 에이전트 제어가 어디에 속해야 하는지를 정의할 것이다.