🤖 AI

INFRAMIND: Infrastructure-Aware Multi-Agent Orchestration

INFRAMIND는 실시간 인프라 상태에 따라 토폴로지 계획, 모델 라우팅 및 요청 스케줄링을 동적으로 적응시킴으로써 멀티 에이전트 LLM 오케스트레이션을 최적화하는 강화 학습 기반 프레임워크로, 이를 통해 높은 동시 부하 상황에서도 정확도를 크게 향상시키고 지연 시간을 단축하며 엄격한 서비스 수준 목표를 유지합니다.

원저자: Ahasan Kabir, Jiaqi Xue, Mengxin Zheng, Qian Lou

게시일 2026-06-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ahasan Kabir, Jiaqi Xue, Mengxin Zheng, Qian Lou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 바쁜 레스토랑 주방을 운영하고 있다고 상상해 보세요. 당신에게는 서로 다른 숙련도를 가진 팀원들(AI 모델들)이 있습니다. 어떤 이들은 복잡한 요리를 완벽하게 해내지만 시간이 오래 걸리는 마스터 셰프이고, 어떤 이들은 간단한 주문을 빠르게 처리할 수 있는 민첩한 라인 쿡입니다.

현재 대부분의 AI 시스템이 작동하는 방식(논문에서 말하는 "인프라 맹목성(Infrastructure Blindness)")에서는, 매니저가 현재 주방의 상태를 무시한 채 오직 고객이 무엇을 원하는가에 기반하여 주문을 배정합니다.

문제점: "눈먼" 매니저

만약 고객이 복합적인 스테이크를 주문하면, 매니저는 그 스테이크에 가장 적합한 인물이라는 이유만으로 마스터 셰프에게 명령을 보냅니다. 하지만 매니저는 마스터 셰프가 이미 100개의 다른 주문에 파묻혀 거대한 대기 줄을 만들고 있다는 사실을 보지 못합니다. 반면, 스테이크를 충분히 처리할 수 있는 유능한 라인 쿡은 할 일이 없어 빈둥거리고 있습니다.

이로 인해 두 가지 큰 문제가 발생합니다:

병목 현상: 마스터 셰프의 대기 줄이 너무 길어져서, 5분이면 준비될 수 있었던 스테이크를 위해 고객은 30분을 기다리게 됩니다.
재능 낭비: 매니저가 확인하지 않는다는 이유로, 라인 쿡은 충분히 도울 수 있음에도 불구하고 아무것도 하지 못한 채 시간을 허비합니다.

AI의 세계에서도 이와 같은 일이 발생합니다. 여러 AI 에이전트가 함께 협업할 때, 만약 하나의 AI가 "큐(queue)"(처리되기를 기다리는 상태)에 갇히게 되면 전체 추론 체인이 느려지고, 시스템은 값비싼 컴퓨팅 자원을 낭비하게 됩니다.

해결책: INFRAM MIND (스마트한 매니저)

이 논문은 주방의 실시간 상태를 끊임없이 관찰하는 슈퍼 스마트한 주방 매니저 역할을 하는 새로운 시스템인 INFRAMIND를 소개합니다. 이 시스템은 세 가지 핵심 결정을 다르게 내립니다.

1. 플래너 (메뉴 설계자)

기존 방식: 주문 내용만을 바탕으로 레시피 구조를 결정합니다. "이것은 복잡한 요리이므로, 마스터 셰프와 함께하는 5단계 계획이 필요하다."
INFRAMIND: 먼저 주방 상황을 살핍니다. "마스터 셰프가 너무 바쁘다. 계획을 단순화하자. 라인 쿡이 빠르게 처리할 수 있도록 더 짧고 간단한 레시피를 사용하자."
비유: 주방이 혼란스러우면 매니저는 화려한 10코스 테이스팅 메뉴에서 빠르고 맛있는 샌드위치로 전환합니다. 주방이 한산하면 온 힘을 다해 화려한 10코스 요리를 선보입니다.

2. 실행자 (주문 전달자)

기존 방식: 얼마나 바쁜지와 상관없이 모든 요청을 "최고의" 모델에게 보냅니다.
INFRAMIND: 매 단계마다 대기 줄을 확인합니다. "마스터 셰프의 줄은 가득 찼지만, 라인 쿡의 줄은 비어 있다. 이 단계를 라인 쿡에게 보내자. 또한, 긴 줄을 피함으로써 시간을 절약했으니, 답변의 품질을 유지하기 위해 라인 쿡에게 조금 더 깊게 생각하도록(DeepThink) 요청하자."
비유: 고객을 VIP를 위한 긴 줄에 강제로 세워두는 대신, 매니저는 유능한 직원이 대기 중인 빠른 차선으로 고객을 안내하여 기다림 없이 훌륭한 결과를 얻도록 합니다.

3. 스케줄러 (우선순위 목록)

기존 방식: 선입선출(First-Come, First-Served) 방식입니다. 만약 5분의 마감 기한을 가진 고객이 1시간의 마감 기한을 가진 고객보다 늦게 도착했다면, 느린 작업이 먼저 처리됩니다.
INFRAMIND: "가장 빠른 마감 기한 우선(Earliest Deadline First)" 규칙을 사용합니다. 고객의 시간 제한을 확인합니다. "이 고객은 2분 안에 음식을 받아야 한다! 나중에 왔더라도 이 고객을 맨 앞으로 옮겨라!"
비유: 이는 응급실의 트리아지(Triage, 환자 분류)와 같습니다. 먼저 도착한 사람이 아니라, 가장 긴급한 도움이 필요한 사람이 먼저 치료를 받습니다.

결과: 왜 중요한가

이 논문은 다양한 교통량(조용한 주방부터 피크 타임까지) 조건 하에서 다섯 가지의 어려운 과제(수학, 코딩, 논리 퍼즐 등)를 통해 이 시스템을 테스트했습니다.

낮은 교통량 시: INFRAMIND는 기존 시스템보다 더 정확했습니다. 왜냐하면 여유 시간이 있다는 것을 알고 마스터 셰프를 사용하여 깊이 있는 사고를 할 수 있었기 때문입니다. 또한 최대 7배 더 빨랐습니다.
높은 교통량 시 (러시아워): 기존 시스템이 실패하는 지점입니다. 기존 시스템은 계속해서 똑같이 바쁜 셰프들에게 주문을 보내 대기 줄이 너무 길어지게 만들었고, 결국 시스템이 다운되었습니다(요청의 99%가 제시간에 완료되지 못함). 그러나 INFRAMIND는 주방을 원활하게 운영했습니다. 다른 시스템들의 성공률이 50% 미만으로 떨어질 때도 INFRAMIND는 99.9%의 성공률을 유지했습니다.

핵심 요약

INFRAMIND는 현재 AI 시스템의 "맹목성"을 해결합니다. 단순히 "어떤 AI가 가장 똑똑한가?"를 묻지 않습니다. 대신 "어떤 AI가 가장 똑똑하면서 지금 바로 사용 가능한가?"를 묻습니다. 실시간 트래픽과 큐를 관찰함으로써, 시스템은 속도와 품질 사이의 균로를 자동으로 조절하며, 과부하 상태에서도 AI 시스템이 교통 체증에 갇히지 않도록 보장합니다.

기술 요약: INFRAMIND

1. 문제 정의: 인프라 맹목성 (Infrastructure Blindness)

현재의 멀티 에이전트 대규모 언어 모델(LLM) 오케스트레이션 시스템은 **인프라 맹목성(infrastructure blindness)**이라 불리는 치명적인 실패 모드를 겪고 있다. MoA, GPTSwarm, MasRouter와 같은 기존 방식들이 정적 쿼리 특징에 기반하여 작업 적응형 토폴로지 및 모델 선택 기술을 발전시켜 왔음에도 불구하고, 이들은 서빙 인프라의 런타임 상태를 관찰하지 못한 채 동작한다.

vLLM이나 SGLang을 통해 여러 모델을 서빙하는 공유 GPU 클러스터에서, 이러한 맹목성은 체계적인 자원 저활용과 지연 시간 폭발로 이어진다:

큐 불균형 (Queue Imbalance): "선호되는" 모델에는 요청 큐가 깊게 쌓이는 반면, 동일하게 유능한 대안 모델들은 유휴 상태로 방치된다.
누적 지연 (Compounding Delays): 멀티 에이전트 파이프라인에서 단일 단계의 병목 현상은 모든 다운스트림 에이전트의 지연을 초래하여 지연 시간이 누적되게 만든다.
정적 결정 (Static Decisions): 라우팅 결정이 런타임 조건(큐 깊이, KV-캐시 압박, 지연 시간)과 단절된 훈련 시점의 정보 체계에 기반하여 내려진다.
유연하지 못한 추론 (Inflexible Reasoning): 가용 용량에 따라 추론 깊이(예: "DeepThink"에서 "Flash"로 전환)를 조절하지 못해, 유휴 자원을 활용하지 못하거나 혼잡한 곳에 과부하를 준다.

핵심 과제는 인프라 신호가 동적이고 노이즈가 많지만, 이 신호가 세 가지 결합된 결정인 플래닝(토폴로지/역할), 단계별 라우팅(모델/전략 선택), 그리고 스케줄링(큐 우선순위)을 반드시 주도해야 한다는 점이다.

2. 방법론: INFRAMIND 프레임워크

저자들은 최초의 엔드 투 엔드 인프라 인식 멀리 에이전트 오케스트레이터인 INFRAMIND를 제안한다. 이는 실시간 시스템 메트릭을 오케스트레이션 스택의 모든 계층에 통합하며, 이를 **계층적 제약 마르코프 결정 과정(Hierarchical Constrained Markov Decision Process, CMDP)**으로 정식화하고 강화 학습(RL)을 통해 해결한다.

핵심 구성 요소

인프라 인식 플래너 (Infra-Aware Planner):
- 기능: 쿼리 도착 시점( $t=0$ )에 추론 구조(토폴로지, 에이전트 수, 역할)를 결정한다.
- 메커니즘: 쿼리 임베딩에만 의존하는 기존 연구와 달리, 플래너는 현재 시스템 부하의 요약본( $z_0$ )과 남은 예산을 조건으로 의사결정을 내린다.
- 구현: FiLM(Feature-wise Linear Modulation)을 사용하여 시스템 상태 벡터(예산, 큐 깊이, E2E 지연 시간, KV 캐시)를 쿼리 임베딩에 주입하는 계층적 컨트롤러를 사용한다. 이는 혼잡 시에는 더 단순한 그래프를, 용량이 충분할 때는 더 풍부한 토폴로지를 채택하도록 플래너를 편향시킨다.
인프라 인식 실행기 (Infra-Aware Executor):
- 기능: 각 에이전트 단계에 대한 특정 모델과 추론 전략(Flash, Concise, DeepThink)을 선택한다.
- 메커니즘: 이중 경로 아키텍처로 작동한다:
  - 시맨틱 경로 (Semantic Pathway): 쿼리와 역할 임베딩을 처리한다 (작업이 무엇을 필요로 하는가).
  - 리소스 경로 (Resource Pathway): 남은 예산과 라이브 시스템 메트릭을 처리한다 (시스템이 무엇을 제공할 수 있는가).
- 결정: 이 신호들을 결합하여 모델과 전략을 공동으로 선택한다. 예를 들어, 대규모 모델의 큐가 포화 상태라면, 실행기는 더 작은 모델으로 경로를 재지정하는 대신 "DeepThink" 전략을 사용하여, 큐 대기 시간을 건너뜀으로써 절약한 시간을 정확도를 유지하는 데 활용할 수 있다.
예산 인식 우선순위 스케줄러 (Budget-Aware Priority Scheduler):
- 기능: 각 모델의 로컬 큐 내에서 요청 순서를 관리한다.
- 메커니즘: 최단 기한 우선(Earliest-Deadline-First, EDF) 정책을 구현한다. 각 쿼리에는 도착 시간과 시간 예산에 기반하여 마감 기한이 할당된다. 모든 에이전트 호출은 이 마감 기한을 상속받는다.
- 영향: 타이트한 예산의 요청이 여유로운 요청 뒤에 막히는 현상(head-of-line blocking)을 방지하여, 긴급한 쿼리가 먼저 서비스되도록 보장한다.

훈련 접근 방식

세 가지 구성 요소는 공유된 예산 제약 하에 단일 계층적 RL 정책으로서 공동 훈련된다.

목표: 지연 시간 예산 내에서 품질(해결율)을 극대화한다.
최적화: 라그랑주 승수( $\lambda$ )를 사용하여 품질과 지연 시간 간의 트레이드오프를 자동으로 발견한다. 실행기는 단계별 궤적을 위해 PPO(Proximal Policy Optimization)를 사용하고, 플래너는 에피소드 리턴에 대해 REINFORCE를 사용한다.
적응: 시스템은 다양한 예산 티어와 포아송 도착률(Poisson arrival rates)에 걸쳐 훈련되어, 서로 다른 혼잡 체계에 적응하는 법을 배운다.

3. 주요 기여

인프라 맹목성 규명: 본 논문은 인프라의 런타임 상태를 무시하는 것이 멀티 에이전트 시스템에서 어떻게 큐 불균형, 피할 수 있는 지연, 자원 저활용을 초래하는지 실증적으로 정량화한다.
엔드 투 엔드 인프라 인식 오케스트레이션: 실시간 텔레메트리(큐 깊이, KV 캐시, 지연 시간)를 조건으로 하는 단일 RL 정책으로 플래닝, 실행, 스케줄링을 통합하는 INFRAMIND를 소개한다.
성능 향상: 다양한 벤치마크와 부하 조건에서 정확도, 지연 시간 및 SLO 준수 측면에서 유의미한 개선을 입증했다.

4. 실험 결과

시스템은 공유 GPU에서 서빙되는 5개의 모델(3B ~ 32B 파라미터)로 구성된 이종 풀을 사용하여 5개의 벤치마크(MBPP, HumanEval, GSM-Hard, MATH, MMLU-Pro)에서 평가되었다.

저부하 ( $\mu=10$ req/min): INFRAMIND는 가장 강력한 베이스라인인 MasRouter보다 최대 7.6 퍼센트 포인트(pp) 높은 정확도를 달성하는 동시에 지연 시간을 최대 7배 단축했다. 예를 들어, MATH에서 MoA의 74.4% 대비 82.0%의 정확도를 기록했다.
고부하 ( $\mu=100$ req/min): 이 구간은 시스템의 가치가 가장 두드러지는 지점이다.
- SLO 준수: INFRAMIND는 HumanEval에서 최대 99.9%의 SLO 준수율(300초 예산 내 쿼리 완료)을 유지했다.
- 베이스라인 붕괴: 고부하 상황에서 모든 베이스라인은 50% 미만의 SLO 준수율을 보였다. MoA와 GPTSwarm은 대부분의 벤치마크에서 12% 미만으로 떨어졌으며, 지연 시간은 1,000초를 초과했다.
- 지연 시간: INFRAMIND는 모든 벤치마크에서 지연 시간을 300초 미만으로 유지한 반면, 베이스라인들은 "심각한 혼잡" 구역으로 이동했다.
블랙박스/하이브리드 풀: 이 접근 방식은 혼잡 신호를 전달하는 클라이언트 측 프록시를 사용하여 API 전용 및 하이브리드 풀(화이트박스 및 API 모델 혼합)로 확장되었다. INFRAMIND는 베이스라인이 붕족하는 상황에서도 견고한 성능을 유지함으로써, 인프라 인식이 특권적인 서버 접근 권한이 아닌 응답성과 상관관계가 있는 신호만으로도 가능하다는 것을 증명했다.

5. 의의 및 주장

본 논문은 INFRAMIND가 멀티 에이전트 LLM 시스템의 근본적인 간극인 '태스크 수준의 지능'과 '인프라 현실' 사이의 단절을 해결한다고 주장한다. 인프라 인식을 플래닝, 실행, 스케줄링 계층에서 일급 시민(first-class citizen)으로 만듦으로써, 시스템은 수동으로 작성된 규칙 없이도 품질과 지연 시간 사이의 균형을 자동으로 맞춘다.

저자들은 이 접근 방식이 큐 경합과 캐시 압박이 테일 레이턴시(tail latency)의 주요 원인이 되는 공유 GPU 클러스터(예: 기업 내부 스위트 또는 웹 규모 배포)에서 실행되는 프로덕션 멀티 에이전트 워크플로우에 필수적이라고 단언한다. 이 프레임워크는 서로 다른 서빙 백엔드(vLLM, SGLang 또는 API 제공업체)에 걸쳐 배포되어 SLO 준수와 자원 활용도를 크게 향상시킬 수 있는 일반적인 솔루션으로 제시된다.