기술 요약: 다중 에이전트 시스템을 위한 지연 시간 인지 오케스트레이션 (LAMaS)

문제 정의

다중 에이전트 시스템(MAS)은 여러 전문화된 에이전트를 오케스트레이션함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시킵니다. 그러나 이러한 시스템이 확장됨에 따라, **추론 지연 시간(inference latency)**이 심각한 병목 현상이 되고 있으며, 실제 시나리오에서는 작업당 10~60분이 소요되기도 합니다. 기존의 오케스트레이션 방식은 주로 작업 성능과 추론 비용(토큰 사용량) 최적화에 집중합니다. 저자들은 이러한 접근 방식이 다음과 같은 이유로 지연 시간 감소에는 불충분하다고 주장합니다:

1. 구조적 불일치: 엔드 투 엔드(end-to-end) 지연 시간은 모든 연산자의 총 합산 비용이 아니라, 임계 실행 경로(critical execution path)(의존 관계가 가장 긴 체인)에 의해 결정됩니다. 총 비용을 최적화하는 것이 임계 경로의 길이를 반드시 줄여주지는 않습니다.
2. 신용 할당 노이즈(Credit Assignment Noise): 모든 연산자에 균등하게 적용되는 단순한 지연 시간 페널티는 임계 경로 상의 병목 연산자와 비임계 연산자를 구분하지 못하여, 노이즈가 섞인 그래디언트 신호를 생성합니다.
3. 정확도-지연 시간 트레이드오프: 제약 조건 없이 지연 시간을 최적화하면 작업 정확도가 예측 불가능하게 저하될 수 있습니다.
4. 정적 한계: 학습 시 확정된 그래프는 런타임 증거(예: 정답에 대한 조기 합의)를 활용하여 불필요한 미래 상호작용을 제거할 수 없습니다.

방법론

저자들은 두 가지 단계, 즉 학습 시 그래프 최적화와 추론 시 실행 제어를 통해 지연 시간 문제를 해결하는 LAMaS(Latency-Aware Multi-agent System) 프레임워크를 제안합니다.

1. 학습 시 제약 최적화

LAMaS는 오케스트레이션을 정확도 하한선($S_0$)을 준수하면서 지연 시간과 비용을 최소화하는 제약 최적화 문제로 정식화합니다.

• 목적 함수: $\min_{\theta} \mathbb{E}[\lambda_t T + \lambda_c C]$ s.t. $\mathbb{E}[S] \geq S_0$.
• 라그랑주 완화(Lagrangian Relaxation): 제약 조건은 투영 경사 상승법(projected gradient ascent)을 통해 업데이트되는 적응형 듀얼 변수($\lambda_S$)를 통해 처리됩니다. 이는 자동으로 트레이드오프를 조절합니다. 즉, 정확도가 $S_0$ 미만으로 떨어지면 $\lambda_S$가 증가하여 정확도를 우선시하고, 정확도가 충족되면 $\lambda_S$가 감소하여 공격적인 지연 시간 감소를 허용합니다.
• 임계 경로 인지 신용 할당(Critical-Path-Aware Credit Assignment): 지연 시간의 비가산적 특성을 해결하기 위해, LAMaS는 **경로 임계도(path criticality)**에 따라 연산자 수준의 보상을 할당합니다.
  • 연산자 $o$에 대해, 가중치 $w(o) = \ell(o) / T$가 계산됩니다. 여기서 $\ell(o)$는 $o$를 통과하는 가장 긴 경로이며, $T$는 전체 임계 경로의 길이입니다.
  • 임계 경로 상의 연산자는 전체 지연 시간 페널티($w(o)=1$)를 받으며, 근접 임계 또는 비임계 경로 상의 연산자는 감쇄된 페널티를 받습니다. 이를 통해 그래디언트가 병목 연산자에 집중되도록 보장합니다.

2. 추론 시 실행 제어

학습 시의 그래프는 런타임 증거에 적응할 수 없으므로, LAMaS는 경량 실행 컨트롤러를 도입합니다.

• 기능: 컨트롤러는 부분 실행을 모니터링하고, 현재의 부분 실행의 라그랑주 보상과 전체 그래프를 실행했을 때의 보상 차이인 **제어 이득(control advantage, $\Delta_k$)**을 예측합니다.
• 의사 결정 로직: 만약 $\Delta_k > 0$이면, 현재의 부분 실행이 선호됩니다(정확도를 유지하면서 지연 시간을 줄임). 이때 컨트롤러는 불필요한 미래의 에이전트 상호작용을 제거합니다.
• 구현: 소규모 다층 퍼셉트론(MLP)이 실행 진행도, 답변 합의(출력의 의미론적 동등성), 쿼리 난이도와 같은 특징을 사용하여 $\Delta_k$를 예측합니다. 컨트롤러는 고정된 오케스트레이터로부터 수집된 트레이스를 기반으로 MSE 회귀를 통해 학습됩니다.

주요 기여

1. 정식화: 저자들은 명시적인 정확도 하한선을 유지하면서 지연 시간을 최소화하는 제약 최적화 문제로서 지연 시간 인지 MAS 오케스트레이션을 정식화했습니다.
2. 신용 할당 메커니즘: 경로 임계도에 따라 지연 시간 페널티의 가중치를 부여하는 임계 경로 인지 신용 할당 전략을 도입하여, 균등한 노이즈를 적용하는 대신 병목 연산자를 타겟팅하도록 보장했습니다.
3. 하이브리드 제어: 런타임 합의 및 진행 상황에 기반하여 중복된 에이전트 상호작용을 온라인으로 제거할 수 있는 경량 실행 시 컨트롤러를 제안하여 정적 그래프 구성을 보완합니다.
4. 모듈성: 본 프레임워크는 최소한의 변경만으로 다른 학습 기반 MAS 아키텍처로 전이될 수 있도록 모듈형으로 설계되었습니다.

실험 결과

LAMaS는 GSM8K, HumanEval, MATH, MMLU-Pro의 네 가지 벤치마크에서 비-MAS 전략(CoT, SC) 및 학습된 MAS 오케스트레이터(GDesigner, AgentDropout, MaAS)를 포함한 베이스라인들과 비교 평가되었습니다.

• 지연 시간 감소: LAMaS는 평가된 모든 학습 기반 MAS 베이스라인 중 최고의 지연 시간을 달야했습니다. 강력한 베이스라인(예: GSM8K에서 48.11초에서 11.73초로 감소)과 비교하여 엔드 투 엔드 지연 시간을 55.6%에서 75.6%까지 단축했습니다.
• 정확도 보존: 상당한 지연 시간 감소에도 불구하고, LAMaS는 베이스라인과 대등하거나 더 나은 정확도를 유지했습니다(예: GSM8K에서 93.65% vs MaAS의 93.36%).
• 비용 효율성: 임계 경로 상의 토큰 수를 줄임으로써 API 비용 또한 크게 절감했습니다(예: GSM8K에서 7.71 vs 31.52 $\times 10^{-4}$ USD).
• 절제 연구(Ablation Studies): 추론 시 컨트롤러를 제거하면 지연 시간이 16~21% 증가했습니다. 임계 경로 기반 신용 할당을 제거하면 모든 지표가 저하되었습니다. 정확도 하한선이나 임계 경로 가중치 없이 단순히 "보상에 지연 시간 추가"하는 방식은 최소한의 지연 시간 이득과 함께 심각한 정확도 저하를 초래했습니다.
• 전이 가능성: 다른 아키텍처(GDesigner 및 AgentDropout)에 적용했을 때, LAMaS 파이프라인은 정확도를 유지하면서도 일관되게 27~39%의 지연 시간을 감소시켜 그 범용성을 입증했습니다.

의의 및 주장

본 논문은 기존의 비용 및 정확도 중심 방식이 실행 지연 시간을 안정적으로 제어하지 못한다는 근본적인 간극을 LAMaS가 해결한다고 주장합니다. 지연 시간을 가산적 비용이 아닌 구조적인 그래프 수준의 속성으로 취급하고, 학습 시의 그래프 최적화와 추론 시의 적응형 제어를 분리함으로써, LAMaS는 추론 품질을 희생하지 않으면서도 "해를 끼치지 않는(do-no-harm)" 지연 시간 감소를 달성합니다. 저자들은 이 방식이 단순히 계산량을 줄이는 것이 아니라, 임계 실행 경로를 지능적으로 타겟팅하고 런타임 증거를 활용하여 중복을 제거함으로써, 더 빠르고 효율적인 다중 에이전트 시스템을 배포할 수 있는 실질적인 경로를 제공한다고 강조합니다.