기술 요약: 멀티 에이전트 시스템을 위한 쿼리 최적화의 재고 [비전]

문제 정의

대규모 언어 모델(LLM)의 확산은 에이전트들이 복잡하고 데이터 중심적인 작업을 수행하기 위해 협업하는 멀티 에이전트 데이터 파이프라인의 채택을 가속화했습니다. 그러나 현재의 구축 방식은 고정된 파이프라인 구조, 사전 선택된 모델, 단일 실행 엔진에 의존하는 임시방편적(ad hoc) 방식에 머물러 있습니다. 이러한 접근 방식은 이질적인 데이터 소스와 엔진 전반에 걸쳐 체계적으로 최적화하는 데 실패합니다.

저자들은 에이전트 파이프라인을 최적화하는 것이 다음과 같은 네 가지 핵심 과제로 인해 전통적인 쿼리 최적화와는 근본적으로 다른 문제라고 주장합니다:

1. 다차원 탐색 공간: 최적화는 상충하는 목표(지연 시간, 비용, 정확도)를 대상으로 파이프라인 토폴로지, 모델 선택, 엔진 할당을 공동으로 결정해야 합니다.
2. 가변적 토폴로지: 파이프라인 구조 자체가 결정 변수이며, 고정된 계획이 아닙니다.
3. 공통 대수의 부재: 구조화된 데이터, 비구조화된 텍스트, 임베딩, 스트리밍 데이터의 공존은 공통된 연산 대수를 제거하여 클래식한 가지치기(pruning) 기법을 불가능하게 만듭니다.
4. 확률적이고 비용이 많이 드는 실행: LLM 호출은 상당한 금전적 비용을 발생시키고 출력 품질의 가변성을 보이기 때문에, 탐색 공간을 나이브하게 탐색하는 것은 불가능합니다.

방법론 및 프레임워크: NOMA

본 논문은 멀티 에이전트 데이터 파이프라인을 위해 설계된 쿼리 최적화 프레임워크의 비전인 NOMA를 제시합니다. NOMA는 에이전트를 계산의 일급 단위(first-class units)로 취급하며, 계획이 이질적이고 확률적이며 구조적으로 동적인 환경으로 클래식한 최적화 원칙(비용 모델링, 계획 생성, 재최적화)을 확장합니다.

NOMA는 서로를 강화하는 네 가지 핵심 구성 요소로 이루어진 통합 최적화 루프로 개념화됩니다:

1. 계획 생성 (Plan Generation): 계획을 열거하는 대신, NOMA는 과거의 파이프라인에 대해 학습된 생성 모델을 사용하여 공동 최적화 공간(토폴로지, 모델, 엔진)에서 실행 가능한 파이프라인을 직접 생성할 것을 제안합니다.
2. 통합 비용 추정 (Unified Cost Estimation): 이 프레임워크는 이질적인 에이전트 특징을 공유 표현으로 매핑하는 비용 모델을 구축하는 것을 목표로 합니다. 단순한 스칼라 점 추정치가 아니라, 에이전트의 확률적 특성과 비가산적 품질 전파를 고려하여 지연 시간, 비용, 정확도에 대한 보정된 분포를 예측합니다.
3. 런타임 정교화 (Runtime Refinement): 최적화는 연속적인 과정으로 취급됩니다. "파이프라인 정교화 도구"는 베이지안 최적화를 사용하여 에이전트 완료 결과에 따라 비용 모델의 사전 확률(prior)을 업데이트하고, 재계획의 기대 이득이 그 비용을 정당화하는지 결정합니다.
4. 시맨틱 캐싱 (Semantic Caching): 중복성을 해결하기 위해, NOMA는 중간 결과뿐만 아니라 최적화된 하위 계획과 구성 결정까지 저장하는 캐시를 제안합니다. 이 캐시는 구조적으로 다른 파이프라인 간의 재사용을 가능하게 하기 위해 산술적(syntactic)이 아닌 시맨틱(semantic) 방식으로 아티팩트를 인덱싱합니다.

주요 기여 및 결과

본 논문은 통제된 실험과 실세계 분석을 통해 네 가지 주요 기여를 입증합니다:

1. 부적절한 비용의 정량화:

   • 실험: 실제 고객 지원 보고와 관련된 10개 에이전트 파이프라인을 대상으로, 고정된 토폴로지 하에서 186,624개의 가능한 계획을 대상으로 통제된 실험을 수행했습니다.
   • 결과: 계획 공간은 극심한 편차를 보였습니다: 금전적 비용에서 153배, 지연 시간에서 5배, 그리고 품질에서 **25%**의 격차가 나타났습니다.
   • 관찰: 최적의 계획은 이질적인 구성(예: 작업 난이도에 따라 서로 다른 LLM을 혼합 사용)이었으며, 이는 일반적인 사용자가 수동으로 구축하기 어려운 형태였습니다. 파레토 최적해(Pareto frontier)는 풍부했으며, 19%의 품질 향상을 위해 138배의 비용을 더 들일 수도 있는 반면, 균형 잡힌 계획은 최소한의 품질 손실로 비용을 65% 절감할 수 있음을 보여주었습니다.
   • 토폴로지 영향: 토폴로지를 수정(예: 조건부 정교화 루프 추가)함으로써 시스템은 고정 토폴로지 계획의 파레토 최적해 범위를 벗어난 성능 지점에 도달할 수 있었으며, 이는 토폴로지가 중요한 최적화 축임을 증명했습니다.

2. 실제 배포 분석:

   • 범위: 62개의 실제 에이전트 파이프라인 배포와 9,000개의 구축된 파이프라인을 분석했습니다.
   • 결과:
     • 복잡성: 파이프라인은 점점 복잡해지고 있습니다(종종 5~10개 이상의 태스크 포함).
     • 습관적 선택: 모델 선택은 비용-품질 트레이드오프보다는 친숙도에 의해 결정됩니다. 즉, 사용자들은 제한된 세트의 모델을 반복해서 사용합니다.
     • 비효율적 토폴로지: 단순한 체인 구조가 지배적이며(34%), 병렬성이나 피드백 루프를 활용하지 못하고 있습니다.
     • 미활용 엔진: 엔진 할당은 거의 최적화되지 않으며, 대부분의 태스크가 스트리밍이나 벡터 엔진을 사용할 수 있음에도 불구하고 기본 구조화 데이터베이스에서 실행됩니다.
     • 중복성: 핵심 태스크(수집, 추출, 보고)가 빈번하게 발생하지만 공유된 계산 없이 반복됩니다.

3. 문제 정형화:

   • 본 논문은 추상 멀티 에이전트 파이프라인(에이전트의 논리적 그래프)과 실행 가능한 멀티 에이전트 파이프라인(특정 모델, 엔진, 그리고 융합, 분할, 재정렬과 같은 구조적 변환을 포함하는 구체적 그래프)을 공식적으로 정의합니다.
   • 목표는 추상 파이프라인($G$)으로부터 다중 목적 함수 하에서 파레토 최적의 실행 가능 파이프라인($G^*$)을 찾는 것으로 정의됩니다.

4. 연구 과제:

   • 본 논문은 포괄적인 탐색 없이 생성 모델을 위한 학습 데이터를 어떻게 부트스트래핑할 것인지, 어떻게 이질적인 비용 신호를 통합된 분포로 조화시킬 것인지, 어떻게 확률적 실행 하에서 지속적인 최적화를 관리할 것인지, 그리고 캐싱을 위한 시맨틱 동등성을 어떻게 정의할 것인지 등 커뮤니티를 위한 구체적인 연구 질문들을 제시합니다.

의의 및 비전

본 논문은 현재의 멀티 에이전트 파이프라인이 "근본적으로 최적화되지 않았으며", 현재의 관행과 최적의 성능 사이의 격차가 "심각하고 피할 수 없다"고 주장합니다.

NOMA의 의의는 다음과 같은 패러다임 전환을 제안하는 데 있습니다:

• 정적에서 적응형으로: 고정된 계획에 대한 쿼리를 최적화하는 것에서, 파이프라인을 지속적으로 합성하고 적응시키는 것으로 이동합니다.
• 지속적인 함수로서의 최적화: 최적화는 실행 전 단계가 아니라 지속적인 시스템 함수가 됩니다.
• 자기 진화 시스템: 시스템이 실행 경험을 축적함에 따라, 파이프라인 구성(토폴로지, 모델, 전략)은 스스로를 지속적으로 재작성합니다.

저자들은 NOMA를 데이터베이스, 시스템, 머신러닝 커뮤니티가 정적 파이프라인을 넘어 적응형, 비용 인식 실행으로 나아가는 새로운 클래스의 옵티마이저의 토대를 마련하기 위해 공동으로 대응해야 할 행동 촉구(call to action)로 규정합니다.