기술 요약: 의도에서 실행까지: 에이전트 추천을 통한 에이전트 워크플로우 구성

1. 문제 제기

일반 목적 및 도메인 특화형 전문 AI 에이전트의 급속한 확산은 다중 에이전트 시스템 (MAS) 에서 조합적 과제를 야기했습니다: 방대하고 성장 중인 레지스트리 내에서 특정 작업에 가장 적합한 "최적" 에이전트를 효율적으로 식별하는 것입니다. 에이전트 워크플로우 설계에 대한 기존 접근 방식은 상당한 수동 오버헤드로 인해 다음과 같은 영역에서 인간의 개입을 필요로 합니다.

• 계획 구성: 작업 순서를 수동으로 설계합니다.
• 에이전트 선택: 작업을 특정 에이전트에 수동으로 매핑합니다.
• 실행 그래프 생성: 에이전트 상호작용 논리를 수동으로 구축합니다.

또한, 기존 검색 방법 (키워드 기반 또는 단순 LLM 컨텍스트 검색) 은 대규모 에이전트 생태계에는 부적합합니다. 이러한 방법들은 종종 의미론적 뉘앙스를 포착하지 못하며, 레지스트리가 확장됨에 따라 "건초더미 속의 바늘" 문제에 직면하고, 지역적 작업 유사성뿐만 아니라 지연 시간, 비용, 보안과 같은 전역적 제약을 최적화할 능력이 부족합니다.

2. 방법론: AutoMAS 프레임워크

저자들은 최소한의 인간 개입으로 사용자 의도를 작동하는 다중 에이전트 애플리케이션으로 변환하도록 설계된 자동화 프레임워크인 AutoMAS를 제안합니다. 시스템 아키텍처는 네 가지 주요 구성 요소로 구성됩니다.

2.1 플래너 (Planner)

플래너는 자연어 형태의 사용자 의도를 받아 구조화된 계획을 생성합니다. 선형 시퀀스와 달리, 계획은 비순차적 논리, 재귀, 동적 경로를 수용하기 위해 **유한 상태 기계 (FSM)**로 표현됩니다. 플래너는 회수 증강 생성 (RAG) 을 통해 생성된 계획을 정제하기 위해 이전 계획 데이터베이스인 에피소드 및 의미 기억을 활용할 수 있습니다.

2.2 변수 호출 그래프 (VCG)

VCG 는 동적 라우팅 메커니즘으로 작동합니다. 이는 FSM 의 작업을 레지스트리에서 검색된 에이전트에 매핑합니다. 중요한 점은 VCG 가 다음에 기반하여 여러 실행 경로를 지원한다는 것입니다.

• 중복성: 동일한 작업에 대한 대체 에이전트를 제공하여 내결함성을 보장합니다.
• 동적 최적화: 실시간 환경 요인 (예: 네트워크 중단) 또는 사용자 제약 조건 (예: 최저 지연 시간 대 최저 비용) 에 따라 경로를 선택합니다.

2.3 에이전트 추천기 (AR)

시스템의 핵심은 자연어 작업 설명을 레지스트리의 에이전트에 매핑하도록 설계된 2 단계 하이브리드 검색 시스템입니다.

• 1 단계: 빠른 검색기 (Fast Retriever): 밀집 벡터 임베딩과 희소 키워드 매칭 (예: BM25) 을 결합한 하이브리드 검색을 사용하여 광범위한 후보 에이전트 집합을 빠르게 식별합니다 (높은 재현율).
• 2 단계: LLM 기반 재순위화기 (Re-ranker): 1 단계에서 상위 후보들을 받아 대형 언어 모델 (LLM) 을 사용하여 재배열합니다. 이 단계는 작업 - 에이전트 적합성에 대한 세밀한 의미론적 이해를 제공하여 목록 상단에서 정밀도를 우선시합니다.
• 에이전트 설명 풍부화: 검색 품질을 개선하기 위해 시스템은 인덱싱 시 에이전트 설명에서 합성 쿼리를 생성합니다. 이러한 쿼리는 원래 설명에 추가되며, 그 임베딩을 평균화하여 벡터 저장소를 위한 더 견고한 의미 표현을 생성합니다.

2.4 비판 메커니즘 (Critique Mechanism)

세 번째 선택 단계는 전체 계획 및 사용자 제약 조건에 대한 에이전트 추천을 종합적으로 검토하는 비판 에이전트를 포함합니다.

• 루프 내 (작업 특정): 추천된 에이전트가 특정 작업 설명에 적합한지 평가합니다.
• 루프 외 (계획 특정): 에이전트 선택의 전역 최적성을 평가하여 변수 호출 그래프 전반에 걸친 입력 - 출력 호환성과 비용, 지연 시간, 안전성과 같은 제약 조건 준수를 보장합니다.
• 비판은 에이전트를 재순위화하지는 않지만, 현재 구성이 최적화되지 않은 경우 작업 계획 또는 에이전트 선택에 대한 개선 사항을 제안할 수 있습니다.

2.5 인간 - 루프 (HIL)

이 프레임워크는 설계 시간 (애플리케이션 구조 개선을 위해) 과 실행 시간 (실행 그래프의 감독 노드를 통해 모호성 해결 또는 감지된 오류 수정) 모두에서 인간 개입을 지원합니다.

3. 주요 기여

1. 자동화된 MAS 구성: 사용자 의도에서 실행 가능한 에이전트 워크플로우로의 전환을 자동화하여 수동 구성 단계를 대체하는 완전한 파이프라인.
2. 2 단계 하이브리드 검색: 컨텍스트 창 기반 접근 방식의 확장성 한계를 해결하는 빠른 벡터/키워드 검색과 LLM 기반 재순위화를 결합한 확장 가능한 에이전트 선택 아키텍처.
3. 에이전트 설명 풍부화: 인덱싱 단계에서 에이전트 설명에서 파생된 합성 쿼리를 생성하고 평균화하여 에이전트의 의미 표현을 강화하는 기술.
4. 전역 비판 메커니즘: 에이전트 선택을 지역적 수준뿐만 아니라 전역 워크플로우 토폴로지와 사용자 제약 조건에 대해 평가하는 비판 에이전트 통합으로, 최종 구성의 견고성을 향상시킴.
5. 동적 실행 그래프: 중복 및 동적 라우팅을 가능하게 하는 변수 호출 그래프의 사용으로, 시스템이 실행 시간 실패 및 최적화 제약 조건에 적응할 수 있도록 함.

4. 실험 결과

저자들은 에이전트 추천을 위한 ToolE 데이터셋과 엔드투엔드 계획 및 구성을 위한 TaskBench 데이터셋을 사용하여 시스템을 평가했습니다.

4.1 에이전트 추천 성능

• 임베딩 및 재순위화: 대형 임베딩 (text-embedding-3-large) 과 LLM 재순위화기 (gpt-4o 또는 o1) 의 조합은 검색기 전용 베이스라인에 비해 정밀도 (nDCG@1) 를 크게 향상시켰습니다.
• 풍부화 및 필터링: 에이전트 설명 풍부화 (합성 쿼리 임베딩 평균화) 는 재현율 (Recall) 과 mAP 를 일관되게 향상시켰습니다. 필터링 단계 (재순위화기가 관련 없는 후보를 폐기하는 단계) 를 추가하면 가장 큰 향상을 보였으며, 재현율 0.8398과 mAP 0.8173을 달성했습니다.
• 비교: 제안된 접근 방식은 전체 도구 목록을 LLM 의 컨텍스트로 제공하는 Re-Invoke 방법보다 성능이 우수했습니다. AutoMAS 접근 방식은 더 높은 재현율과 정밀도를 달성하면서도 더 큰 에이전트 레지스트리에 대해 확장성이 더 뛰어났습니다.

4.2 엔드투엔드 계획 성능

TaskBench (일상 생활, Hugging Face, 멀티미디어 API 포함) 에서 평가됨:

• 의미론적 지표: LLM 을 심사관으로 사용하여, 시스템은 59.3% 의 전체 일치율과 0.742 의 단계별 비율을 달성했습니다. 이는 정확한 문구가 다를지라도 의미론적 의도와 도구 선택이 대체로 정확함을 나타냅니다.
• 구조적 지표: 구조화된 예측 평가 (도구 이름, 인수, 시퀀스에 중점) 에서 시스템은 높은 충실도를 보여주었습니다. "일상 생활" 카테고리의 경우, 도구/노드 이름 F1 점수 0.9064와 시퀀스 유사도 0.8956을 달성했습니다.
• 비판의 영향: 비판 메커니즘을 반복적 수정과 통합하면 지표를 추가로 향상시켰습니다. "일상 생활"의 경우, 도구/노드 이름 F1 점수가 0.9064 에서 0.9161 로 증가했고, 시퀀스 유사도는 0.8956 에서 0.9034 로 개선되어 비판이 순서 및 구조적 오류를 효과적으로 수정함을 입증했습니다.

5. 의의 및 주장

이 논문은 AutoMAS 가 확장 가능한 자동화 다중 에이전트 시스템 설계로 나아가는 중요한 단계라고 주장합니다.

• 확장성: 전체 에이전트 레지스트리를 토큰 수 및 비용 제한이 있는 LLM 의 컨텍스트에 주입하는 접근 방식과 달리, 제안된 2 단계 검색 아키텍처는 수천 개의 에이전트가 있는 레지스트리에 효과적으로 확장됩니다.
• 견고성: 변수 호출 그래프와 비판 메커니즘의 포함은 시스템이 개별 에이전트 선택에서 정확할 뿐만 아니라 제약 조건을 준수하는 전역적으로 최적의 워크플로우를 구축하는 데 있어 견고함을 보장합니다.
• 약간의 한계: 저자들은 LLM 기반 재순위화기가 내재된 편향 (예: 지시와 상관없이 비용이 낮은 에이전트를 선호하는 경향) 을 보일 수 있으며, 비판이 검색 쿼리를 어떻게 개선하는지에 대한 메커니즘은 추가 조사가 필요하다고 인정합니다. 또한, 모든 도구를 선택할 수 있는 전체 컨텍스트를 가진 LLM 을 사용하는 프레임워크와 달리, 현재 접근 방식은 검색된 집합을 넘어 에이전트 선택을 동적으로 변경할 수는 없다고 지적합니다.

결론적으로, 이 연구는 대규모 에이전트 생태계에서 복잡한 사용자 의도를 처리할 수 있는 신뢰할 수 있는 엔드투엔드 다중 에이전트 시스템을 구축하기 위해서는 빠른 검색, 의미론적 재순위화, 설명 풍부화, 그리고 종합적 비판을 결합한 다단계 접근 방식이 필수적임을 보여줍니다.