💻 computer science

AgentCo-op: Retrieval-Based Synthesis of Interoperable Multi-Agent Workflows

AgentCo-op은 타입 기반 아티팩트 전달과 로컬 자기 수리를 통해 재사용 가능한 도구와 에이전트를 구성하여 상호 운용 가능한 다중 에이전트 워크플로우를 합성하는 검색 기반 프레임워크로, 개방형 과학 분야에서 효과적인 협력적 발견을 가능하게 하면서 다양한 벤치마크에서 비용 절감과 함께 베이스라인을 능가하는 성능을 발휘합니다.

원저자: Shuaike Shen, Wenduo Cheng, Shike Wang, Mingqian Ma, Jian Ma

게시일 2026-05-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuaike Shen, Wenduo Cheng, Shike Wang, Mingqian Ma, Jian Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 기계, 예를 들어 우편물을 분류하고 매일 일기를 써주는 하이테크 커피머신 같은 것을 만들려고 상상해 보세요. 과거에는 AI 로 이런 일을 구현하기 위해 연구자들이 완벽한 설계를 "찾아내는" 시도를 했습니다. 그들은 수천 개의 다른 설계도를 생성하고, 이를 테스트한 뒤, 그중 하나가 작동하기를 바랐습니다. 하지만 이는 매번 새로운 바늘 공장을 짓는 방식으로 건초더미에서 특정 바늘을 찾는 것과 같습니다. 이는 느리고 비싸며, 특히 정답 키가 존재하지 않는 실세계 과학과 같은 새롭고 복잡한 작업에서는 종종 실패합니다.

AGENTCO-OP는 이러한 AI 팀을 구축하는 새로운 방법입니다. 처음부터 새로운 설계를 찾아내는 대신, 이는 미리 구축된 전문 도구와 작업자들이 가득 찬 창고에 들어와 올바른 것들을 선택하여 작동하는 기계로 조립하는 마스터 계약자처럼 행동합니다.

다음은 간단한 비유를 통해 그 작동 방식을 설명한 것입니다:

1. "창고" 대 "검색"

대부분의 현재 AI 시스템은 최적의 워크플로우를 검색하려 합니다. 케이크를 굽기 위해 재료를 무작위로 섞고 맛을 보며 올바르게 될 때까지 시도하는 것을 상상해 보세요.
AGENTCO-OP는 검색이 아닌 **검색 (retrieval)**을 사용합니다. 케이크를 굽기 위해 필요한 요리사라고 상상해 보세요. 새로운 레시피를 발명하는 대신, 잘 정리된 창고 (기술과 도구의 라이브러리) 로 갑니다. 거기서 미리 만들어진 "혼합 기술", "굽기 도구", "아이스팅 에이전트"를 가져옵니다. 바퀴를 다시 발명하는 것이 아니라, 필요한 부품들을 조립할 뿐입니다.

2. "타입된 인계" (안전한 패키지)

친구에게 쪽지를 전달할 때, 냅킨에 적을 수도 있습니다. 다음 사람이 특정 양식이 필요할 경우, 냅킨은 분실되거나 오해될 수 있습니다.
AGENTCO-OP 에서는 한 AI 에이전트가 다른 에이전트에게 결과를 전달할 때마다 데이터를 엄격하게 라벨링된 안전한 상자(타입된 아티팩트라고 함) 에 넣습니다.

예시: 에이전트 A 가 유전자 목록을 찾으면, 단순히 에이전트 B 에게 목록을 외치는 것이 아니라 "유전자 목록: 53 개 항목, 검증됨"이라고 라벨이 붙은 상자에 넣습니다. 에이전트 B 는 상자를 열고 라벨을 확인하여 정확히 무엇을 해야 할지 알게 됩니다. 이는 에이전트들이 서로 말을 섞지 못하거나 엉망인 데이터에 혼란을 겪는 것을 방지합니다.

3. "로컬 수리" (빠른 수정)

때로는 최상의 계획으로도 기계가 고장 날 수 있습니다.

구식 방법: 부품이 고장 나면 공장 전체가 멈추고, 엔지니어들은 처음부터 완전히 새로운 기계를 설계하기 위해 도면대로 돌아갑니다.
AGENTCO-OP 방식: 특정 부품이 고장 나면 "리뷰어"(스마트 감독자) 가 오류를 살펴보고 로컬 수리를 수행합니다. 이는 엔진의 느슨한 볼트를 보고 그 볼트만 조이는 기계공처럼, 차 전체를 재건하는 것이 아니라 고장 난 부분만 수리하고 계속 진행합니다.

4. "도커" (범용 어댑터)

과학자들은 종종 서로 다른 환경에서 구축된 자체 도구를 가지고 있습니다 (예: 하나는 Mac 에서 작동하고, 다른 하나는 Linux 서버에서 작동함). 보통 이들은 서로 대화할 수 없습니다.
AGENTCO-OP 는 이러한 서로 다른 도구들을 도커 컨테이너로 감쌉니다. 이는 모든 도구를 범용 운송 컨테이너에 넣는 것과 같습니다. 도구가 무엇인지, 어디서 구축되었는지와 상관없이 컨테이너에 들어가면 워크플로우에 원활하게 연결될 수 있습니다. 이를 통해 서로 다른 사람들이 다른 시기에 구축한 "유전자 에이전트"와 "조직 에이전트"가 완벽하게 함께 작동할 수 있습니다.

그들은 실제로 무엇을 했나요?

이 논문은 이 시스템을 두 가지 주요 방식으로 테스트했습니다:

A. "실제 세계" 과학 테스트 (오픈 월드)
그들은 표준 시험 문제를 사용하지 않았습니다. 대신 실제이고 엉망인 과학적 문제를 사용했습니다:

심장 연구: 그들은 두 개의 분리된 AI 에이전트 (하나는 심장 조직을 보고, 다른 하나는 유전자를 분석하는) 를 연결하여 특정 심장 세포가 왜 다르게 행동하는지 파악했습니다. 시스템은 그들 사이에 데이터를 전달하는 워크플로우를 구축했으며, 성공적으로 특정 생물학적 패턴을 식별했습니다.
세포 연구: 그들은 두 가지 다른 분석 방법 (RNA 를 보는 것과 DNA 접근성을 보는 것) 을 결합하여 세포 유형에 대한 더 나은 마커를 찾았습니다. 시스템은 두 가지 분석을 병렬로 실행하고 결과를 비교하여 어느 한 방법만 사용하는 것보다 더 정확한 보고서를 생성했습니다.
"재사용" 테스트: 그들은 다른 AI 가 이미 설계한 워크플로우를 가져와 AGENTCO-OP 의 방법을 사용하여 "수정"하여 더 좋게 만들었습니다.

B. 표준 테스트 (벤치마크)
그들은 또한 수학, 코딩, 그리고 질문 - 답변 테스트 (AI 모델을 평가하는 데 사용되는 것과 같은) 와 같은 표준 테스트에서 시스템을 테스트했습니다.

결과: AGENTCO-OP 는 여섯 가지 테스트 중 네 가지에서 최고 점수를 받았습니다.
비용: 실행 비용도 훨씬 저렴했습니다. 다른 방법들이 올바른 답을 "검색"하기 위해 많은 돈을 썼던 반면, AGENTCO-OP 는 올바른 도구를 조립하고 발생하는 작은 오류들을 수정함으로써 상당한 컴퓨터 시간과 비용을 절약했습니다.

결론

이 논문은 AGENTCO-OP가 복잡한 작업을 위한 AI 팀을 구축하는 더 지적인 방법이라고 주장합니다. 처음부터 완벽한 솔루션을 "검색"하는 대신, 기존 도구를 검색하여 엄격한 규칙으로 조립하고, 실시간으로 작은 오류를 수정합니다. 이는 정답 키가 없는 실세계 과학을 처리하는 데 더 뛰어나며, 이전 방법들에 비해 비용을 절감합니다.

기술 요약: AGENTCO-OP

문제 정의

개방형 과학 도메인에서 상호 운용 가능한 다중 에이전트 워크플로우를 설계하는 것은 특히 어렵습니다. curated 학습 세트, 신뢰할 수 있는 스칼라 평가 지표, 표준화된 인터페이스를 제공하는 표준 벤치마크 (예: QA, 코딩, 수학) 와 달리, 과학적 작업은 이러한 자원이 종종 부족합니다. 유전체학 같은 분야에서는 작업이 개방형이며, 정답이 모호하거나 존재하지 않는 경우가 많고, 평가는 단일 스칼라 보상 대신 통계적 유의성, 생물학적 타당성 이질적 중간 증거에 의존합니다. furthermore, 기존 과학 에이전트와 도구는 종종 환경, 인터페이스, 출처 상태가 호환되지 않도록 독립적으로 개발됩니다. 현재 자동화된 워크플로우 설계 방법 (예: ADAS, AFlow, AgentSquare) 은 후보 토폴로지를 검색하고 스칼라 피드백에 대해 최적화하는 전략에 의존하는데, 대표성 있는 벤치마크와 신뢰할 수 있는 보상 신호가 없을 경우 이 전략은 비현실적이 됩니다.

방법론: AGENTCO-OP

저자들은 자동화된 다중 에이전트 워크플로우 설계를 전역 검색 문제가 아닌 구성 문제로 재정의하는 검색 기반 합성 프레임워크인 AGENTCO-OP를 제안합니다. 이 시스템은 다음 다섯 가지 주요 단계를 통해 작동합니다:

계획 및 검색: 작업 명세 $x = (g, c, r, \Omega)$ (목표, 맥락, 제약 조건, 자원) 가 주어지면, 시스템은 검색 계획을 수립합니다. 참조 문서, 절차적 에이전트 기술, 호출 가능한 도구, 외부 GitHub 저장소의 메타데이터를 포함한 관련 아티팩트를 curated 라이브러리나 사용자가 제공한 저장소에서 수집합니다.
합성: AGENTCO-OP 는 지향 그래프 $G = (V, E)$ $G = (V, E)$ 로 초기 실행 가능한 워크플로우를 합성합니다.
- 그래프 표현: 노드는 Docker 컨테이너로 래핑된 외부 에이전트나 엔드 투 엔드 방법으로 할당된 역할을 가진 에이전트를 나타냅니다. 에지는 정보 흐름과 중간 아티팩트를 나타냅니다.
- 노드 그라운딩: 각 노드는 라이브러리에서 검색된 특정 기술과 도구로 그라운딩되며, 함수 $\phi$ 를 통해 매핑됩니다.
- 인터페이스 정렬: 시스템은 타입 지정 아티팩트 인계를 강제합니다. 에이전트 간 통신은 프로토콜 $\Pi$ 에 의해 규제되며, 아티팩트 (예: 검증된 마커 테이블, 구조화된 JSON) 는 표준화된 스키마를 통해 전달되어 이질적 구성 요소 간의 호환성을 보장합니다.
- 컨테이너화: 외부 저장소와 방법은 Repo2Run을 따르는 Docker 컨테이너로 래핑되어 환경 종속성을 해결하고 그래프 노드로 작동할 수 있도록 합니다.
실행: 합성된 워크플로우가 실행됩니다. 이 단계 동안 시스템은 실행 추적, 검증 확인, 도구 오류, 비용 신호를 포함한 이질적 증거를 모니터링합니다.
증거 기반 국부 수리: 실행 증거가 실패나 불확실성을 나타내면, "검토자"가 경계된 국부 수리를 트리거합니다. 전역 합성이나 검색을 다시 시작하는 대신, 시스템은 수리 정책 세트를 참조하여 관련된 노드, 첨부된 기술, 도구 또는 통신 에지만 수정합니다. 이 과정은 수리 예산이나 최대 라운드 수로 제한됩니다.
검색 기반 워크플로우와의 구성: AGENTCO-OP 는 AFlow 같은 검색 기반 방법이 생성한 기존 에이전트 그래프를 구조적 사전 지식으로 섭취할 수도 있습니다. 그런 다음 검색된 기술로 노드를 그라운딩하고 국부 수리를 적용하여 그래프를 정제함으로써 합성과 검색이 상호 보완적임을 보여줍니다.

주요 기여

검색 기반 합성 공식화: 이 논문은 스칼라 보상이 약하거나 사용 불가능한 환경에서 자동화된 워크플로우 설계를 검색 기반 합성 문제로 공식화합니다. 이를 AGENTCO-OP 에서 구체화하여, 타입 지정 아티팩트 인계와 경계된 국부 수리를 통해 자원, 기술, 도구, 외부 에이전트를 동적으로 실행 가능한 워크플로우로 구성합니다.
독립적 과학 에이전트의 조정: 이 프레임워크는 개방형 유전체학 작업에서 독립적으로 개발된 과학 에이전트와 도구 저장소를 조정할 수 있는 능력을 보여줍니다. 작업 명세와 GitHub 링크만 주어지면 기존 저장소를 재설계하지 않고도 상호 운용 가능한 워크플로우를 자동으로 합성합니다.
합성과 검색의 상호 보완성: 저자들은 AFlow 가 검색한 워크플로우를 가져와 검색 기반 그라운딩과 국부 수리를 통해 개선함으로써 합성과 검색이 상호 보완적임을 입증했습니다.
성능 및 효율성: 여섯 가지 표준 벤치마크 (QA, 수학, 코드) 에서 AGENTCO-OP 는 네 가지 벤치마크에서 최고의 성능을 달성했으며, 통합 백본 설정 하에서 평균 점수가 가장 높았습니다. 또한 다중 에이전트 베이스라인에 비해 작업당 토큰 비용을 일관되게 줄였습니다.

실험 결과

이 논문은 두 가지 영역에서 AGENTCO-OP 를 평가합니다:

1. 개방형 과학 사례 연구:

공간 전사체학 협업: AGENTCO-OP 는 TissueAgent(공간 전사체학) 와 GeneAgent(유전자 세트 해석) 를 조정하여 발달 중인 인간 심장 MERFISH 데이터셋을 분석합니다. 시스템은 TissueAgent가 53 개의 상향 조절된 마커 유전자를 식별하고, 이를 검증하여 타입 지정 아티팩트로 GeneAgent에 전달하여 해석하는 직렬 워크플로우를 성공적으로 합성합니다. 에이전트들은 AVN/AV 링 섬유아세포가 특수한 발달 상태를 나타낸다고 결론 내립니다.
교차 모달리티 마커 발견: 시스템은 PBMC 멀티오믹 데이터에서 Seurat(RNA-seq) 과 Signac(ATAC-seq) 워크플로우를 병렬로 구성합니다. 두 모달리티의 결과를 통합하여 CellMarker 2.0 과 PanglaoDB 에 대해 마커 품질을 평가합니다. 결합된 접근 방식은 단일 모달리티만 사용할 때보다 더 높은 매크로 정밀도와 재현율을 제공합니다.
워크플로우 재사용: MBPP 벤치마크에 대한 AFlow 검색 그래프를 가져와 정제함으로써, 시스템은 pass@1 점수 87.5 를 달성하여 AFlow 단독 (78.2) 과 처음부터 구축한 AGENTCO-OP(87.1) 보다 우수한 성능을 보입니다.

2. 표준 벤치마크:

HotpotQA, DROP, HumanEval, MBPP, GSM8K, MATH 를 GPT-4o-mini 를 사용하여 평가했습니다.
AGENTCO-OP 는 여섯 가지 벤치마크 중 네 가지에서 최고 점수를 달성했으며 평균 점수도 가장 높았습니다.
비용 분석: AGENTCO-OP 는 훈련/검색 중 또는 반복적인 에이전트 간 통신으로 인해 높은 비용이 발생하는 토론 기반 방법 (예: LLM-Debate, ReConcile) 과 검색 기반 방법 (예: AFlow) 에 비해 테스트 시간 토큰 비용을 크게 줄였습니다.

중요성과 주장

이 논문은 검색 기반 합성이 벤치마크 최적화 에이전트 그래프를 넘어 기존 에이전트, 도구, 타입 지정 아티팩트로 구축된 개방형 워크플로우로 자동화된 에이전트 워크플로우 설계를 확장한다고 주장합니다.

개방형 작업으로의 확장성: 전역 토폴로지 검색과 스칼라 보상에 대한 의존성을 피함으로써, AGENTCO-OP 는 curated 벤치마크가 부족한 과학 도메인의 병목 현상을 해결합니다.
상호 운용성: 이 프레임워크는 기술을 타입 지정되고 테스트 가능한 단위로 취급하고 Docker 래핑과 타입 지정 아티팩트를 통해 인터페이스 정렬을 강제함으로써 상호 운용성 문제를 해결하여, 독립적으로 개발된 시스템이 협력할 수 있도록 합니다.
효율성: 합성 우선 접근 방식과 경계된 국부 수리의 결합은 전역 검색의 비용이 많이 드는 시행착오와 토론 기반 시스템의 중복 통신을 피하여 비용을 낮추고 특정 문제 사례에 대한 빠른 적응을 가능하게 합니다.
과학적 유용성: 이 연구는 과학적 에이전트의 진전이 단순히 더 강력한 개별 에이전트를 구축하는 데만 달려 있는 것이 아니라, 이질적 에이전트를 조직화, 구성, 적응시켜 신뢰할 수 있는 협력 시스템으로 만드는 방법을 개발하는 데 달려 있음을 시사합니다. AGENTCO-OP 는 기존 전문 지식을 구성하고 검증하여 복잡한 교차 도메인 발견 과제를 해결할 수 있는 재사용 가능한 생태계로 나아가는 실용적인 경로를 제공합니다.

저자들은 현재 단일 도메인 사례 연구에 초점을 맞추고 있다는 점, 사용 가능한 자원의 품질에 의존한다는 점, 그리고 국부 수리가 전역 최적성을 보장하지는 않는다는 점 등 한계를 인정합니다. 그러나 그들은 이 패러다임이 실제 과학 응용 분야를 위한 검색 기반 설계에 대한 견고한 대안을 제공한다고 주장합니다.