💬 NLP

Multi-Agent Computer Use

이 논문은 매니저 모델이 동적 유향 비순환 그래프(DAG)를 통해 병렬 서브 에이전트들을 조율함으로써 복잡하고 장기적인 과업을 효과적으로 처리하는 시스템인 Multi-Agent Computer Use (MACU)를 제안하며, 데스크톱 및 웹 내비게이션 벤치마크 전반에서 단일 에이전트 베이스라인 대비 유의미한 성능 향상을 입증한다.

원저자: Jing Yu Koh, Ruslan Salakhutdinov, Daniel Fried

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jing Yu Koh, Ruslan Salakhutdinov, Daniel Fried

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 결혼식이나 기업 연수와 같이 거대하고 복잡한 이벤트를 조직해야 한다고 상상해 보십시오.

과거의 방식 (단일 에이전트):
과거에는 이 일을 완수하기 위해 매우 똑똑하지만 매우 바쁜 비서 한 명을 고용하려 했습니다. 이 비서는 모든 것을 혼자서 해야 했습니다: 케이터링 업체에 전화하고, 장소를 예약하고, 날씨를 확인하고, 꽃을 사는 일까지 말이죠. 만약 케이터링 업체가 "그 날짜에는 예약이 꽉 찼습니다"라고 말한다면, 비서는 하던 일을 멈추고 장소에 전화하여 그 날짜가 비어 있는지 확인하고, 플로리스트에게 연락하여 이용 가능한지 확인한 다음, 다시 케이터링 업체에 전화하여 새로운 날짜를 제안해야 했습니다. 비서가 전화 한 통에 막히게 되면, 이벤트 계획 전체가 중단되었습니다. 그들은 한 번에 한 단계씩, 직선적인 방식으로 작업했으며, 벽에 부딪히면 다른 경로를 시도하기 위해 처음부터 다시 되돌아가야 했습니다.

새로운 방식 (다중 에이전트 컴퓨터 사용 - MACU):
이 논문은 더 똑똑한 방식을 제 제안합니다: **프로젝트 매니저(Project Manager)**와 **전문가 보조팀(Specialist Assistants)**을 고용하는 것입니다.

이 새로운 시스템이 작동하는 방식은 다음과 같습니다 (결혼식 계획 비유 사용):

1. 프로젝트 매니저 (The "Manager")

매니저는 직접 일을 하는 대신, 오직 큰 그림을 보고 **지도(Map)**를 그리는 역할만 수행합니다 (이를 유향 비순환 그래프, 즉 DAG라고 부릅니다).

세분화: 매니저는 "결혼식 계획하기"라는 과업을 보고 이를 "장소 찾기", "케이터링 예약하기", "꽃 선택하기", "초대장 보내기"와 같은 작은 조각들로 나눕니다.
지도: 매니저는 어떤 작업들이 동시에 일어날 수 있는지 보여주는 지도를 그립니다. 예를 들어, "장소 찾기"와 "케이터링 예약하기"는 서로 의존하지 않으므로 동시에 진행될 수 있습니다.
두뇌: 매니저만이 전체 지도를 볼 수 있습니다. 만약 새로운 정보가 들어오면 (예: "장소가 너무 비싸다"), 매니저는 즉시 지도를 다시 그리고, 비싼 장소를 찾는 작업을 취소한 뒤, 다른 보조원을 보내 더 저렴한 장소를 찾게 할 수 있습니다. 이 과정에서 다른 보조원들의 작업은 멈추지 않습니다.

2. 보조팀 (The "Subagents")

매니저는 실제 업무를 수행할 동일한 형태의 보조원(서브에이전트) 팀을 파견합니다.

병렬 처리의 힘: 한 사람이 끝날 때까지 기다리는 대신, 매니저는 네 명의 보조원을 동시에 보냅니다. 한 명은 호텔을 확인하고, 다른 한 명은 항공권을 확인하며, 세 번째는 식당을, 네 번째는 날씨를 확인합니다. 이들은 마치 레이싱 카의 타이어를 교체하는 피트 크루처럼 병렬적으로 움직입니다.
격리: 각 보조원은 자신만의 전용 "샌드박스"(가상 컴퓨터)에서 작업합니다. 만약 한 보조원이 오류가 나거나 혼란에 빠지더라도, 다른 보조원들에게 영향을 주지 않습니다. 이들은 서로 격리되어 있습니다.

3. "살아있는" 지도 (재계획)

이 부분이 가장 중요합니다. 기존 시스템에서는 계획을 세우면 상황이 변하더라도 그 계획을 고수했습니다.
이 새로운 시스템에서 지도는 살아있습니다.

피드백 루프: 보조원이 과업을 마치는 즉시 (예: "호텔을 찾았지만 만실입니다"), 매니저에게 보고합니다.
피벗(방향 전환): 매니저는 이 새로운 정보를 보고 즉시 지도를 업데이트합니다. 예를 들어 호텔이 만실이라면, 매니저는 "대체 호텔 찾기"라는 새로운 과업을 추가하고 새로운 보조원을 보내 이를 수행하게 합니다. 만약 보조원이 (작동하지 않는 버튼을 계속 클릭하는 것과 같이) 루프에 빠져 있다면, 매니저는 "그 작업은 중단하고, 다른 접근 방식을 시도하라"고 명령할 수 있습니다.
과거 기억하기: 때때로 보조원이 파일이나 특정 정보를 찾아내면, 다음 사람이 필요로 할 수도 있습니다. 매니저는 사서처럼 그 파일을 저장했다가 다음 보조원에게 전달하여, 그들이 처음부터 다시 시작할 필요가 없도록 합니다.

왜 이것이 더 나은가요?

이 논문은 단순한 데스크톱 작업(글꼴 변경 등)부터 웹을 통한 복잡한 다일간의 여행 계획에 이르기까지, 네 가지 다른 유형의 "컴퓨터 작업"을 대상으로 테스트를 진행했습니다.

속속도: 복잡한 작업의 경우, 여러 작업을 동시에 수행했기 때문에 단일 보조원보다 약 1.5배 빠르게 완료했습니다.
성공률: 팀 방식은 어려운 문제를 해결하는 데 훨씬 뛰어났습니다. 가장 어려운 여행 계획 테스트에서 단일 보조원은 90%의 확률로 실패했지만, 팀은 34%의 성공률을 기록했습니다. 이는 엄청난 도약입니다.
탈출 능력: 단일 보조원이 막다른 길에 부딪히면 전체 과정이 멈췄습니다. 그러나 팀 방식은 다른 사람을 보내 다른 문을 시도하게 할 수 있었습니다. 한 경로가 막히더라도, 다른 경로가 이미 열려 있을 수 있기 때문입니다.

핵심 요약

이 논문은 복잡하고 장기적인 컴퓨터 작업을 수행할 때, 하나의 "슈퍼 봇"이 직선적으로 모든 것을 하려고 노력하는 것에 의존해서는 안 된다고 주장합니다. 대신, 유연한 지도를 그리는 매니저와, 병렬로 실행되고, 멈추고, 시작하며, 발견한 내용에 따라 즉각적으로 방향을 바꿀 수 있는 팀을 활용해야 합니다.

이는 정글을 홀로 횡단하려는 고독한 탐험가와, 리더와 지도, 그리고 흩어져서 더 넓은 영역을 커버하고 장애물에 즉각 적응할 수 있는 팀이 있는 가이드 원정대의 차이와 같습니다.

기술 요약: 다중 에이전트 컴퓨터 사용 (MACU)

문제 정의

현재의 컴퓨터 사용 에이전트(CUA)는 주로 단일, 직렬 에이전트로 배포됩니다. 이러한 패러다임은 단순한 작업에는 효과적이지만, 복잡하고 긴 호흡의 작업에는 최적화되어 있지 않습니다. 단일 에이전트는 다음과 같은 문제로 어려움을 겪습니다:

분해 능력 부족: 복잡한 목표를 관리 가능한 하위 작업으로 세분화하지 못함.
순차적 병목 현상: 독립적인 하위 작업들을 병렬로 실행할 수 없음.
경직된 재계획: 특히 부분적으로 관찰 가능한 환경에서 새로운 정보에 기반하여 계획을 일관되게 수정하는 데 어려움이 있음.
상태 손실: 컴퓨터 사용 환경(파일 시스템, 열려 있는 탭, 쿠키, 백그라운드 프로세스 등)은 어느 순간에도 부분적으로만 관찰 가능합니다. 하나의 하위 작업이 종료되면, 특정 하위 작업과 관련된 상태가 이후의 하위 작업에서 다시 관찰될 수 없으므로, 단일 에이전트는 정보 손실을 복구할 수 없습니다.

방법론: MACU 프레임워크

저자들은 중앙 매니저(Manager) 모델을 통해 동일한 CUA 서브에이전트 풀을 조정하는 다중 에이전트 컴퓨터 사용(MACU) 프레임워크를 제안합니다. 이 시스템은 하위 작업들의 유향 비순환 그래프(DAG) 상에서 작동합니다.

핵심 구성 요소

매니저 모델 (Manager Model):
- 역할: 워크플로우를 조율하고, 초기 사용자 작업을 DAG로 분해하며, 피드백을 바탕으로 지속적으로 재계획을 수립합니다.
- 메커니즘: 매니저는 작업 지침, 현재 DAG 상태, 그리고 완료된 서브에이전트로부터의 관찰 결과(스크린샷, 응답, 파일 차이점 등)를 전달받습니다.
- 동작: 노드를 추가(새로운 하위 작업), 노드 제거, 지침/의존성 수정, 또는 실행 중인 노드 취소 등의 작업을 수행할 수 있습니다. 계산 비용을 제한하기 위해 유한한 재계획 예산( $B$ ) 하에서 작동합니다.
- 파일 관리: 매니저는 파일 시스템의 차이점(diffs)을 추적하여 서브에이전트가 생성한 관련 파일을 식별하고, 이를 후속 하위 작업의 입력값으로 전달합니다 (예: 문서 A를 하위 작업 A에서 하위 작업 B로 전달).
CUA 서브에이전트 (CUA Subagents):
- 역할: DAG 상의 특정 노드를 실행합니다.
- 환경: 각 서브에이전트는 상태 독립성을 유지하고 병렬 실행을 허용하기 위해 격리된 가상 머신(VM)에서 실행됩니다.
- 동작: 이들은 기본 CUA 모델(예: Qwen3.6-27B)을 사용하여 표준 ReAct 루프(관찰 $\rightarrow$ 추론 $\rightarrow$ 행동)를 따릅니다. 매니저에게 이들은 "블랙박스"로 취급되며, 이는 프레임워크가 특정 CUA 백본에 구애받지 않도록 만듭니다.
실행 흐름:
- 초기화: 매니저는 사용자 작업에 기반하여 초기 DAG를 생성합니다.
- 병렬 디스패치: 서브에이전트들은 의존성이 충족된 노드들(준비된 프런티어 노드)을 처리하기 위해 병렬로 런칭됩니다.
- 반복적 재계획: 서브에이전트가 작업을 완료함에 따라, 매니저는 그들의 출력을 검토합니다. 만약 새로운 정보가 다른 경로를 시사한다면(예: 검색 실패, 파일 누락), 매니저는 DAG를 수정합니다(재시도 브랜치 추가, 대안 전략 수립, 또는 정체된 노드 취소).
- 집계: 최종 노드는 부모 노드들로부터 결과를 집계하여 사용자에게 전달할 결과물을 생성합니다.

부분 관측성 처리

핵심 설계 선택 사항은 부분 관측성을 일급 과제로 취급하는 것입니다. DAG 구조와 매니저는 다운스트림 에이전트가 다시 관찰할 수 없는 정보(스크린샷, 파일 상태, 추론 흔적)를 명시적으로 보유합니다. 이를 통해 특정 하위 작업 실행 중에 손실될 수 있는 컨텍스트가 그래프 구조를 통해 보존되고 전달되도록 보장합니다.

주요 기여

일반적인 다중 에이전트 설정: 매니저가 작업을 병렬 서브에이전트의 DAG로 분해하고, 동적인 재계획 및 구조적 수정이 가능한 유연한 프레임워크를 제공합니다.
상태 보존 메커니즘: 격리된 VM 간의 파일 관리 및 상태 전달을 명시적으로 처리하여, 직렬 컴퓨터 사용에서 발생하는 "정보 손실" 문제를 해결합니다.
모델 불가지론성 (Model Agnosticism): 시스템은 실행을 위해 동일한 서브에이전트를 사용하므로, 구조적 변경 없이 기본 CUA 모델의 개선 사항을 즉시 활용할 수 있습니다.
경험적 검증: 네 가지 다양한 벤치마크(OSWorld, Online-Mind2Web, WebTailBench-v2, Odysseys)를 통한 포괄적인 평가를 수행했습니다.

결과

논문은 테스트된 모든 벤치마크에서 강력한 단일 에이전트 베이스라인 대비 MACU의 일관된 성능 향상을 보고합니다:

성공률 향상:
- OSWorld: +4.7% (43.8% $\rightarrow$ 48.5%, Opus 4.6 매니저 사용 시).
- Online-Mind2Web: +3.4% (52.2% $\rightarrow$ 55.6%).
- WebTailBench-v2: +8.7% (20.8% $\rightarrow$ 29.5%).
- Odysseys (Long-Horizon): +25.5% (8.5% $\rightarrow$ 34.0%).
효율성 및 확장성:
- 실제 소요 시간 (Wall-Clock Time): 병렬 실행 덕분에 Odysseys에서 작업 완료 시간을 약 1.5배 단축했습니다 (162분 $\rightarrow$ 110분). 반대로, 매우 직렬적인 작업(Online-Mind2Web)에서는 매니저 오버헤드로 인해 실제 소요 시간이 약간 증가했으나, 성공률은 여전히 향상되었습니다.
- 테스트 타임 스케일링 (Test-Time Scaling): MACU는 단일 에이전트가 조기에 정체되는 것과 달리, 증가하는 추론 예산(더 많은 행동 실행)에 대해 우수한 스케일링 트렌드를 보여줍니다. 이는 단일 에이전트가 막히는 장기 호흡 작업을 해결합니다.
절제 연구(Ablation) 통찰:
- 재계획의 중요성: 실행 중 매니저가 그래프를 수정할 수 있도록 허용하면( $B > 1$ ) 성능이 크게 향상되는 반면(예: 특정 하위 집합에서 성공률 25% $\rightarrow$ 58.3%), 정적인 분해는 미미한 이득만을 제공합니다.
- 매니저의 강도: 동일한 서브에이전트 백본을 사용하더라도 더 강력한 매니저 모델(예: Opus 4.6)이 훨씬 높은 성공률을 기록합니다.
- 병렬성: Odysseys에서 병렬 서브에이전트 수를 1개에서 4개로 늘리면 실제 소요 시간이 약 3.2배 단축되는 동시에 성공률도 향상되었습니다.

의의 및 주장

저자들은 다중 에이전트 협업이 컴퓨터 사용 에이전트를 확장하기 위한 유망한 축이라고 주장합니다. 논문의 주장은 다음과 같습니다:

분해와 병렬성은 단일 에이전트가 실패하는 복잡하고 긴 호흡의 작업을 다루는 데 필수적입니다.
지속적인 재계획은 실제 컴퓨터 환경의 동적이고 부분적으로 관찰 가능한 특성을 다루기 위해 필요합니다.
MACU는 일반적인 솔루션입니다: 이는 특정 도메인에 국한되지 않고 데스크톱 제어, 웹 탐색, 복잡한 다단계 워크플로우에 적용됩니다.
미래 잠재력: 프레임워크는 미래의 더 유능한 CUA 모델과 원활하게 통합되도록 설계되었습니다. 저자들은 다중 에이전트 협업을 위해 특별히 설계된 추가적인 미세 조정이나 강화 학습이 시스템 성능을 더욱 높일 수 있다고 제안합니다.

결론적으로, 단일 에이전트 CUA가 많은 벤치마크에서 높은 성능에 도달했을지라도, 더 길고 복잡하며 견고한 컴퓨터 사용 작업을 위한 생산성을 확보하기 위해서는 MACU와 같은 다중 에이전트 시스템으로의 전환이 필수적입니다.