지금까지 컴퓨터를 조종하는 AI 들은 마치 초보 운전자가 복잡한 도로를 눈으로만 보고 운전하는 것과 같았습니다.
상황: "엑셀 파일에서 특정 데이터를 찾아서 CSV 로 저장해줘"라는 명령을 받으면, AI 는 화면을 보고 마우스를 움직여 아이콘을 클릭하고, 메뉴를 열고, 다시 클릭하고... 이 과정을 수십 번 반복합니다.
문제점:
비효율: 같은 일을 하더라도 사람이 1 초에 끝낼 수 있는 걸, AI 는 100 번의 클릭으로 해결하려 합니다.
취약성: 화면의 버튼이 조금만 달라지거나, 아이콘이 비슷해 보이면 AI 는 헷갈려서 엉뚱한 곳을 클릭합니다. (예: '저장' 버튼 대신 '닫기'를 눌러 파일을 날리는 실수)
오류 누적: 클릭을 50 번 해야 한다면, 그중 하나만 실수하면 전체 작업이 실패합니다.
2. CoAct-1 의 등장: "세 명의 팀원"
이 연구팀은 AI 가 마우스만 쓰는 게 아니라, 직접 코드를 작성해서 컴퓨터를 조종할 수 있는 능력을 추가했습니다. 마치 세 명의 전문가로 구성된 팀을 만든 것과 같습니다.
오케스트레이터 (지휘자):
역할: 전체 상황을 보고 "이건 마우스로 할까, 코드로 할까?"를 결정하는 팀장입니다.
비유: 식당의 매니저처럼, 손님이 시킨 메뉴를 보고 "요리사 (프로그래머) 가 바로 만들 수 있는 건 요리사가, 장식 (GUI) 이 필요한 건 서빙 (GUI 오퍼레이터) 이 맡게 해라"라고 지시합니다.
프로그래머 (코딩 전문가):
역할: 파일 정리, 데이터 처리, 폴더 이동 같은 작업은 파이썬이나 Bash 스크립트로 한 번에 해결합니다.
비유: "전체 폴더를 압축해"라는 명령을 받으면, 마우스로 100 번 클릭하는 대신 **한 줄의 주문서 (코드)**를 써서 컴퓨터가 순식간에 처리하게 합니다. 빠르고 정확하며 실수가 거의 없습니다.
GUI 오퍼레이터 (시각 전문가):
역할: 화면을 보고 버튼을 클릭하거나 메뉴를 찾는 작업은 여전히 마우스와 키보드를 사용합니다.
비유: "화면의 빨간 버튼을 눌러"라는 명령은 코드로 해결할 수 없으니, 이 전문가가 화면을 보고 직접 클릭합니다.
3. 어떻게 작동할까? (실제 예시)
과제: "내 컴퓨터의 '사진' 폴더에 있는 모든 이미지를 크기를 줄여서 '압축파일'로 만들어줘."
기존 AI (마우스만 쓰는 로봇):
폴더 열기 → 2. 이미지 하나 선택 → 3. 크기 조절 프로그램 열기 → 4. 이미지 드래그 → 5. 크기 조절 → 6. 저장 → 7. 이미지 하나 더 선택... (이 과정을 100 번 반복)
결과: 시간이 너무 오래 걸리고, 중간에 실수하면 모든 작업이 무너집니다.
CoAct-1 (지휘자 + 코딩 전문가):
지휘자: "이건 코드로 해결하는 게 낫겠다."라고 판단.
코딩 전문가: "모든 이미지 크기를 줄이고 압축하는 스크립트"를 작성하여 실행.
결과: 1 초 만에 모든 작업이 완료됩니다.
4. 왜 이것이 혁신적인가? (성과)
이 논문은 OSWorld와 WindowsAgentArena라는 두 가지 어려운 시험에서 기존 최고의 AI 들보다 훨씬 좋은 성적을 냈습니다.
성공률 상승: 기존 AI 들이 50~55% 정도 성공하던 것을, CoAct-1 은 60% 이상의 성공률을 기록했습니다.
속도 향상: 같은 작업을 완료하는 데 걸리는 '단계 (Step)' 수가 기존 15 단계에서 약 10 단계로 줄었습니다.
비유: 같은 거리를 가는데, 기존 AI 는 구불구불한 산길을 15 번 돌아서 갔다면, CoAct-1 은 터널 (코드) 을 뚫고 직진해서 갔습니다.
5. 핵심 메시지
이 연구는 **"AI 가 컴퓨터를 다룰 때, 무조건 마우스로 클릭하는 게 정답이 아니다"**라고 말합니다.
**눈 (GUI)**과 **손 (코드)**을 적절히 섞어 쓰는 것이 가장 강력합니다.
복잡한 파일 작업이나 데이터 처리는 **코드 (프로그래머)**에게 맡기고, 화면을 보고 버튼을 누르는 작업은 **시각 (GUI 오퍼레이터)**에게 맡기는 협업 시스템이 미래의 컴퓨터 자동화를 이끄는 열쇠입니다.
한 줄 요약:
"컴퓨터를 조종하는 AI 가 이제 '눈'만 믿지 않고, '코딩'이라는 강력한 무기를 손에 넣어, 훨씬 빠르고 똑똑하게 일하게 되었습니다."
1. 문제 정의 (Problem)
기존의 컴퓨터 사용 에이전트 (Computer-using Agents) 는 그래픽 사용자 인터페이스 (GUI) 를 통해 마우스 클릭, 키보드 입력 등의 시각적 조작만으로 작업을 수행합니다. 그러나 복잡한 장기 작업 (Long-horizon tasks) 이나 정교한 데이터 처리, 파일 관리 등의 작업에서 이러한 GUI 기반 접근법은 다음과 같은 한계를 보입니다.
비효율성과 취약성 (Brittleness): 복잡한 작업 (예: 스프레드시트에서 특정 데이터 필터링 및 CSV 저장, 중첩된 디렉토리 내 이미지 리사이징 및 압축) 을 수행하기 위해 긴 클릭 시퀀스가 필요합니다. 이는 불필요한 단계를 증가시키고, 단일 클릭 오류나 UI 요소 오인 식 (Visual grounding ambiguity) 이 전체 작업을 실패로 이끌 수 있습니다.
계획의 불확실성: 고수준의 플랜너 (Planner) 를 도입하여 작업을 분해하더라도, 실제 실행 단계가 여전히 GUI 조작에 의존하면 시각적 인식 오류와 누적된 확률적 실패 위험이 해결되지 않습니다.
2. 방법론 (Methodology)
저자들은 GUI 조작의 직관성과 코드의 정밀성/효율성을 결합한 하이브리드 행동 공간 (Hybrid Action Space) 을 제안하며, 이를 구현한 CoAct-1이라는 새로운 멀티 에이전트 시스템을 개발했습니다.
핵심 아키텍처: 3 가지 특화 에이전트
CoAct-1 은 세 가지 에이전트가 협력하여 작업을 수행합니다.
오케스트레이터 (Orchestrator):
고수준 메타 정책 (Meta-policy) 을 담당합니다.
사용자의 전체 목표를 분석하고 하위 작업 (Subtask) 을 분해합니다.
각 하위 작업의 특성에 따라 프로그래머 (Programmer) 또는 GUI 오퍼레이터 (GUI Operator) 중 적절한 실행 에이전트를 동적으로 할당합니다.
직접 OS 와 상호작용하지 않고, 실행 에이전트들의 요약된 결과를 바탕으로 다음 단계를 결정합니다.
프로그래머 (Programmer):
코딩 행동 (Coding Actions) 을 수행합니다.
Python 또는 Bash 스크립트를 작성하여 백엔드 작업 (파일 관리, 데이터 처리, 환경 설정 등) 을 직접 실행합니다.
코드 인터프리터와 다중 라운드 대화를 통해 코드를 생성, 실행, 피드백을 받고 수정하는 과정을 반복합니다.
GUI 클릭 시퀀스를 우회하여 단일 스크립트로 복잡한 작업을 해결합니다.
GUI 오퍼레이터 (GUI Operator):
시각적 행동 (Visual Actions) 을 수행합니다.
비전 - 언어 모델 (VLM) 기반 에이전트로, 스크린샷을 입력받아 마우스 클릭, 키보드 입력 등 GUI 조작을 수행합니다.
프로그래머가 처리하기 어려운 시각적 탐색이나 특정 애플리케이션의 인터페이스 조작에 사용됩니다.
워크플로우 및 메모리 설계
계층적 메모리: 오케스트레이터는 장기 기억 (작업 전체의 요약과 스크린샷) 을 유지하고, 실행 에이전트 (프로그래머, GUI 오퍼레이터) 는 할당된 하위 작업 동안만 단기 기억 (Instance conversation history) 을 유지합니다.
모듈성: 에이전트 간 대화 기록은 격리되어 있으며, 하위 작업 완료 시 요약본만 오케스트레이터로 전달되어 불필요한 정보 과부하를 방지합니다.
3. 주요 기여 (Key Contributions)
새로운 행동 패러다임: 컴퓨터 자동화 에이전트의 행동 공간에 '코딩 (Coding)'을 핵심 행동으로 통합하여, GUI 조작의 한계를 극복하는 하이브리드 접근법을 제시했습니다.
동적 할당 메커니즘: 오케스트레이터가 작업의 특성에 따라 백엔드 스크립팅 (프로그래머) 과 프론트엔드 시각적 조작 (GUI 오퍼레이터) 을 지능적으로 분배하는 시스템을 설계했습니다.
효율성 극대화: 긴 클릭 시퀀스를 간결한 코드로 대체함으로써 작업 완료에 필요한 단계 수를 획기적으로 줄이고 오류 발생 확률을 낮췄습니다.
4. 실험 결과 (Results)
CoAct-1 은 OSWorld와 WindowsAgentArena라는 두 가지 주요 벤치마크에서 기존 최첨단 (SOTA) 방법론들을 압도하는 성능을 보여주었습니다.
성능 지표 (Success Rate)
OSWorld: 60.76% 의 성공률을 기록하여 기존 최고 성능 (Agent S2.5: 55.98%, GTA-1: 53.07%) 을 상회했습니다. 특히 Office(64.80%), OS(75.00%), Multi-apps(47.87%) 등 프로그래밍적 제어가 유리한 영역에서 두드러진 개선을 보였습니다.
WindowsAgentArena: 52.5% 의 성공률을 기록하여 Agent S2(29.8%) 보다 월등히 높은 성능을 입증했습니다. Windows System(83.3%) 및 Windows Utils(77.7%) 영역에서 스크립트 기반 접근법의 강점을 발휘했습니다.
효율성 (Efficiency)
평균 단계 수 감소: OSWorld 에서 작업 완료에 필요한 평균 단계 수가 10.15 단계로 줄었습니다. 이는 기존 주요 에이전트 (GTA-1: 15.22 단계, UI-TARS: 14.90 단계) 보다 훨씬 효율적입니다.
오류 감소: 단계 수가 줄어들면서 누적 오류 확률이 감소하여, 전체적인 성공률 향상과 직결되었습니다.
모델 구성 분석 (Ablation Study)
하이브리드의 효과: 순수 프로그래머 에이전트 (35.73% 성공) 나 순수 GUI 에이전트 (50.68% 성공) 보다 두 모달리티를 결합한 CoAct-1(60.76% 성공) 이 월등히 우수함을 입증했습니다.
모델 선택의 중요성: 오케스트레이터와 프로그래머에 강력한 추론 모델 (OpenAI o3 등) 을 사용할 때 성능이 크게 향상됨을 확인했습니다.
5. 의의 및 결론 (Significance)
이 논문은 컴퓨터 자동화 분야에서 GUI 조작에 대한 의존성을 탈피하고 코딩을 핵심 행동으로 통합함으로써, 에이전트의 견고성 (Robustness), 효율성 (Efficiency), 확장성 (Scalability) 을 동시에 달성할 수 있음을 증명했습니다.
실용적 가치: 파일 관리, 데이터 처리, 시스템 설정 등 반복적이고 정밀한 작업에서 인간의 개입 없이도 안정적으로 작업을 수행할 수 있는 새로운 기준을 제시했습니다.
미래 방향: 단순한 시각적 인터페이스 조작을 넘어, 에이전트가 OS 레벨의 프로그래밍 능력을 활용하여 더 복잡하고 장기적인 작업을 해결할 수 있는 '일반화된 컴퓨터 자동화 (Generalized Computer Automation)'로의 전환을 이끌었습니다.
요약하자면, CoAct-1 은 "시각적 탐색 (GUI)"과 "직접적 제어 (Coding)"의 시너지를 통해 기존 에이전트들이 겪던 비효율성과 취약성을 해결한 획기적인 멀티 에이전트 시스템입니다.