AgentSynth: Scalable Task Generation for Generalist Computer-Use Agents

이 논문은 정보 비대칭을 활용하여 일반 컴퓨터 사용 에이전트를 위한 고품질 태스크와 궤적 데이터를 자동 생성하는 확장성 있고 비용 효율적인 파이프라인인 AgentSynth 를 제안하며, 이를 통해 6,000 개 이상의 다양한 태스크를 생성하고 기존 LLM 에이전트의 성능 한계를 입증했습니다.

핵심

에이전트 신스 (AgentSynth): 컴퓨터를 다루는 AI 를 위한 '가상 훈련장' 만들기

이 논문은 **"AI 가 컴퓨터를 직접 조작하는 능력을 키우기 위해, 어떻게 저렴하고 빠르게 수많은 훈련 문제를 만들어낼 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

저희가 소개하는 **AgentSynth(에이전트 신스)**는 마치 **"스마트한 훈련 코치"**와 같은 시스템입니다. 이 코치는 AI 가 컴퓨터를 다룰 때 겪을 수 있는 다양한 상황을 자동으로 만들어내는데, 그 방식이 매우 영리합니다.

---

1. 왜 이런 시스템이 필요할까요? (기존의 문제점)

지금까지 컴퓨터를 다루는 AI 를 가르치려면, 사람이 직접 컴퓨터를 조작하며 "이렇게 해, 저렇게 해"라고 기록해 주는 방식을 썼습니다.

• 비유: 마치 수영 선수에게 코치가 직접 물속에 들어가서 발차기 동작을 하나하나 시범 보이며 가르치는 것과 같습니다.
• 문제점: 이 방식은 시간도 많이 걸리고, 비용도 비싸며, 만들 수 있는 훈련 문제의 양에 한계가 있습니다. 현실 세계에는 너무 많은 종류의 컴퓨터 작업이 있는데, 사람이 일일이 다 가르칠 수는 없죠.

2. AgentSynth 의 핵심 아이디어: "조각조각 나누어 만들기"

이 논문이 제안한 AgentSynth는 기존 방식과 완전히 다릅니다. 핵심은 **"정보의 비대칭성"**을 이용하는 것입니다.

• 비유: 거대한 퍼즐을 한 번에 맞추는 것은 매우 어렵지만, 작은 조각 하나씩 맞추는 것은 쉽습니다.
  • 기존 방식: AI 에게 "거대한 퍼즐을 맞춰봐!"라고 바로 던져주면, AI 는 당황해서 실패합니다.
  • AgentSynth 방식:
    1. 먼저 **매우 쉬운 작은 퍼즐 조각 (하위 작업)**을 하나 만들어 AI 가 맞추게 합니다. (예: "문서 파일 열기")
    2. AI 가 성공하면, 그다음 조금 더 복잡한 조각을 이어 붙입니다. (예: "파일에 이름 쓰기")
    3. 이렇게 작은 성공들을 계속 이어가다 보면, 결국 **매우 복잡하고 긴 작업 (예: "지난달 매출 보고서 작성하고 이메일로 보내기")**이 완성됩니다.

이때 중요한 점은, 작은 조각을 만드는 것은 AI 가 쉽게 할 수 있지만, 그 조각들이 모여 만들어진 '최종 미션'은 AI 가 풀기 매우 어렵다는 것입니다. 마치 레고 블록을 하나씩 쌓는 것은 쉽지만, 그걸로 거대한 성을 처음부터 설계하는 것은 어렵기 때문입니다.

3. 이 시스템이 얼마나 똑똑한가요? (주요 특징)

1. 난이도 조절이 자유로워요:

   • 작은 조각을 1 개만 연결하면 '초급', 6 개를 연결하면 '고급'으로 만들 수 있습니다. 마치 게임에서 레벨을 1 에서 6 까지 조절하듯이, AI 의 실력에 맞춰 훈련 문제를 조절할 수 있습니다.

2. 비용이 놀라울 정도로 저렴해요:

   • 사람이 직접 기록할 때는 한 문제당 약 4400 달러 (약 5,000 원50 만 원) 가 들지만, 이 시스템은 **약 0.6 달러 (약 800 원)**면 됩니다.
   • 비유: 사람이 직접 요리를 가르쳐 주는 대신, 자동 요리 로봇이 레시피를 만들어내면서 동시에 요리 실습도 시키는 것과 같습니다.

3. 현실적인 훈련장이에요:

   • 단순히 웹브라우저만 다루는 게 아니라, 엑셀, 워드, 코드 편집기 등 실제 컴퓨터에 있는 다양한 프로그램을 섞어서 훈련시킵니다. 마치 가상 현실 (VR) 게임에서 실제 사무실 환경을 그대로 재현한 것과 같습니다.

4. 결과는 어땠나요? (AI 의 실력)

이 시스템으로 만든 훈련장에서 최신 AI 모델들을 테스트해 보았습니다. 결과는 충격적이었습니다.

• 초급 문제 (레벨 1): AI 가 약 18% 정도 성공했습니다.
• 고급 문제 (레벨 6): AI 의 성공률이 4% 로 뚝 떨어졌습니다.
• 반면, 사람은 같은 고급 문제에서도 70% 를 성공했습니다.

이는 현재 AI 가 긴 호흡의 복잡한 작업을 할 때 여전히 매우 취약하다는 것을 보여줍니다. AI 는 중간에 실수하면 그걸 바로잡지 못하고 같은 실수를 반복하거나, 화면을 제대로 이해하지 못해 엉뚱한 곳을 클릭하는 등 '실수 회복 능력'이 부족합니다.

5. 결론: 왜 이것이 중요한가요?

AgentSynth는 AI 개발자들에게 **"무한한 훈련장"**을 제공했습니다.

• 비용 절감: 비싼 인건비 없이도 수천 개의 훈련 데이터를 만들 수 있습니다.
• 정밀한 평가: AI 가 어디서, 왜 실패하는지 정확히 파악할 수 있는 척도가 됩니다.
• 미래 지향: 이 시스템을 통해 AI 가 점점 더 복잡한 컴퓨터 작업을 스스로 해낼 수 있도록, 끊임없이 더 어려운 훈련 문제를 만들어낼 수 있습니다.

요약하자면, AgentSynth는 AI 가 컴퓨터를 능숙하게 다루는 '프로'가 되기 위해 필요한 가상의 사격 훈련장을 저렴하고 빠르게 지어준 것입니다. 이제 AI 는 이 훈련장에서 더 많이 실수하고, 더 많이 배우며, 결국에는 사람처럼 컴퓨터를 자유자재로 다룰 수 있게 될 것입니다.

기술 요약

AgentSynth: 일반적 컴퓨터 사용 에이전트를 위한 확장 가능한 작업 생성에 대한 기술 요약

이 논문은 AgentSynth라는 새로운 파이프라인을 소개합니다. 이는 일반적 컴퓨터 사용 (Generalist Computer-Use) 에이전트 훈련 및 평가를 위한 고품질 작업 (Task) 과 궤적 (Trajectory) 데이터를 자동으로 생성하는 확장 가능하고 비용 효율적인 시스템입니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 에이전트가 웹 탐색, 소프트웨어 개발 등 다양한 분야에서 복잡한 작업을 수행하는 능력을 보여주면서, 이러한 에이전트를 훈련하고 평가하기 위한 고품질 데이터셋의 필요성이 대두되었습니다. 그러나 기존 컴퓨터 사용 에이전트 데이터셋 (예: τ-bench, OSWorld, TheAgentCompany 등) 은 다음과 같은 한계를 가집니다:

• 확장성 부족: 인간 전문가의 수동 증강 (Human-in-the-loop) 에 의존하여 데이터 생성 비용이 매우 높고 시간이 많이 소요됩니다.
• 다양성 및 복잡성 부족: 기존 데이터셋은 제한된 도구와 작업에 국한되거나, 단순한 상호작용 위주로 구성되어 있어 실제 세계의 긴 시간 범위 (Long-horizon) 의 복잡한 작업을 포괄하지 못합니다.
• 생성 난이도: 기존 합성 데이터 생성 방식은 복잡한 작업의 신뢰할 수 있는 궤적을 생성하기 어렵거나, 작업의 다양성이 부족하여 모델의 과적합 (Overfitting) 을 유발할 수 있습니다.

2. 방법론 (Methodology)

AgentSynth 는 정보 비대칭 (Information Asymmetry) 개념을 핵심으로 합니다. 즉, "작업을 단계별로 해결하는 것 (생성 단계) 은 처음부터 전체 솔루션을 추론하는 것 (평가 단계) 보다 훨씬 쉽다"는 아이디어를 활용합니다.

2.1 파이프라인 구조

AgentSynth 는 OSWorld 환경에서 작동하며, 6 가지 LLM 기반 에이전트로 구성된 자동화 파이프라인을 사용합니다:

1. 작업 제안자 (Task Proposer): 사용자 페르소나 (Persona) 와 초기 스크린샷을 기반으로 간단한 초기 작업을 생성합니다.
2. 작업 실행자 (Task Executor): ReAct 스타일의 에이전트 (GPT-4.1 + Computer-use-preview) 를 사용하여 작업을 실행합니다. GPT-4.1 이 계획 (Planner) 을 수립하고, Computer-use 모델이 픽셀 수준의 시각적 근거 (Visual Grounding) 를 통해 정확한 액션을 수행합니다.
3. 작업 검증자 (Task Verifier): 실행 궤적이 작업을 성공적으로 완료했는지 확인합니다. 과부하를 방지하기 위해 핵심 스크린샷만 추출하여 분석합니다.
4. 작업 수정자 (Task Reviser): 작업이 부분적으로만 성공한 경우, 실제 수행된 행동에 맞춰 작업 설명을 수정합니다.
5. 후속 작업 제안자 (Follow-up Task Proposer): 이전 작업의 상태와 스크린샷을 기반으로 논리적으로 연결된 다음 하위 작업 (Subtask) 을 생성합니다. 이 과정이 반복되어 긴 시퀀스를 형성합니다.
6. 작업 요약자 (Task Summarizer): 생성된 일련의 하위 작업들을 하나의 고수준 (High-level) 작업으로 요약합니다.

2.2 난이도 조절 및 데이터 생성

• 정보 비대칭 활용: 생성 에이전트는 간단한 하위 작업들을 순차적으로 수행하여 궤적을 수집하지만, 최종 사용자는 이 모든 하위 작업이 합쳐진 긴 시퀀스를 한 번에 해결해야 하므로 훨씬 더 어렵습니다.
• 확장 가능한 복잡도: 요약된 하위 작업의 수 (n) 를 조절하여 작업 난이도 (Level 1~6) 를 정밀하게 제어할 수 있습니다. 하위 작업이 늘어날수록 작업의 길이 (Horizon), 메모리 요구 사항, 애플리케이션 전환 횟수가 증가합니다.
• 비용 효율성: 인간标注 (Annotation) 대비 훨씬 저렴한 비용 (궤적당 약 $0.60) 으로 6,000 개 이상의 다양한 작업을 생성했습니다.

3. 주요 기여 (Key Contributions)

1. AgentSynth 파이프라인 개발: LLM 이 생성한 하위 작업을 반복적으로 연결하여 도전적이고 다양한 컴퓨터 사용 작업을 합성하는 완전 자동화 파이프라인을 제안했습니다.
2. 정보 비대칭 기반 설계: 생성과 실행 간의 정보 비대칭을 활용하여 궤적의 신뢰성을 높이고 작업 복잡도를 정밀하게 제어할 수 있음을 증명했습니다.
3. 새로운 벤치마크 구축: 생성된 데이터셋을 기반으로 한 벤치마크를 구축하고, 최신 에이전트들이 이 벤치마크에서 심각한 성능 저하를 보임을 확인하여 향후 연구의 필요성을 제시했습니다.

4. 실험 결과 (Results)

4.1 데이터 품질 및 통계

• 품질 평가: 인간 평가에 따르면 작업의 실현 가능성 (91%), 하위 작업의 일관성 (90%), 페르소나 관련성 (94%) 등이 85% 이상으로 높게 나타났습니다.
• 작업 특성: 난이도 Level 6 의 작업은 평균 40~60 단계를 거치며, 3 개 이상의 소프트웨어 애플리케이션을 오가며 복잡한 맥락 전환과 메모리 관리를 요구합니다.

4.2 에이전트 성능 평가

• 성능 저하: 최신 멀티모달 LLM 에이전트 (o4-mini, GPT-4.1, Claude-3.7 등) 는 난이도가 증가함에 따라 성공률이 급격히 떨어집니다.
  • Level 1: 약 18% 성공률
  • Level 6: 약 4% 성공률 (일부 모델은 0% 에 수렴)
• 인간 vs AI: 인간은 난이도 Level 6 에서도 약 70% 의 성공률을 보이며, 현재 AI 에이전트와 인간 간의 큰 격차가 존재함을 확인했습니다.
• 실패 패턴: 에이전트들의 주요 실패 원인은 정밀하지 않은 마우스 클릭, 스크린샷 이해 및 상태 추적 실패, 오류 발생 시 복구 능력 부재 등이었습니다.

4.3 정보 비대칭 효과 분석

• 직접 지시 (Direct Instruction) vs AgentSynth: 한 번에 긴 작업을 지시하는 방식은 복잡한 작업에 대한 궤적 생성 성공률이 낮았으나 (Hard: 11%), AgentSynth 는 생성 성공률이 높게 유지되면서 (52%) 평가 시 난이도가 높게 유지되는 역설적인 효과를 보여주었습니다. 이는 생성과 평가 난이도를 분리하여 제어할 수 있음을 의미합니다.

5. 의의 및 결론 (Significance)

• 비용 효율적인 데이터 확장: AgentSynth 는 인간标注에 비해 수백 배 저렴한 비용으로 고품질의 긴 시간 범위 작업을 대량 생성할 수 있어, 에이전트 훈련 데이터의 병목 현상을 해결합니다.
• 차별화된 벤치마크: 기존 벤치마크보다 훨씬 까다롭고 현실적인 환경을 제공하여, 현재 LLM 에이전트의 한계를 명확히 드러내고 향후 연구 방향 (긴 의존성 처리, 상태 유지, 시각적 근거 강화 등) 을 제시합니다.
• 확장성: 이 파이프라인은 웹 에이전트 (InSTA) 환경에도 적용 가능하여, 다양한 컴퓨터 사용 시나리오에 대한 일반적 에이전트 개발에 기여할 수 있습니다.

결론적으로, AgentSynth 는 컴퓨터 사용 에이전트 연구에 있어 고품질 데이터의 부족 문제를 해결하고, 보다 까다롭고 현실적인 평가를 가능하게 하는 중요한 도구로 자리매김할 것으로 기대됩니다.