Efficient Agent Training for Computer Use

이 논문은 312 개의 인간 주석 데이터와 Claude 3.7 Sonnet 을 활용한 데이터 증강 기법을 결합한 'PC Agent-E'프레임워크를 제안하여, 인간 행동 데이터만 학습한 모델이나 직접적인 증류 방식보다 월등히 뛰어난 성능을 달성하고 WindowsAgentArena-V2 벤치마크에서 Claude 3.7 Sonnet 을 능가하는 결과를 보였음을 소개합니다.

핵심

🖥️ "PC 에이전트-E": 컴퓨터를 다루는 AI 를 312 개의 예시만으로 마스터하게 만든 비밀

이 논문은 **"컴퓨터를 인간처럼 조작하는 AI 에이전트"**를 어떻게 더 똑똑하고 효율적으로 만들 수 있는지에 대한 혁신적인 방법을 소개합니다. 기존에는 수만, 수백 개의 인간 행동 데이터를 모아야 했지만, 이 연구는 단 312 개의 데이터만으로도 최상위 상용 AI 를 능가하는 성능을 냈습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "컴퓨터 사용"을 가르치기엔 데이터가 너무 부족해

컴퓨터를 스스로 조작하는 AI(예: 마우스를 클릭하고, 메뉴를 열고, 텍스트를 입력하는 것) 를 만들려면, 인간이 실제로 컴퓨터를 사용하는 모습 (데이터) 이 엄청나게 많이 필요합니다. 하지만 좋은 데이터를 모으는 건 마치 전 세계의 모든 요리사를 고용해서 레시피를 받아오는 것처럼 비싸고 어렵습니다.

그래서 오픈소스 AI 들은 아직 상용 AI(클로드 3.7 소넷 등) 에 비해 많이 부족했습니다.

2. 해결책: "PC 에이전트-E"와 'Trajectory Boost' (궤적 부스팅)

연구팀은 "적은 데이터로 큰 효과를 내는" 새로운 훈련 방식을 고안했습니다. 이를 **'Trajectory Boost(궤적 부스팅)'**라고 부릅니다.

🍳 비유: "요리 레시피의 변형"

가정해 보세요. 어떤 요리사가 "김치찌개"를 만드는 **단 하나의 레시피 (312 개 중 하나)**만 가지고 있다고 칩시다.

• 기존 방식: 이 레시피만 100 번 반복해서 가르치면, 요리사는 그 레시피는 잘 따라하지만, 다른 상황 (김치가 부족할 때, 불 조절이 필요할 때) 에는 당황합니다.
• 이 연구의 방식 (Trajectory Boost):
  1. 먼저 그 단 하나의 레시피를 가져옵니다.
  2. 그다음, **세계적인 셰프 (Claude 3.7 Sonnet)**에게 "이 김치찌개 레시피를 바탕으로, 만약 재료가 부족하거나 불이 너무 세다면 어떻게 할까?"라고 물어봅니다.
  3. 셰프는 "김치를 덜 넣는 방법", "불을 줄이는 방법", "다른 국물을 더하는 방법" 등 9 가지의 새로운 대안을 만들어냅니다.
  4. 이제 AI 는 원래 레시피 1 개 + 셰프가 만든 변형 레시피 9 개 = 총 10 가지의 다양한 상황을 학습하게 됩니다.

이 과정을 모든 312 개의 레시피에 반복하면, AI 는 단 312 개의 원본 데이터만으로도 수천 가지의 다양한 상황을 경험한 것처럼 똑똑해집니다.

3. 핵심 기술 3 단계

1. 데이터 수집 (PC Tracker):

   • 실제 인간 2 명이 하루 동안 컴퓨터를 사용하며 312 개의 작업을 기록했습니다. (예: "엑셀에서 표 만들기", "웹사이트에서 뉴스 찾기")
   • 이때 화면과 마우스/키보드 동작만 기록했습니다. (생각 과정은 기록되지 않음)

2. 생각 과정 복원 (Thought Completion):

   • 인간은 "왜 이 버튼을 눌렀지?"라고 생각하며 행동하지만, 기록에는 그 '생각'이 없습니다.
   • AI(클로드) 에게 화면과 행동을 보여주고, **"당신은 왜 이 버튼을 눌렀나요?"**라고 물어보며 숨겨진 생각 과정을 다시 써내게 했습니다.

3. 다양성 추가 (Trajectory Boost):

   • 이제 AI 는 "이 상황에서 인간은 A 를 선택했어"라는 것을 알고 있습니다.
   • 하지만 **다른 방법 (B, C, D...) 도 가능하지 않을까?**라고 생각하며, 최상위 AI 를 이용해 대안 행동들을 대량으로 생성했습니다.
   • 마치 한 가지 길만 있는 도로를 여러 갈래의 지름길과 우회로가 있는 복잡한 도로망으로 바꾼 것과 같습니다.

4. 놀라운 결과: "작은 데이터로 거인 잡기"

이렇게 훈련된 PC 에이전트-E는 놀라운 성과를 냈습니다.

• 성능 향상: 기존 오픈소스 모델보다 141% 더 똑똑해졌습니다.
• 상위 모델 제압: 데이터를 생성해 준 '선생님 AI'(클로드 3.7) 보다도 10% 더 높은 점수를 받았습니다.
  • 비유: "스승이 알려준 레시피를 바탕으로, 제자가 스승보다 더 맛있는 요리를 만들어낸 셈입니다."
• 시간 절약: 기존 방식은 AI 를 실제로 컴퓨터에 연결해 900 시간 동안 움직이게 해야 했지만, 이 방식은 단 3 시간 만에 데이터를 만들었습니다. (약 300 배 빠름)

5. 왜 이것이 중요한가요?

이 연구는 **"데이터의 양"보다 "데이터의 질과 다양성"**이 더 중요하다는 것을 증명했습니다.

• 비용 절감: 비싼 인간 데이터 수집 없이도 강력한 AI 를 만들 수 있습니다.
• 접근성: 누구나 이 기술을 이용해 자신의 컴퓨터를 대신해 일을 처리하는 똑똑한 비서를 만들 수 있게 되었습니다.
• 새로운 기준: 연구팀은 기존 평가 기준의 문제점 (불가능한 과제를 쉽게 통과하는 해법 등) 을 찾아내어, 더 공정한 평가 기준 (WindowsAgentArena-V2) 도 함께 공개했습니다.

📝 한 줄 요약

"단 312 개의 인간 행동 데이터를 '생각 과정'과 '다양한 대안'으로 부풀려, 적은 비용으로 상용 AI 를 능가하는 컴퓨터 사용 전문가를 탄생시켰다."

이제 AI 는 단순히 명령을 따르는 로봇이 아니라, "상황에 따라 여러 가지 방법을 고민하고 선택할 줄 아는" 진정한 컴퓨터 사용 파트너가 되었습니다.

기술 요약

1. 문제 정의 (Problem)

• 컴퓨터 사용 에이전트의 한계: 인간처럼 컴퓨터를 조작하는 자율 에이전트 (Computer Use Agents) 개발은 AI 의 주요 목표 중 하나이나, 현재 오픈소스 모델들은 상용 모델 (예: Claude 3.7 Sonnet) 에 비해 성능이 현저히 낮습니다.
• 고품질 데이터의 부족: 에이전트 학습의 주요 병목 현상은 고품질의 인간 행동 궤적 (Trajectory) 데이터가 극도로 부족하다는 점입니다. 기존 연구들은 대규모 인간 데이터 수집에 의존했으나, 이는 비용과 시간이 많이 소요되며 확장성이 떨어집니다.
• 기존 방법의 비효율성: 단순히 인간 데이터를 학습하거나, 강력한 상용 모델 (Teacher Model) 에서 직접 증류 (Distillation) 하는 방식은 데이터 효율성이 낮거나 오류가 누적되는 문제가 있습니다.

2. 제안 방법론: PC Agent-E (Methodology)

저자들은 PC Agent-E라는 효율적인 에이전트 학습 프레임워크를 제안하며, 이는 인간의 전문성과 AI 자동화를 결합합니다. 핵심은 Trajectory Boost라는 데이터 증강 기법을 통해 소량의 인간 데이터를 고품질로 확장하는 것입니다.

핵심 단계 (4 단계 프로세스)

1. 궤적 수집 (Trajectory Collection):
   • PC Tracker 도구를 사용하여 2 명의 인간 어노테이터가 1 일 동안 수집한 312 개의 실제 인간 컴퓨터 사용 궤적을 확보합니다.
   • 각 단계마다 화면 상태 (스크린샷) 와 키보드/마우스 동작을 기록하며, 오류가 있는 데이터는 필터링합니다.
2. 사고 과정 완성 (Thought Completion):
   • 원시 인간 궤적에는 명시적이지 않은 '사고 과정 (Thought)'이 생략되어 있습니다. Claude 3.7 Sonnet을 활용하여 각 행동 단계의 배경에 있는 암묵적 사고 과정을 재구성하여 데이터에 추가합니다.
3. 궤적 부스팅 (Trajectory Boost - 핵심 혁신):
   • 개념: 컴퓨터 사용 태스크는 단일 정답이 아닌 다양한 유효한 경로 (다양한 행동 대안) 로 해결될 수 있다는 통찰에 기반합니다.
   • 구현: 인간 궤적의 각 단계를 '환경 스냅샷'으로 간주하고, 이를 Claude 3.7 Sonnet에 입력하여 **동일한 상태에서 수행할 수 있는 다양한 대체 행동 (Alternative Action Decisions)**을 생성합니다.
   • 결과: 312 개의 인간 궤적에서 9 개의 대체 행동을 샘플링하여 총 27,000 개의 학습 샘플로 확장합니다. 이는 'Traj Tree' 구조를 형성하며, 인간 행동은 주 trunk 를, AI 생성 행동은 가지 (branch) 를 이룹니다.
4. 에이전트 학습 (Agent Training):
   • 확장된 데이터를 사용하여 Qwen2.5-VL-72B 기반의 PC Agent-E 를 End-to-End 방식으로 학습시킵니다.
   • 학습 시 ReAct 패러다임 (사고 + 행동) 을 따르며, PyAutoGUI 를 통해 실제 동작을 실행합니다.

3. 주요 기여 (Key Contributions)

1. Trajectory Boost 방법론: 소량의 인간 데이터를 기반으로 최첨단 모델의 사고와 행동을 활용하여 고품질 대체 데이터를 생성하는 효율적인 데이터 증강 기법을 제안했습니다. 이는 인간 데이터만 사용하는 것보다 훨씬 효과적이며, 직접 증류 (Direct Distillation) 보다 효율적입니다.
2. WindowsAgentArena-V2 벤치마크: 기존 벤치마크의 한계 (VM 상태 초기화 의존성, 불가능한 태스크로 인한 해킹 가능성 등) 를 해결한 개선된 평가 환경을 공개했습니다.
   • 태스크 간 간섭 방지를 위해 VM 스냅샷 복원을 도입했습니다.
   • 수행 불가능한 태스크 (Infeasible tasks) 를 제거하여 'Infeasible Hacking' (에이전트가 실패를 선언하여 점수를 얻는 것) 을 방지했습니다.
3. PC Agent-E 모델: 312 개의 증강된 궤적만으로 학습된 오픈소스 모델이 상용 모델 (Claude 3.7 Sonnet) 을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 성능 향상: WindowsAgentArena-V2 벤치마크에서 PC Agent-E 는 베이스 모델 (Qwen2.5-VL-72B) 대비 141% 의 상대적 성능 향상을 보였습니다.
• 상용 모델 추월: 학습에 사용된 Teacher 모델인 Claude 3.7 Sonnet (생각 모드 미활용) 대비 10% 이상 높은 성능 (36.0% vs 32.6%) 을 기록하여, 오픈소스 모델이 상용 모델을 능가하는 새로운 SOTA 를 달성했습니다.
• 데이터 효율성: 312 개의 인간 데이터만으로는 성능 향상이 제한적이었으나, Trajectory Boost 를 적용한 결과 성능이 급격히 상승했습니다.
• 직접 증류 (Direct Distillation) 대비 우위:
  • 성능: 동일한 데이터 양 (약 3,120 개 궤적) 을 사용했을 때, 직접 증류 방식보다 PC Agent-E 가 훨씬 높은 성능을 보였습니다.
  • 효율성: 직접 증류는 VM 에서 온라인 상호작용을 통해 데이터를 수집해야 하므로 900 시간이 소요되었으나, Trajectory Boost 는 오프라인 병렬 생성으로 3 시간 (300 배 속도 향상) 만에 완료되었습니다.
• 일반화 능력: Windows 데이터로만 학습되었음에도 불구하고, Linux 환경 (OSWorld) 에서도 34% 의 상대적 성능 향상을 보이며 우수한 크로스플랫폼 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 데이터 효율성의 재정의: 컴퓨터 사용 에이전트 학습에 막대한 양의 데이터가 필수적이라는 통념을 깨고, 소량의 고품질 인간 데이터 + AI 기반 사고 증강만으로도 최상위 성능을 달성할 수 있음을 증명했습니다.
• 오픈소스 생태계 활성화: 상용 모델에 의존하지 않고도 경쟁력 있는 컴퓨터 사용 에이전트를 구축할 수 있는 방법을 제시하여, 오픈소스 커뮤니티의 발전에 기여합니다.
• 평가 기준의 개선: 기존 벤치마크의 치명적인 결함 (불가능 태스크 해킹 등) 을 지적하고 이를 수정한 새로운 평가 기준을 제시함으로써, 에이전트 연구의 신뢰성을 높였습니다.

이 논문은 AI 에이전트 개발의 핵심 병목인 '데이터' 문제를 해결하기 위해, 인간의 직관과 AI 의 추론 능력을 결합한 효율적인 학습 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.