OSExpert: Computer-Use Agents Learning Professional Skills via Exploration

이 논문은 OSExpert-Eval 벤치마크에서 인간 전문가 수준의 성능과 효율성을 달성하기 위해 GUI 기반 깊이 우선 탐색 (GUI-DFS) 을 통해 환경의 단위 기능을 탐색하고, 이를 조합하여 커리큘럼을 자동 구성하며 정밀한 행동 원시들을 학습하는 새로운 컴퓨터 사용 에이전트 'OSExpert'를 제안합니다.

핵심

OSExpert: 컴퓨터를 다루는 '초능력' 비서를 만드는 새로운 방법

이 논문은 **"컴퓨터를 사용하는 인공지능 (AI) 에이전트"**가 어떻게 하면 인간 전문가처럼 똑똑하고 빠르게 일할 수 있게 되는지 설명합니다.

기존의 AI 는 컴퓨터 화면을 보고 "파일 저장해 줘"라고 하면 끄덕이며 하나씩 클릭하는 식으로 일합니다. 하지만 복잡한 작업을 하거나 처음 보는 프로그램이 나오면 길을 잃거나, 같은 실수를 반복하며 시간이 너무 오래 걸립니다.

이 연구는 이 문제를 해결하기 위해 AI 가 스스로 컴퓨터 프로그램을 '탐험'하며 전문가가 되는 방법을 제안합니다.

---

🎒 비유: "여행 가이드 vs. 현지 탐험대"

기존의 AI 는 여행 가이드와 같습니다.

• 기존 방식 (여행 가이드): 여행객 (사용자) 이 "이곳의 맛집을 찾아줘"라고 하면, 가이드는 미리 준비된 지도 (학습 데이터) 를 보고 "아, 여기가 맛집이죠"라고 알려줍니다. 하지만 지도에 없는 새로운 동네나, 지도에 없는 복잡한 길 (새로운 UI) 이 나오면 당황해서 길을 잃거나, 실수하며 헤매는 경우가 많습니다.

OSExpert 는 현지 탐험대와 같습니다.

• 새로운 방식 (OSExpert): AI 는 여행 전에 미리 지도를 외우는 대신, 직접 그 동네로 가서 모든 골목과 가게를 하나하나 직접 걸어 다니며 탐험합니다.
  1. 탐험 (Exploration): "이 버튼 누르면 뭐가 나올까?", "이 메뉴는 어떤 기능을 할까?"를 직접 눌러보며 확인합니다.
  2. 매뉴얼 만들기 (Skill Construction): 탐험을 통해 "이 버튼을 누르면 파일이 저장된다", "이 아이콘을 드래그하면 사진이 잘린다"는 **확실한 사실 (기술)**을 기록장에 적어둡니다.
  3. 전문가 되기 (Expertise): 이제 사용자에게 일을 맡겨도, AI 는 막연히 추측하지 않고 기록장에 있는 확실한 기술을 꺼내서 "이렇게 하면 됩니다"라고 정확하고 빠르게 처리합니다.

---

🛠️ OSExpert 가 사용하는 3 가지 핵심 비법

이 논문은 AI 가 어떻게 '탐험'을 통해 전문가가 되는지 세 가지 비법을 소개합니다.

1. 미로 찾기 알고리즘 (GUI-DFS): 모든 방을 다 열어보다

• 비유: 거대한 도서관에 들어갔을 때, 책장 하나하나를 다 열어보며 어떤 책이 있는지 확인하는 것과 같습니다.
• 작동 원리: AI 는 컴퓨터 프로그램의 모든 메뉴와 버튼을 체계적으로 눌러봅니다. (DFS: 깊이 우선 탐색)
  • "파일" 메뉴를 누르면 "저장", "열기"가 나옵니다.
  • "도구" 메뉴를 누르면 "자르기", "색상 변경"이 나옵니다.
  • 이렇게 **하나하나의 작은 기능 (Unit Function)**을 모두 찾아내고, 그것이 어떻게 작동하는지 기록합니다.

2. "실패한 길"도 기록한다: 한계 인식 (Skill Boundary Check)

• 비유: 길을 찾을 때, "이 길은 막혔다"라고 확인한 곳은 다시는 가지 않는 것입니다.
• 작동 원리: 기존 AI 는 실패해도 "아마 내가 더 열심히 하면 될 거야"라며 같은 실수를 반복하며 시간을 낭비합니다.
  • OSExpert 는 탐험 중 "이 기능은 내가 아무리 시도해도 안 되는구나"라고 확인되면, 그 기능을 '불가능'으로 기록해 둡니다.
  • 나중에 사용자가 불가능한 일을 시키면, AI 는 "그건 제가 못 합니다"라고 즉시 말해줍니다. 이렇게 하면 불필요한 시간 낭비를 80% 이상 줄일 수 있습니다.

3. 정교한 손기술 (Fine-Grained Actions): 미세한 조작을 배우다

• 비유: "그림을 자르세요"라고 할 때, AI 가 대충 가위로 잘라내는 게 아니라, 정확히 200x200 픽셀만큼만 잘라내는 기술을 배우는 것입니다.
• 작동 원리: 컴퓨터 작업 중에는 "텍스트를 정확히 선택하기", "사진의 특정 부분만 잘라내기"처럼 아주 정밀한 손길이 필요한 경우가 많습니다.
  • AI 는 탐험 중 이런 정밀한 작업이 필요할 때, 미리 준비된 **정교한 도구 (Action Primitives)**를 꺼내 사용합니다.
  • 예를 들어, "텍스트 선택 도구"를 써서 마우스를 정확히 드래그하는 법을 배워, 실수 없이 완벽하게 수행합니다.

---

🚀 결과: 인간 전문가와 얼마나 가까워졌나?

이 새로운 방법 (OSExpert) 을 적용한 AI 는 기존 AI 들과 비교해 놀라운 성과를 보였습니다.

• 성공률: 복잡한 작업을 성공적으로 끝내는 비율이 기존 10% 수준에서 약 30% 로 3 배 이상 향상되었습니다. (인간 전문가 수준에 한 걸음 더 다가감)
• 속도: 인간 전문가와 비교했을 때, 일을 끝내는 데 걸리는 시간이 약 80% 단축되었습니다. (기존 AI 는 인간보다 5~50 배 느렸지만, 이제는 거의 비슷해졌습니다)
• 새로운 프로그램: 처음 보는 프로그램 (예: Tableau, MiniWord) 이 나와도 당황하지 않고, 스스로 탐험한 기술을 바탕으로 잘 처리했습니다.

💡 결론: "배우는 것"보다 "스스로 배우게 하는 것"

이 논문의 핵심 메시지는 **"인간이 일일이 가르쳐 주는 것보다, AI 가 직접 환경을 탐험하며 스스로 기술을 습득하게 하는 것이 더 효율적이다"**라는 것입니다.

마치 어린아이가 부모가 모든 것을 알려주기보다, 직접 세상을 돌아다니며 경험하고 배우는 것이 더 빠르고 확실한 것처럼, OSExpert 는 AI 가 컴퓨터라는 세상을 직접 탐험하게 함으로써 진정한 '컴퓨터 전문가'로 성장하게 만든 것입니다.

이 기술이 발전하면, 앞으로 복잡한 문서 작업이나 데이터 분석 같은 전문적인 업무도 AI 가 인간처럼 빠르고 정확하게 도와줄 수 있을 것입니다.

기술 요약

1. 문제 정의 (Problem)

범용 컴퓨터 사용 에이전트 (General-purpose Computer-Use Agents) 는 다양한 디지털 환경에서 뛰어난 성능을 보여주고 있지만, 실제 전문가 수준의 업무 (Professional Expertise) 를 수행하는 데에는 여전히 한계가 있습니다. 저자들은 기존 에이전트들이 다음과 같은 근본적인 문제점을 겪고 있다고 지적합니다.

• 전문성 부족: 복잡한 장기 작업 (Long-horizon tasks), 보이지 않는 UI 디자인에 대한 일반화, 정밀한 세밀한 조작 (Fine-grained actions) 수행 능력에서 인간 전문가에 비해 현저히 떨어집니다.
• 비효율성: 에이전트들은 종종 시행착오 (Trial-and-error) 를 반복하며, 이는 인간 전문가보다 5 배에서 50 배까지 더 많은 지연 시간 (Latency) 을 초래합니다.
• 학습 방식의 한계: 현재의 에이전트들은 주로 인간이 수행한 데이터 (Behavior Cloning) 나 강화학습을 통해 훈련되는데, 이는 특정 환경에 대한 절차적 지식 (Procedural Knowledge) 을 습득하기 어렵고, 새로운 UI 나 워크플로우가 등장할 때 적응력이 떨어집니다.

2. 방법론 (Methodology)

저자들은 OSExpert라는 새로운 패러다임을 제안합니다. 이는 에이전트가 새로운 디지털 환경에 직접 노출되어, 인간의 개입 없이 스스로 환경을 탐색하고 전문 기술을 구성하도록 하는 환경 기반 학습 (Environment-Learned Paradigm) 입니다.

핵심 기술 구성 요소

1. GUI-DFS (Depth-First Search) 탐색 알고리즘:

   • 에이전트가 환경의 기본 단위 기능 (Unit Functions) 을 체계적으로 발견하기 위해 깊이 우선 탐색 (DFS) 방식을 사용합니다.
   • 3 개 모듈 협업:
     • Planner: 탐색 계획을 수립합니다.
     • Action: UI 상호작용을 실행합니다.
     • Feedback: 현재 상태를 평가하고 (중간 상태, 종료 상태, 오류 상태), 상태에 따른 피드백을 제공합니다.
   • 성공적으로 완료된 단위 작업들은 에이전트의 기술 세트 (Skill Set) 로 저장됩니다.

2. 자기 구성 커리큘럼 (Self-Constructed Curriculum):

   • 발견된 단위 기술들을 조합하여 더 높은 수준의 복합 작업 (Composite Tasks) 을 위한 커리큘럼을 스스로 생성합니다.
   • 이를 통해 에이전트는 일반적인 사용자 쿼리 분포를 넘어선 절차적 지식을 습득합니다.

3. 정밀한 조작을 위한 원시 행동 데이터베이스 (Action Primitives Database):

   • 텍스트 선택, 드래그 앤 드롭, 객체 회전 등 정밀한 제어가 필요한 작업 (Fine-grained actions) 을 처리하기 위해 미리 정의된 행동 원시 (Primitives) 데이터베이스를 제공합니다.
   • 탐색 중 정밀 조정이 필요할 경우, 에이전트는 이 데이터베이스에서 적합한 원시를 선택하여 실행하고, 검증이 성공하면 이를 기술 세트에 추가합니다.

4. 효율성 최적화 기법:

   • Fast Planner (LoRA): 학습된 기술을 바탕으로 전체 작업을 한 번의 포워드 패스 (Single Forward Pass) 로 계획할 수 있도록 경량화된 LoRA 모델을 미세 조정합니다. 이는 단계별 계획의 지연 시간을 줄입니다.
   • Skill Boundary Check (기술 경계 확인): 에이전트가 자신의 기술 범위 내에서 해결 불가능한 작업을 감지하면, 무의미한 추론 시간 확장 (Inference-time scaling) 을 중단하고 조기에 오류를 보고합니다.

3. 주요 기여 (Key Contributions)

1. OSExpert-Eval 벤치마크 제안:

   • 기존 벤치마크 (OSWorld 등) 가 놓치고 있는 4 가지 핵심 차원을 평가하는 새로운 벤치마크를 도입했습니다:
     1. 복잡한 장기 작업 (Long-horizon compositional workflows)
     2. 보이지 않는 창의적 UI 디자인에 대한 일반화 (Generalization to unseen UIs)
     3. 정밀한 저수준 행동 실행 (Fine-grained low-level actions)
     4. 인간 전문가 대비 실행 효율성 (Execution efficiency)

2. 환경 기반 자기 학습 프레임워크:

   • 추가적인 인간 데이터 수집 없이, 에이전트가 스스로 환경을 탐색하여 검증 가능한 기술 세트를 구축하는 방식을 제시했습니다.

3. 성능 및 효율성 극대화:

   • 학습된 기술을 활용하여 추론 단계에서의 지연 시간을 획기적으로 줄이고, 인간 전문가 수준의 효율성에 근접하는 성과를 달성했습니다.

4. 실험 결과 (Results)

OSExpert-Eval 벤치마크 (LibreOffice, GIMP, Tableau, MiniWord 등 6 개 환경, 총 113 개 태스크) 에서의 실험 결과는 다음과 같습니다.

• 성능 향상: 기존 범용 컴퓨터 사용 에이전트들은 장기 작업에서 약 10% 미만의 성공률을 보였으나, OSExpert 는 약 20%~30% 성공률로 크게 향상되었습니다 (약 20% 의 성능 개선).
• 효율성 격차 해소: 인간 전문가 대비 에이전트의 실행 시간 지연을 약 80% 감소시켰습니다. 기존 에이전트들은 5~50 배 더 느렸으나, OSExpert 는 인간과 유사한 속도에 근접했습니다.
• 일반화 능력: 훈련 데이터에 없던 새로운 UI (Tableau, MiniWord) 환경에서도 높은 성공률을 보이며, 정밀한 조작 작업에서도 신뢰할 수 있는 성능을 발휘했습니다.
• Ablation Study: 환경별 절차적 지식 (Skill Set) 이 장기 작업 성공에 가장 큰 기여를 했으며, 'Fast Planner'와 'Skill Boundary Check'가 효율성 향상의 핵심 요소임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 전문가 수준의 에이전트 실현: OSExpert 는 범용 컴퓨터 사용 에이전트가 단순한 자동화를 넘어, 실제 업무 환경에서 인간 전문가와 경쟁할 수 있는 수준으로 발전할 수 있음을 입증했습니다.
• 학습 패러다임의 전환: 대규모 인간 데이터에 의존하는 기존 방식에서 벗어나, 환경 기반의 자기 진화 (Self-evolution via exploration) 를 통해 지식을 습득하는 새로운 방향성을 제시했습니다.
• 확장성: 이 프레임워크는 소프트웨어 엔지니어링 에이전트, 로봇 제어, 비전 - 언어 - 행동 모델 등 다양한 분야로 확장 가능하여, 보다 일반적이고 적응력 있는 인공지능 시스템 개발의 토대가 될 것으로 기대됩니다.

결론적으로, OSExpert 는 컴퓨터 사용 에이전트의 성능 (Performance) 과 효율성 (Efficiency) 문제를 동시에 해결하며, 인간 전문가 수준의 작업을 수행할 수 있는 실용적인 시스템을 구축하는 중요한 걸음을 내디뎠습니다.