CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation

이 논문은 복잡한 웹 작업에서 사용자와 에이전트가 상호작용하며 협업하는 'CowPilot' 프레임워크를 제안하고, 이 방식이 인간이 수행하는 단계 수를 크게 줄이면서도 95% 의 높은 작업 성공률을 달성함을 실증했습니다.

핵심

🚀 코우파일럿 (COWPILOT): 당신의 웹 서핑을 도와주는 '똑똑한 조수'

이 논문은 **"인공지능 (AI) 이 혼자서 웹 작업을 하다가 막히면, 사람이 도와주고 다시 AI 가 이어가는 새로운 방식"**을 소개합니다.

기존의 AI 는 "혼자서 모든 일을 해내라"는 명령을 받으면, 복잡한 웹사이트에서 길을 잃고 헤매거나 실수를 반복하곤 했습니다. 하지만 **코우파일럿 (COWPILOT)**은 AI 가 완벽하지 않다는 것을 인정하고, 사람과 AI 가 팀을 이루어 일하는 방식을 제안합니다.

이 개념을 쉽게 이해할 수 있도록 비행기 조종사와 내비게이션에 비유해 설명해 드릴게요.

---

✈️ 비유: "자동 조종 장치"와 "조종사"의 협업

상상해 보세요. 당신이 **비행기 (웹 브라우저)**를 타고 여행 중입니다.

• 기존 방식 (완전 자동화): AI 가 조종석에 앉아 "자동 조종" 버튼을 누릅니다. 하지만 AI 가 구름을 보고 길을 잃거나, 착륙할 때 계산을 잘못하면 비행기는 추락하거나 엉뚱한 곳에 착륙할 수 있습니다.
• 코우파일럿 방식: AI 가 부조종사 (Co-pilot) 역할을 합니다.
  1. AI 가 "다음엔 오른쪽으로 30 도 회전하세요"라고 제안합니다.
  2. **당신 (주조종사)**은 그 제안을 봅니다. "아, 저기 산이 보이는데 그쪽으로 가면 안 되겠네!"라고 생각하면, 일시 정지 (Pause) 버튼을 누르고 직접 핸들을 돌려 올바른 경로로 수정합니다.
  3. 길을 찾았으면 다시 "계속 (Resume)" 버튼을 누릅니다.
  4. AI 는 당신이 수정한 경로를 보고 "아, 제가 잘못 알았네요. 이제 그 방향으로 계속 가겠습니다!"라고 하며 다시 자동 조종을 이어갑니다.

이처럼 사람이 AI 의 실수를 바로잡아 주고, AI 는 반복적인 작업을 대신해 주는 방식입니다.

---

🛠️ 코우파일럿이 어떻게 작동하나요?

이 시스템은 크롬 브라우저에 설치하는 작은 확장 프로그램입니다.

1. 제안하기 (Suggest): AI 가 "이 버튼을 클릭하세요"라고 말하며 화면에 표시해 줍니다.
2. 중재하기 (Pause & Override): 만약 AI 가 엉뚱한 곳을 클릭하려 한다면, 당신은 즉시 멈추고 직접 올바른 행동을 합니다. (예: AI 가 '고객' 탭을 클릭하려는데, 당신은 '주문' 탭을 클릭합니다.)
3. 이어하기 (Resume): 당신이 길을 찾아냈으면, 다시 AI 에게 일을 맡깁니다. AI 는 당신이 한 행동을 기억하고, 그 다음 단계부터 다시 자동으로 움직입니다.

📊 연구 결과는 어떨까요?

연구진은 5 개의 다양한 웹사이트 (쇼핑, 소셜, 기술 사이트 등) 에서 실험을 했습니다.

• 성공률: AI 가 혼자 할 때는 48% 만 성공했지만, 사람과 함께 할 때는 95% 까지 성공률이 올라갔습니다. (사람이 혼자 할 때보다도 더 높았습니다!)
• 노력 분담: 놀랍게도 작업의 85% 는 AI 가 스스로 처리했습니다. 사람은 전체 작업의 15% 만 참여해서 AI 가 막히는 부분만 살짝 도와주면 되었습니다.
• 결론: AI 가 혼자서는 100% 완벽하지 않지만, 사람이 15% 만 도와주면 AI 가 나머지 85% 를 훌륭하게 처리하여 전체적인 성공률을 극대화할 수 있습니다.

💡 왜 이것이 중요한가요?

1. 실제 생활에 적용 가능: 복잡한 웹사이트 (예: 항공권 예약, 복잡한 쇼핑몰 구매) 에서 AI 가 길을 잃지 않도록 사람이 실시간으로 도와줄 수 있습니다.
2. 데이터 수집: 사람이 AI 와 어떻게 협력하는지 기록함으로써, 더 똑똑한 AI 를 만드는 데 필요한 데이터를 모을 수 있습니다.
3. 안전성: AI 가 함부로 실수하지 않도록 사람이 감시할 수 있어, 금융 거래나 중요한 작업에서도 안심하고 사용할 수 있습니다.

🚧 한계와 미래

현재는 사람이 계속 지켜봐 주어야 하지만, 앞으로는 AI 가 스스로 "여기서 사람이 도와줘야 할 것 같아"라고 판단해서 멈추는 기술로 발전시킬 계획입니다. 또한, 악용을 방지하기 위해 코드 전체를 공개하지 않고, 사용자가 직접 API 키를 넣어 안전하게 사용할 수 있도록 하고 있습니다.

📝 한 줄 요약

"코우파일럿은 AI 가 혼자서 헤매지 않도록, 사람이 '조금만' 도와주는 스마트한 웹 서핑 파트너입니다. AI 가 85% 를 하고 사람이 15% 를 도와주면, 95% 의 성공을 거둘 수 있는 마법 같은 시스템입니다!"

기술 요약

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 기반 웹 에이전트는 복잡한 디지털 작업을 자동화하는 데 뛰어난 능력을 보여주지만, 실제 현실 세계의 복잡한 작업이나 사용자의 선호도를 반영하는 데에는 여전히 한계가 있습니다.

• 기존 연구의 한계: 대부분의 기존 프레임워크는 에이전트의 완전한 자율성 (Autonomy) 또는 자연어 피드백을 통한 단순한 상호작용에 초점을 맞추고 있습니다.
• 핵심 문제: 에이전트가 오류를 범하거나 막히게 될 때, 사용자가 실시간으로 개입하여 에이전트의 행동을 수정하거나 대체할 수 있는 **동적인 인간 - 에이전트 협업 (Human-Agent Collaboration)**을 지원하는 체계적인 프레임워크와 평가 방법이 부족합니다.

2. 방법론 (Methodology)

이 논문은 웹 탐색 작업을 위해 COWPILOT이라는 경량 프레임워크를 제안합니다. 이는 크롬 확장 프로그램 (Chrome Extension) 으로 구현되어 사용자의 실제 웹 활동에 원활하게 통합됩니다.

2.1 시스템 아키텍처 및 상호작용 프로세스

COWPILOT 은 두 가지 에이전트 (LLM 에이전트 $\pi_L$와 인간 에이전트 $\pi_H$) 가 교대로 또는 협력하여 작업을 수행하는 구조를 가집니다.

• 제안 후 실행 (Suggest-then-Execute): LLM 에이전트가 다음 단계의 행동을 제안합니다. 제안에는 시각적 하이라이팅과 텍스트 설명이 포함되며, 5 초 동안 사용자의 승인을 기다립니다.
• 사용자 개입 (Human Intervention):
  • Pause/Reject: 사용자가 제안된 행동이 잘못되었다고 판단하면 작업을 일시 정지하거나 거부하고 직접 행동을 수행합니다.
  • Action Capture: 사용자가 직접 수행한 행동 (클릭, 입력, 스크롤 등) 은 HTML 이벤트 리스너를 통해 포착되며, 이를 LLM 이 이해할 수 있는 정제된 행동 공간 (Action Space) 으로 변환합니다.
  • Resume: 사용자가 작업을 다시 LLM 에이전트에 넘기면 (Resume), 에이전트는 인간의 개입 이력을 포함하여 다음 단계를 예측하고 계속 실행합니다.
• 동적 협업: 이 과정은 작업 세션 동안 무제한으로 반복될 수 있으며, 사용자는 에이전트의 실수를 실시간으로 수정하고 에이전트는 이를 학습하여 경로를 수정합니다.

2.2 평가 지표 (Evaluation Metrics)

작업 성공률뿐만 아니라 협업의 질을 정량화하기 위해 다음과 같은 지표를 도입했습니다.

• 일반 작업 성공률 (General Task Success): 작업 목표 달성 여부.
• 협업 효율성 지표:
  • 에이전트/인간 단계 수 (Agent/Human Step Count): 각 주체가 수행한 단계의 수.
  • 인간 개입 횟수 (Human Intervention Count): 사용자가 에이전트를 멈추고 직접 개입한 횟수.
  • 에이전트 주도 완료 정확도 (Agent-driven Completion Accuracy): 인간의 개입 후 에이전트가 스스로 작업을 완료한 비율.

3. 주요 기여 (Key Contributions)

1. COWPILOT 프레임워크 개발: 완전한 자율성과 인간 개입 사이의 균형을 맞추는 최초의 실시간 웹 탐색 협업 프레임워크 중 하나를 제시했습니다.
2. 다양한 사용 사례 지원:
   • 웹 자동화: 사용자를 위한 독립형 에이전트 도구.
   • 데이터 수집: 에이전트 행동 궤적과 사용자 피드백을 수집하여 에이전트 학습 및 행동 연구에 활용.
   • 모델 평가: 다양한 LLM 모델 (GPT, Llama 등) 의 성능을 동일한 조건에서 비교 평가.
3. 새로운 평가 패러다임: 단순한 작업 성공률뿐만 아니라, 인간과 에이전트가 어떻게 상호작용하며 효율성을 높이는지에 대한 심층적인 분석 지표를 제시했습니다.

4. 실험 결과 (Results)

WebArena 벤치마크 (쇼핑, 소셜, 기술 도메인 등 5 개 웹사이트, 27 개 작업) 를 기반으로 GPT-4o 와 Llama-3.1-8B 모델을 사용하여 실험을 수행했습니다.

• 성공률 (Success Rate):
  • CoPilot 모드 (GPT-4o): **95%**의 성공률을 기록하여, 완전 자율 모드 (48%) 보다 47% 포인트, 인간 단독 모드 (89%) 보다 6% 포인트 더 높은 성능을 보였습니다.
  • Llama 모델: CoPilot 모드에서 성공률이 81% 로 향상되었으나, GPT-4o 에 비해 인간 개입이 더 많이 필요했습니다.
• 효율성 (Efficiency):
  • GPT-4o 기반 CoPilot 모드에서 인간은 전체 작업 단계의 15.2% 만 수행했습니다 (평균 1.1 단계). 나머지 84.8% 는 에이전트가 처리했습니다.
  • 이는 에이전트가 인간의 개입을 통해 오류를 수정받고도, 작업의 대부분을 스스로 수행할 수 있음을 의미합니다.
• 에이전트의 주도성: CoPilot 모드에서 성공한 작업의 약 **52%**는 인간의 개입 이후 에이전트가 스스로 완료한 것이었습니다. 이는 에이전트가 인간의 수정을 이해하고 작업을 성공적으로 이끌 수 있음을 보여줍니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: COWPILOT 은 복잡한 웹 작업에서 에이전트의 실수를 실시간으로 보완하여 높은 성공률을 달성하면서도 인간의 노력을 최소화하는 효과적인 솔루션을 제공합니다.
• 연구 도구: 인간 - 에이전트 협업 데이터를 체계적으로 수집하고, 다양한 에이전트 모델의 성능을 평가할 수 있는 표준적인 도구 역할을 합니다.
• 미래 방향: 현재는 인간이 관찰자로 참여해야 하지만, 향후에는 중요한 단계만 인간이 개입하도록 하거나, 두 번째 LLM 에이전트를 '사용자'로 시뮬레이션하는 자동화된 평가 체계로 확장할 계획입니다.

결론적으로, COWPILOT 은 완전한 자동화의 한계를 넘어, 인간과 AI 가 상호 보완적으로 협력하여 웹 작업을 수행하는 새로운 패러다임을 제시하며, 웹 에이전트 연구의 실용성과 평가의 정밀도를 크게 높였습니다.