WebXSkill: Skill Learning for Autonomous Web Agents

이 논문은 자연어 설명과 실행 가능한 코드를 결합한 'WebXSkill' 프레임워크를 제안하여, 기존 웹 에이전트의 장기 작업 수행 한계를 극복하고 WebArena 및 WebVoyager 벤치마크에서 성공률을 크게 향상시켰음을 보여줍니다.

핵심

🍳 문제: 요리사가 왜 자꾸 망치는 걸까?

지금까지의 웹 에이전트 (AI) 는 마치 요리책 (지시사항) 만 보고 요리하는 초보 요리사와 비슷했습니다.

• 지시사항: "소스를 만들고, 고기를 굽고, 접시에 담아라." (자연어)
  • → 하지만 이 말만 들으면, "어떻게 소스를 만들지? 어떤 팬을 써야 하지?"라고 매번 처음부터 고민해야 합니다.
• 코드 (스킬): "이 버튼을 누르고 저 입력창에 타이핑해." (실행 가능한 코드)
  • → 이건 바로 실행되지만, 요리사에게 "왜 이렇게 해야 하지?"라는 설명이 없어서, 중간에 불이 꺼지거나 재료가 없으면 당황해서 멈춰버립니다.

이 두 가지 방식의 **결점 (Grounding Gap)**을 모두 해결하지 못해서, AI 는 같은 일을 반복할 때마다 매번 처음부터 다시 고민하느라 시간을 낭비하고 실수를 저지르는 것입니다.

✨ 해결책: WEBXSKILL (요리사의 '완성된 레시피 + 설명서')

이 논문은 WEBXSKILL이라는 새로운 시스템을 제안합니다. 이는 요리사에게 **두 가지가 동시에 포함된 '완벽한 레시피 카드'**를 주는 것과 같습니다.

1. 실행 가능한 프로그램 (자동 조리): "이 버튼을 누르면 자동으로 소스가 만들어집니다." (코드가 실행됨)
2. 단계별 설명서 (자연어 가이드): "소스를 만들 때는 먼저 팬을 예열하세요. 만약 팬이 뜨겁지 않다면 다시 1 분을 기다리세요." (AI 가 이해하고 상황에 맞게 대처할 수 있음)

이 레시피 카드는 세 단계로 만들어집니다.

1 단계: 레시피 추출 (Skill Extraction)

• 비유: 수많은 요리 실습 영상 (데이터) 을 보고, 자주 나오는 '소스 만들기', '고기 굽기' 같은 반복적인 동작들을 찾아내서 하나의 레시피로 정리하는 과정입니다.
• 핵심: AI 가 실수한 영상에서도 유용한 부분만 뽑아내어, "이건 '검색하기'라는 레시피로 쓸 수 있겠다"라고 정리합니다.

2 단계: 레시피 정리 (Skill Organization)

• 비유: 모든 레시피를 무작정 쌓아두는 게 아니라, **주방의 서랍 (URL 기반 그래프)**에 정리해 둡니다.
• 핵심: "냉장고 (쇼핑 사이트)"를 열면 '식자재 손질 레시피'만 나오고, "오븐 (관리자 페이지)"을 열면 '굽기 레시피'만 나오도록 상황에 맞는 레시피만 꺼내오게 합니다.

3 단계: 레시피 활용 (Skill Deployment)

이제 AI 는 두 가지 방식으로 이 레시피를 쓸 수 있습니다.

• 🚀 모드 A: 자동 실행 (Grounded Mode)
  • 상황: 요리사가 아주 능숙할 때 (고성능 AI).
  • 방식: "소스 만들기" 레시피를 누르면, AI 는 눈을 감고도 모든 과정을 자동으로 끝냅니다. 매우 빠릅니다.
  • 장점: 시간이 단축됩니다.
• 🧭 모드 B: 단계별 가이드 (Guided Mode)
  • 상황: 요리사가 초보이거나, 상황이 예상과 다를 때 (약한 AI 또는 복잡한 상황).
  • 방식: 레시피가 "먼저 팬을 켜세요. (AI 가 직접 클릭)", **"다음에 소금을 넣으세요. (AI 가 직접 입력)"**라고 단계별로 알려줍니다.
  • 장점: AI 가 중간에 "아! 팬이 뜨거워졌네?"라고 스스로 판단하고 대처할 수 있어, 실수가 나도 바로 고칠 수 있습니다.

📊 결과는 어떨까요?

이 방법을 실험해 보니, 기존 방식보다 성공률이 10~13% 정도 크게 향상되었습니다.

• 특히 약한 AI는 '단계별 가이드' 모드를 쓸 때 훨씬 더 잘 작동했습니다. (스스로 적응할 기회를 주기 때문)
• 강한 AI는 '자동 실행' 모드를 쓸 때 가장 빨랐습니다.

💡 한 줄 요약

WEBXSKILL은 AI 에게 "무작정 시키기만 하는 코드"나 "막연한 지시사항"만 주는 게 아니라, **"자동으로 실행도 되지만, 필요하면 단계별로 설명도 해주는 똑똑한 레시피"**를 만들어줍니다. 덕분에 AI 는 웹상에서 더 길고 복잡한 일도 실수 없이, 그리고 상황에 맞춰 유연하게 처리할 수 있게 되었습니다.

이제 AI 도 요리사처럼, 레시피를 보며 요리하듯 웹사이트를 더 잘 다룰 수 있게 된 셈입니다! 🍽️✨

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반의 자율 웹 에이전트는 복잡한 브라우저 작업을 수행할 잠재력을 보였으나, 장기적인 워크플로우 (long-horizon workflows) 를 처리하는 데에는 여전히 어려움을 겪고 있습니다. 기존 연구에서 제시된 '스킬 (Skill)' 학습 방식에는 근본적인 한계, 즉 '그라운딩 갭 (Grounding Gap)' 이 존재합니다.

• 텍스트 기반 워크플로우 (Textual Workflow): 자연어 지침을 제공하지만 에이전트가 직접 실행할 수 없어, 에이전트가 각 지침을 구체적인 브라우저 행동으로 변환해야 하므로 오류가 발생하기 쉽습니다.
• 코드 기반 스킬 (Code-based Skills): 실행 가능한 코드로 구현되어 있지만, 에이전트에게 불투명한 블랙박스 (Black-box) 로 작동합니다. 따라서 에이전트는 실행 단계별 이해가 부족하여 중간에 오류가 발생하거나 페이지 상태가 예상과 다를 때 적응하거나 복구할 수 없습니다.

이러한 갭으로 인해 에이전트는 반복되는 작업에서도 매번 처음부터 계획을 수립해야 하며, 이는 비효율적이고 오류 발생 확률을 높입니다.

2. 방법론 (Methodology)

저자들은 WEBXSKILL이라는 새로운 프레임워크를 제안하여 이 갭을 해소합니다. 이 프레임워크는 실행 가능한 스킬 (Executable Skills) 을 도입하여, 매개변수화된 행동 프로그램과 단계별 자연어 지침을 결합합니다. 각 스킬은 런타임에서 직접 실행 가능하면서도 에이전트가 이해하고 적응할 수 있는 의미적 정보를 제공합니다.

WEBXSKILL 은 크게 세 가지 단계로 구성됩니다.

2.1 스킬 추출 (Skill Extraction)

• 데이터 소스: 자율적인 웹사이트 탐색이 아닌, 기존에 생성된 합성 에이전트 트래젝토리 (Synthetic Agent Trajectories) 를 활용하여 비용 효율적으로 데이터를 수집합니다.
• 추상화: LLM 을 사용하여 트래젝토리 내의 재사용 가능한 행동 하위 시퀀스를 식별하고, 이를 매개변수화된 스킬로 추상화합니다.
• 구체적 내용: 각 스킬은 구체적인 브라우저 행동 (클릭, 입력 등) 시퀀스와 함께 각 단계의 목적과 추론을 설명하는 자연어 지침을 포함합니다.
• 정제 (Curation): 중복 제거, 유사성 기반 필터링, 그리고 테스트 환경에서의 실행 유효성 검증을 통해 스킬 라이브러리의 품질을 보장합니다.

2.2 스킬 조직 (Skill Organization)

• 스킬 그래프 (Skill Graph): 스킬을 평면적인 라이브러리가 아닌, URL 기반의 그래프로 조직화합니다.
• 컨텍스트 인식 검색: 웹 페이지의 URL 패턴 (예: shopping/catalogsearch/*) 을 노드로 사용하여, 현재 페이지에 적용 가능한 스킬만 효율적으로 검색하고 필터링합니다. 이는 불필요한 후보를 줄이고 컨텍스트에 맞는 스킬을 제공합니다.

2.3 스킬 배포 (Skill Deployment)

WEBXSKILL 은 에이전트의 능력과 작업 요구사항에 따라 두 가지 상호 보완적인 실행 모드를 지원합니다.

1. Grounded Mode (지상 모드):
   • 스킬을 원자적인 도구 호출 (Tool Call) 로 간주합니다.
   • 에이전트가 스킬을 호출하면 런타임이 자동으로 하위 행동 시퀀스를 실행합니다.
   • 장점: 다단계 절차를 단일 호출로 압축하여 효율성을 극대화합니다.
   • 단점: 예기치 않은 페이지 변경 시 에이전트의 개입이 제한될 수 있습니다.
2. Guided Mode (가이드 모드):
   • 스킬을 단계별 자연어 지침으로 제시합니다.
   • 에이전트는 이 지침을 참고하여 자체적인 브라우저 행동으로 각 단계를 수행합니다.
   • 장점: 페이지 상태가 예상과 다를 때 에이전트가 직접 적응하고 재계획할 수 있어 (Adaptation) 강건성이 높습니다.
   • 적용: 모델의 추론 능력이 약하거나 복잡한 환경에서 유리합니다.

3. 주요 기여 (Key Contributions)

1. 실행 가능하고 해석 가능한 스킬 도입: 텍스트 기반 워크플로우와 불투명한 코드 기반 스킬 사이의 그라운딩 갭을 해소하는 새로운 스킬 형식을 제안했습니다.
2. 3 단계 프레임워크 (WEBXSKILL): 저비용 합성 트래젝토리에서 스킬을 추출하고, URL 기반 그래프로 조직화하며, Grounded/Guided 두 가지 모드로 배포하는 통합 파이프라인을 구축했습니다.
3. 적응형 배포 전략: 모델의 능력에 따라 실행 모드를 선택할 수 있음을 입증했습니다. 강력한 모델은 Grounded Mode 를, 상대적으로 약한 모델은 Guided Mode 를 통해 더 나은 성능을 발휘함을 보였습니다.

4. 실험 결과 (Results)

WebArena와 WebVoyager 벤치마크에서 기존 베이스라인 (Vanilla, MAP, SkillWeaver, WALT 등) 과 비교 평가되었습니다.

• 성능 향상:
  • WebArena: GPT-5 기반 에이전트의 경우, 베이스라인 대비 최대 9.8 포인트 향상 (Grounded Mode 기준).
  • WebVoyager: 최대 12.9 포인트 향상.
• 모델별 최적 모드:
  • GPT-5 (강력한 모델): Grounded Mode 에서 더 높은 성공률을 보였습니다 (효율성 우위).
  • Qwen-3.5 (상대적으로 약한 모델): Guided Mode 에서 Grounded Mode 대비 훨씬 큰 성능 향상 (53.9% vs 48.7%) 을 보였습니다. 이는 단계별 지침이 에이전트의 오류 복구 및 적응 능력을 돕기 때문입니다.
• 전환성 (Transferability): WebArena 에서 추출한 스킬을 WebVoyager(실제 웹사이트) 에 적용했을 때, Guided Mode 가 높은 성공률 (85.1%) 을 기록하며 미처 보지 못한 인터페이스에도 스킬을 적응시킬 수 있음을 입증했습니다.
• 효율성: Grounded Mode 는 평균 단계 수를 줄이고 성공률을 높였으며, Guided Mode 는 에이전트의 자율성을 유지하면서 성공률을 높였습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율 웹 에이전트의 장기적 작업 수행 능력을 획기적으로 개선할 수 있는 실용적인 프레임워크를 제시합니다.

• 이론적 기여: '실행 가능성'과 '해석 가능성'을 동시에 갖춘 스킬 표현 방식을 제안하여, 에이전트가 복잡한 웹 환경에서 지식을 재사용하고 오류를 복구하는 메커니즘을 정립했습니다.
• 실용적 가치: 합성 데이터를 기반으로 한 저비용 스킬 추출과 컨텍스트 인식 검색을 통해 실제 배포 환경에서의 확장성을 보여주었습니다.
• 전략적 통찰: 에이전트의 성능은 단순히 스킬의 존재 여부가 아니라, 모델의 능력에 맞는 실행 모드 (Grounded vs Guided) 선택에 크게 의존한다는 점을 강조했습니다.

결론적으로, WEBXSKILL 은 웹 에이전트가 반복적인 작업을 자동화하고 장기적인 목표를 달성하는 데 있어 필수적인 '프로시저 지식 (Procedural Knowledge)'을 효과적으로 학습, 저장, 활용하는 방법을 제시합니다.