WebFactory: Automated Compression of Foundational Language Intelligence into Grounded Web Agents

이 논문은 대규모 언어 모델의 잠재적 지능을 효율적으로 압축하여 실제 웹 환경에서 작동하는 에이전트를 학습시키기 위해, 안전하고 재현 가능한 자동화된 폐쇄 루프 강화학습 파이프라인인 'WebFactory'를 제안하며, 소량의 합성 데이터로도 인간 주석 데이터 기반 모델과 견줄 만한 성능과 뛰어난 일반화 능력을 입증합니다.

핵심

1. 문제: 왜 기존 방식은 힘들까요? (비유: "실전 연습 vs 시뮬레이션")

지금까지 웹사이트를 조작하는 AI 를 가르치기 위해 두 가지 방법이 주로 쓰였습니다. 하지만 둘 다 큰 문제가 있었습니다.

• 방법 A (사람이 직접 가르치는 것): 사람이 웹사이트를 직접 클릭하고 입력하며 "이렇게 해, 저렇게 해"라고 수천 번 기록해 줍니다.
  • 문제점: 비용이 너무 비싸고, 사람이 할 수 있는 일의 양에는 한계가 있습니다. 마치 수천 명의 사관학교 생도에게 한 명씩 개인 교관을 붙여주는 것처럼 비효율적입니다.
• 방법 B (실제 인터넷에서 학습시키는 것): AI 를 실제 인터넷에 접속시켜서 실수하고 배우게 합니다.
  • 문제점: 실제 인터넷은 너무 혼란스럽습니다. 광고가 뜨거나, 페이지가 바뀌거나, 보안 장벽 (캡차) 이 생길 수 있습니다. AI 가 실수하면 실제 주문이 잘못되거나 데이터가 망가질 수도 있습니다. 마치 비행 조종사를 훈련시킬 때 실제 하늘에 태워서 추락할 위험을 감수하는 것과 같습니다.

2. 해결책: WebFactory (비유: "완벽한 가상 비행 시뮬레이터")

이 논문은 **"지식 압축 공장 (Intelligence Compression Factory)"**이라는 개념을 제안합니다.

• 핵심 아이디어: AI 가 이미 인터넷에 대한 엄청난 지식 (책, 뉴스, 웹사이트 구조 등) 을 가지고 있습니다. 문제는 그 지식을 **"실제 행동"**으로 바꾸는 것입니다.
• WebFactory 의 역할:
  1. 완벽한 가상 세상 만들기: 실제 웹사이트를 100% 똑같이 복제한 '오프라인 시뮬레이션'을 만듭니다. 여기서 AI 가 실수를 해도 아무런 피해가 없습니다.
  2. 스스로 문제를 만들고 풀게 하기: AI 가 스스로 "이 상품을 장바구니에 담고, 배송지를 확인해 봐" 같은 과제를 만들고, 또 다른 AI(선생님) 가 그 답을 먼저 찾아서 정답을 알려줍니다.
  3. 반복 훈련: 이 과정을 통해 AI 는 수천 번의 실수와 성공을 경험하며, "어떻게 클릭해야 원하는 결과가 나오는지"를 빠르게 배웁니다.

비유하자면:

기존 방식은 실제 도로에서 운전면허를 따려고 고생하는 것이라면,
WebFactory 는 최첨단 운전 시뮬레이터에서 수만 번의 연습을 통해 근육 기억을 만든 뒤, 실제 도로에 나가는 것입니다.

3. 놀라운 결과: 적은 데이터, 큰 성과

이 공장 (WebFactory) 에서 훈련된 AI 는 놀라운 능력을 보여줍니다.

• 적은 데이터로 대성공: 보통 AI 는 수많은 사람의 기록이 필요하지만, 이 AI 는 단 10 개 웹사이트에서 만든 가상 데이터만으로도 훈련되었습니다.
• 비교 불가한 성능: 이 10 개 사이트로 훈련된 AI 가, 훨씬 더 많은 웹사이트에서 사람의 손으로 만든 데이터를 바탕으로 훈련된 다른 AI 들보다 더 잘 작동했습니다.
• 실제 인터넷에서도 잘함: 시뮬레이션 (가상) 에서 훈련했지만, 실제 아마존이나 에어비앤비 같은 진짜 웹사이트에 접속시켜도 아주 잘 작동했습니다.

4. 이 연구의 핵심 메시지 (비유: "지능의 압축")

이 논문은 단순히 "더 좋은 AI 를 만들었다"는 것을 넘어, 중요한 철학을 제시합니다.

• 지능의 압축 (Intelligence Compression): AI 가 가진 거대한 지식 (인터넷 전체의 정보) 을, 실제 행동 (클릭, 입력) 으로 바꾸는 효율성이 중요합니다.
• 새로운 평가 기준: 이제 AI 를 평가할 때 "얼마나 많은 데이터를 먹었나?"보다는 **"그 지식을 얼마나 잘 행동으로 바꾸는가?"**를 봐야 합니다. 마치 학생을 평가할 때 "책을 얼마나 많이 읽었나"보다 "배운 것을 어떻게 활용하는가"를 보는 것과 같습니다.

요약

WebFactory는 AI 를 가르치는 방식을 완전히 바꿉니다.
사람이 일일이 가르치거나, 위험한 실제 인터넷에서 시행착오를 겪게 하는 대신, **완벽하게 통제된 가상 세상 (시뮬레이터)**에서 AI 가 스스로 문제를 만들고 해결하며 학습하게 합니다.

그 결과, 적은 비용과 데이터로도 실제 웹사이트를 능숙하게 다루는 똑똑한 AI 를 만들 수 있게 되었습니다. 이는 앞으로 우리가 인터넷을 사용하는 방식이나, AI 가 우리 생활을 도와주는 방식을 바꿀 중요한 첫걸음입니다.

기술 요약

1. 문제 정의 (Problem)

기존 GUI 에이전트 훈련 패러다임은 두 가지 주요한 병목 현상에 직면해 있습니다:

• 데이터 의존성과 비용: 수천 개의 인간이 수동으로 주석 달아 만든 데이터 (Human-annotated data) 에 의존하며, 이는 막대한 비용과 편향을 초래합니다.
• 실시간 웹의 비결정성: 실제 라이브 웹에서 훈련하면 확장성은 확보되지만, CAPTCHA, 보안 장치, 동적 콘텐츠 변경, 안전성 문제 등으로 인해 재현 가능한 연구가 어렵습니다.

저자들은 이러한 접근 방식이 '데이터의 양'에만 집중하여, LLM 의 잠재된 지식을 에이전트의 실행 가능한 행동으로 **압축 (Compression)**하는 효율성을 간과했다고 지적합니다.

2. 방법론 (Methodology)

WebFactory 는 LLM 을 단순히 미세 조정 (Fine-tuning) 하는 대상이 아닌, 에이전트의 '구현체 (Embodiment) 의 설계자'로 활용하는 폐쇄 루프 (Closed-loop) 강화학습 파이프라인입니다. 주요 구성 요소는 다음과 같습니다.

2.1 고충실도 오프라인 웹 환경 (High-Fidelity Offline Environment)

• 특징: 실제 프로덕션 웹사이트를 정밀하게 복제하여 오프라인에서 실행 가능한 환경을 구축합니다.
• 장점: 로그인/MFA, CAPTCHA, 봇 탐지 등 실시간 웹의 방해 요소를 제거하고, 모든 페이지 상태와 데이터에 대한 완전한 관찰 가능성 (Full Observability) 을 제공합니다.
• 구현: 10 개의 주요 도메인 (e-commerce, 여행, 채용 등) 을 포함하는 10 개의 사이트 패밀리를 자동 생성하며, 모든 데이터는 버전 관리된 정적 데이터셋으로 제공됩니다.

2.2 지식 기반 작업 생성 (Knowledge-Driven Task Generation)

• 지식 추출: 각 사이트의 탐색 그래프, 페이지 의미론, 상호작용 흐름을 기계가 읽을 수 있는 지식 스펙으로 추출합니다.
• 작업 합성: 추출된 지식을 기반으로 LLM 이 다양한 작업 (Operational tasks, 정보 검색 tasks) 을 자동 생성합니다.
• 검증: 생성된 모든 작업은 실행 가능성, 가시성, 정답 존재 여부를 자동으로 검증하여 인간 주석 없이도 정확하고 실행 가능한 작업 집합을 보장합니다.

2.3 확장 가능한 궤적 생성 및 필터링

• 강한 실행자 (Strong Executor): OpenAI 의 Computer-use-preview 와 같은 고성능 LLM 을 '교사 (Teacher)' 에이전트로 사용하여 오프라인 환경에서 작업을 수행하고 궤적 (Trajectory) 데이터를 수집합니다.
• 필터링: 상태 재현 (State-replay), 핵심 노드 커버리지, 정답 검증을 통해 저품질 데이터를 제거하고 고품질 데이터셋을 구축합니다.

2.4 통합 행동 공간 및 분해된 보상 강화학습 (RL)

• 행동 공간: 클릭, 입력, 스크롤, 드래그, 최종 답변 도출 등을 포함한 통합된 행동 튜플 (action_type, point, text)을 정의합니다.
• 분해된 보상 (Decomposed Reward):
  • 형식 보상 (Format Reward): JSON 구조, 유효한 행동 유형 등 구조적 무결성을 검증합니다.
  • 정확도 보상 (Accuracy Reward): 행동 유형, 클릭 좌표, 입력 텍스트의 정확도를 계층적으로 평가합니다. 정보 검색 작업의 경우 정규화된 F1 점수를 사용하여 보상을 계산합니다.
• 알고리즘: GRPO(Group Relative Policy Optimization) 및 PPO 를 기반으로 한 강화학습을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 고충실도 오프라인 웹 환경: 재현 가능하고 완전히 제어 가능한 오프라인 웹사이트 모음 (Open-source) 을 제공합니다.
2. 지식 기반 작업 생성 메커니즘: 인간 주석 없이도 LLM 과 환경 지식을 활용하여 다양하고 검증된 작업과 정답을 자동 생성합니다.
3. 확장 가능한 궤적 생성: 강력한 LLM 실행자를 통한 대규모 고품질 데이터 수집 및 필터링 파이프라인을 제시합니다.
4. 통합 행동 공간과 분해된 보상 RL: 구조적 검증과 미세한 정확도 평가를 결합한 새로운 RL 프레임워크를 제안합니다.
5. 강건한 평가 프로토콜: 작업 수준과 서브태스크 수준 (Grounding metrics) 에서 에이전트 능력을 체계적으로 평가합니다.
6. 오픈소스 툴체인: 환경, 작업 생성기, 훈련 파이프라인, 평가 도구를 포함한 전체 도구셋을 공개합니다.

4. 실험 결과 (Results)

WebFactory 는 인간이 주석 달은 대량의 데이터로 훈련된 기존 모델보다 뛰어난 성능을 보였습니다.

• 데이터 효율성: 단 10 개 웹사이트의 합성 데이터로만 훈련된 WebFactory 에이전트는, 훨씬 더 많은 환경에서 인간 주석 데이터로 훈련된 모델 (GUI-R1 등) 과 유사하거나 더 높은 성능을 달성했습니다.
• 오프라인 - 온라인 전이 (Offline-to-Online Transfer):
  • 훈련된 에이전트는 Amazon, Airbnb, Booking 과 같은 실제 라이브 웹사이트에서 테스트 시, 베이스 모델 (QwenVL2.5, GPT-4o) 및 기존 RL 모델보다 월등히 높은 작업 완료율 (TCR) 을 보였습니다.
  • 특히 WebFactory-3B 는 평균 TCR 53.4% 를 기록하여 베이스 모델 (20.4%) 대비 162% 향상을 보였습니다.
• 공식 벤치마크 성능: GUI-Act-Web, GUI-Odyssey, OmniAct-Desktop 등 다양한 공개 벤치마크에서 높은 성공률 (Success Rate) 과 정확도를 기록하며 뛰어난 일반화 능력을 입증했습니다.
• 모델 기반 분석: GPT-5, Claude Opus 4.1 등 다양한 기초 LLM 을 '지식 아키텍트'로 사용했을 때, 모델의 추론 능력과 세계 지식이 최종 에이전트의 성능을 결정하는 핵심 요소임을 발견했습니다. 이는 '지능 압축 (Intelligence Compression)' 효율성을 모델 평가의 새로운 축으로 제안합니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 웹 에이전트 훈련의 핵심이 '데이터 양'이 아니라, LLM 의 지식을 행동으로 변환하는 '압축 효율성'에 있음을 증명했습니다.
• 안전하고 확장 가능한 연구: 실시간 웹의 위험과 비결정성을 제거하면서도 실제 웹의 복잡성을 유지하는 환경을 제공하여, 재현 가능하고 안전한 대규모 에이전트 연구의 토대를 마련했습니다.
• 미래 전망: 이 프레임워크는 GUI 를 넘어 물리적 환경 (Physical Embodied Environments) 으로도 확장 가능하며, 에이전트가 스스로 커리큘럼을 생성하며 진화하는 자율 에이전트 개발의 중요한 단계로 평가됩니다.

결론적으로 WebFactory 는 수동 데이터 의존성을 탈피하고, LLM 의 잠재된 지능을 효율적으로 현실 세계의 행동으로 전환하는 비용 효율적이고 확장 가능한 새로운 표준을 제시합니다.