Safe and Scalable Web Agent Learning via Recreated Websites
이 논문은 실제 웹사이트의 안전성 문제와 피드백 부재를 해결하기 위해 언어 모델을 활용해 웹사이트를 복제하고 검증 가능한 보상 시스템을 갖춘 합성 환경 'VeriEnv'를 제안하며, 이를 통해 웹 에이전트의 안전한 학습과 확장 가능한 자기 진화를 가능하게 함을 보여줍니다.
지금까지 AI 에이전트를 훈련시킬 때는 **실제 인터넷 웹사이트 (실제 식당)**에서 직접 연습을 시켰습니다. 하지만 이 방식에는 치명적인 단점들이 있었습니다.
위험한 실수: AI 가 실수로 다른 사람의 주문을 취소하거나, 식당의 규칙을 어기거나, 심지어는 서버를 다운시킬 수도 있습니다. (실제 식당에서 요리사가 실수로 손님의 음식을 망치거나 주방을 불태우는 것과 같습니다.)
되돌릴 수 없음: 실수를 하면 다시 처음부터 시작하기 어렵습니다. (식당 문을 닫고 다시 차리는 데 시간이 걸리죠.)
정답을 알기 어려움: AI 가 "오늘 메뉴를 찾아줘"라고 했을 때, AI 가 찾아온 메뉴가 진짜 정답인지, 아니면 AI 가 임의로 만들어낸 엉뚱한 메뉴인지 확인하기 어렵습니다. (요리사가 만든 요리를 맛있게 보이지만, 실제로는 식중독이 난 음식일 수도 있다는 뜻입니다.)
🏗️ 2. 해결책: VERIENV - "완벽한 모의 요리 실습실"
이 논문은 VERIENV라는 시스템을 제안합니다. 이는 **실제 웹사이트를 1:1 로 복제해서 만든 '가상의 실습실'**입니다.
코딩 에이전트 (건축가): AI 가 실제 웹사이트 (예: 아마존, 쿠팡 등) 의 화면을 보고, 그와 똑같은 기능과 데이터베이스를 가진 완벽한 복제본 웹사이트를 자동으로 만들어냅니다.
내부 열쇠 (Python SDK): 이 실습실에는 일반인이 못 보는 '내부 열쇠'가 있습니다. AI 는 이 열쇠로 데이터베이스를 직접 열어 "정말 이 물건이 재고에 있는가?", "가격이 맞나?"를 100% 정확하게 확인할 수 있습니다.
안전한 환경: 여기서 AI 가 아무리 엉뚱한 짓을 해도 실제 사용자에게 피해를 주지 않습니다. 실수하면 버튼을 누르면 바로 초기화 (Reset) 되어 다시 시작할 수 있습니다.
🎯 3. 핵심 기능: "정답이 명확한 퀴즈"
가장 중요한 부분은 과제 (Task) 와 채점 (Judge) 방식입니다.
기존 방식 (LLM 채점): AI 가 "가장 맛있는 파스타 레시피를 찾아줘"라고 했을 때, AI 가 찾아온 레시피가 맛있는지 **다른 AI (심판)**가 "음, 맛있어 보이네?"라고 추측으로 점수를 줍니다. (심판도 실수할 수 있죠.)
VERIENV 방식 (자동 채점): AI 가 "가격이 1 만 원 이하인 파스타 중 가장 싼 것의 이름을 말해줘"라고 했을 때, 시스템이 데이터베이스를 직접 뒤져서 정답이 맞는지 코드로 자동으로 확인합니다.
정답이면 ✅ (점수 획득)
틀리면 ❌ (재시도)
이렇게 정답이 명확하고 검증 가능한 과제를 통해 AI 는 확실하게 배우게 됩니다.
📈 4. 결과: 왜 이 방법이 더 좋은가?
안전함: 실제 웹사이트를 건드리지 않아서 위험이 없습니다.
확장성: 이 실습실을 1 개만 만드는 게 아니라, 149 개나 되는 다양한 웹사이트를 복제해서 AI 가 다양한 상황을 경험하게 할 수 있습니다. (요리사가 다양한 식당의 메뉴를 모두 익히는 것과 같습니다.)
성공률 향상: 실험 결과, 이 방법으로 훈련된 AI 는 새로운 웹사이트에 가서도 훨씬 더 잘 작동했습니다. 특히 자신이 훈련한 사이트에서는 거의 완벽하게 일을 처리할 수 있게 되었습니다.
💡 요약
이 논문은 **"AI 비서를 가르칠 때, 실제 세상을 위험하게 돌아다니게 하지 말고, 완벽하게 복제된 안전한 실습실에서 정답이 명확한 과제를 통해 훈련시키자"**는 아이디어입니다.
이는 마치 비행 시뮬레이터가 실제 비행기를 타기 전 조종사를 안전하게 훈련시키듯, 웹 에이전트가 실제 인터넷을 안전하게 다룰 수 있게 만드는 획기적인 기술입니다.
1. 문제 제기 (Problem Statement)
자율적인 웹 에이전트 (Web Agents) 를 학습시키는 데 있어 기존 접근 방식은 다음과 같은 근본적인 한계에 직면해 있습니다.
안전성 및 접근성 문제: 실제 웹사이트를 직접 탐색하는 것은 사용자에게 피해를 주거나, 플랫폼 정책 위반, CAPTCHA/Cloudflare 차단 등으로 인해 위험하거나 제한적입니다.
환경 재설정 (Reset) 의 어려움: 실제 웹사이트는 상태를 초기화하기 어렵고, 에이전트의 실수가 영구적인 데이터 손실로 이어질 수 있습니다.
검증 가능한 피드백의 부재: 기존 '자가 진화 (Self-evolution)' 방식은 에이전트가 생성한 작업 (Task) 이 명확하지 않거나, LLM 을 판사로 활용 (LLM-as-a-Judge) 하여 결과를 평가하는 경우가 많습니다. 이는 오류가 발생하기 쉽고, 결정론적이지 않아 학습 신호가 불안정합니다.
따라서 안전하면서도 검증 가능하고 확장 가능한 웹 에이전트 학습 환경을 구축하는 것이 핵심 과제로 대두되었습니다.
2. 제안 방법론: VERIENV (Methodology)
저자들은 VERIENV라는 새로운 프레임워크를 제안합니다. 이는 언어 모델 (LLM) 을 '환경 생성자'로 활용하여 실제 웹사이트를 완전히 실행 가능한 합성 환경 (Synthetic Environment) 으로 자동 복제하는 방식입니다.
2.1. 환경 구축 (Environment Construction)
코드 에이전트 활용: GPT-5.2 와 같은 코딩 에이전트를 사용하여 실제 웹사이트의 스크린샷을 기반으로 프론트엔드, 백엔드 로직, 데이터베이스를 포함한 합성 웹사이트를 자동 생성합니다.
Python SDK 제공: 생성된 합성 환경은 내부 상태 (Database, State) 에 대한 제어된 접근을 제공하는 Python SDK 를 포함합니다. 이를 통해 에이전트는 브라우저 인터페이스뿐만 아니라 내부 데이터베이스를 직접 조회하고 검증할 수 있습니다.
반복적 안정화: 초기 구현 후, Playwright MCP 등을 활용해 실제 브라우저와 상호작용하며 버그를 발견하고 수정하는 반복적 디버깅 과정을 거쳐 안정성을 확보합니다.
2.2. 검증 가능한 작업 및 판사 생성 (Verifiable Task & Judge Generation)
실행 가능한 검증 프로그램: 생성된 각 작업 (Task) 에 대해 자연어 지시문과 함께 Python SDK 를 활용한 검증 프로그램 (Validation Program) 이 자동 생성됩니다.
결정론적 보상 (Deterministic Reward): 에이전트가 작업을 수행한 후, 검증 프로그램이 내부 데이터베이스 상태를 직접 확인하여 작업 성공 여부를 이진 (Binary) 값으로 판단합니다. 이는 LLM 의 주관적 판단이 아닌, 실행 가능한 코드를 통한 검증 가능한 보상을 제공합니다.
2.3. 자가 진화 학습 (Self-Evolving Agent Learning)
에이전트는 합성 환경 내에서 생성된 작업을 수행하고, 검증된 보상 신호를 통해 강화학습 또는 파인튜닝을 진행합니다.
성공적인 트레젝토리 (Trajectory) 만을 필터링하여 학습 데이터로 활용함으로써, 안정적인 학습이 가능해집니다.
3. 주요 기여 (Key Contributions)
VERIENV 프레임워크 제안: 실제 웹사이트를 실행 가능한 합성 환경으로 자동 복제하고, 검증 가능한 작업을 생성하여 안전하고 신뢰할 수 있는 자가 진화 학습을 가능하게 합니다.
검증 가능성의 중요성 입증: LLM 기반 판사 대신 실행 가능한 검증기 (Verifier) 를 사용할 때 학습의 안정성과 성능이 크게 향상됨을 실험을 통해 증명했습니다.
환경 확장성 (Environment Scaling): 학습 환경의 수를 늘릴수록 에이전트의 성능이 지속적으로 향상됨을 확인하여, 데이터나 모델 크기 확장에 더해 환경 확장이 웹 에이전트 학습의 핵심 요소임을 보였습니다.
4. 실험 결과 (Results)
저자들은 WebArena 와 Mind2Web-Online 벤치마크를 통해 VERIENV 의 효과를 검증했습니다.
일반화 성능 (Generalization):
WebArena: VERIENV 로 학습한 에이전트는 기존 베이스 모델 대비 Qwen3-4B 는 6.06%p, LLaMA-3.2-3B-Instruct 는 9.09%p의 성공률 향상을 보였습니다.
Mind2Web-Online: 다양한 난이도 (Easy, Medium, Hard) 에서 기존 방법론 (Synatra, ADP 등) 보다 일관된 성능 개선을 보였으며, 특히 LLaMA 기반 모델에서 13.19%p 의 큰 향상을 기록했습니다.
사이트별 마스터리 (Site-Specific Mastery):
특정 웹사이트를 복제한 환경에서 반복 학습을 시켰을 때, 에이전트는 해당 도메인에 특화된 능력을 지속적으로 향상시켰습니다.
기존 방법론 (PAE) 이 비검증 가능한 작업과 LLM 판사로 인해 학습이 정체되는 것과 달리, VERIENV 는 검증 가능한 보상을 통해 학습이 꾸준히 진전되었습니다.
확장 효과: 학습에 사용된 합성 웹사이트의 수가 증가할수록 에이전트의 성능이 비례하여 향상되는 것을 확인했습니다.
5. 의의 및 결론 (Significance & Conclusion)
안전한 학습 패러다임: 실제 웹사이트와의 직접적인 상호작용을 피하고, 샌드박스화된 합성 환경에서 학습함으로써 안전성과 재현성을 극대화했습니다.
신뢰할 수 있는 평가: LLM 의 환각 (Hallucination) 이나 편향 없이, 실행 가능한 코드로 검증된 보상 신호를 제공하여 학습의 신뢰도를 높였습니다.
미래 지향성: 이 프레임워크는 웹 에이전트의 자가 진화 학습을 위한 확장 가능한 기반을 제공하며, 향후 강화학습 (RL) 을 통한 더 복잡한 에이전트 개발에 필수적인 인프라가 될 것으로 기대됩니다.
요약하자면, 이 논문은 **"실제 웹사이트를 안전하게 복제하고, 내부 데이터에 접근 가능한 검증 시스템을 구축함으로써, 웹 에이전트가 인간 개입 없이도 안전하고 효율적으로 스스로 진화할 수 있는 길을 열었다"**는 점에서 큰 의의를 가집니다.