TimeWarp: Evaluating Web Agents by Revisiting the Past

이 논문은 웹 환경의 변화에 따른 에이전트의 취약성을 평가하기 위해 'TimeWarp' 벤치마크를 제안하고, 여러 버전의 UI 를 아우르는 궤적을 활용한 'TimeTraj' 알고리즘을 통해 웹 에이전트의 일반화 성능과 견고성을 획기적으로 향상시켰음을 보여줍니다.

핵심

타임워프 (TIMEWARP): 웹 에이전트를 과거로 보내 시험하다

이 논문은 **"오늘날 우리가 만든 인공지능 (웹 에이전트) 이 내일의 인터넷에서도 잘 작동할까?"**라는 중요한 질문에서 시작합니다.

지금까지의 연구들은 대부분 인터넷이 변하지 않는다고 가정하고 에이전트를 훈련시켰습니다. 하지만 현실의 인터넷은 매일 디자인이 바뀌고, 버튼이 이동하고, 기능이 추가되거나 사라지는 살아있는 생명체와 같습니다.

이 논문은 이 문제를 해결하기 위해 **'타임워프 (TIMEWARP)'**라는 새로운 실험실과 **'타임트랙 (TIMETRAJ)'**이라는 새로운 훈련 방법을 소개합니다.

---

1. 문제: "과거의 지도로 미래를 헤매다"

비유: 1990 년대 지도로 2025 년 서울을 운전하는 것
상상해 보세요. 1990 년대에 만든 지도를 들고 2025 년의 서울을 운전한다고 칩시다.

• 그때는 '네이버'가 없었고, '카카오'도 없었습니다.
• 길은 다르고, 건물의 모양도 다르고, 신호등 위치도 달랐습니다.
• 1990 년대 지도만 보고 훈련된 운전사 (AI) 는 2025 년의 복잡한 도로에서 길을 잃거나, 신호등을 무시하고 사고를 낼 것입니다.

지금까지의 웹 에이전트 연구도 비슷했습니다. 에이전트를 **특정 버전의 웹사이트 (예: 2024 년 버전)**에서만 훈련시켰습니다. 그래서 그 버전에서는 천재처럼 작동했지만, 웹사이트 디자인이 조금만 바뀌어도 (버전 2025 로 업데이트되면) 완전히 멍청해져서 아무것도 못 하는 경우가 많았습니다.

2. 해결책 1: 타임워프 (TIMEWARP) - "시간 여행 실험실"

연구진은 에이전트의 능력을 진짜로 테스트하기 위해 시간을 거슬러 올라가는 실험실을 만들었습니다.

• 세 가지 세계: 위키백과 (Wiki), 뉴스 (News), 쇼핑몰 (Shop) 세 가지 환경을 만들었습니다.
• 6 개의 시대: 각 환경마다 인터넷의 역사적 흐름을 따라 **6 가지 버전 (v1~v6)**을 구현했습니다.
  • 과거 (v1, v2): 디자인이 투박하고, 검색창이 페이지 맨 아래에 있거나, 메뉴가 없는 등 구식 인터페이스.
  • 현대 (v5, v6): 화려한 아이콘, 팝업 광고, 드롭다운 추천 등 복잡한 현대적 인터페이스.
• 미션: 에이전트에게 "과거의 구식 웹사이트에서 정보를 찾아라" 혹은 "미래의 복잡한 웹사이트에서 물건을 사라"는 과제를 줍니다.

이 실험을 통해 연구진은 **"대부분의 AI 는 디자인이 조금만 바뀌어도 완전히 무너진다"**는 사실을 발견했습니다. 특히 시각적 (이미지) 으로만 보는 AI 는 구식 디자인을 전혀 이해하지 못했습니다.

3. 해결책 2: 타임트랙 (TIMETRAJ) - "한 번의 지도로 모든 길을 가르치다"

그렇다면 어떻게 에이전트를 모든 시대에 적응하게 만들까요? 연구진은 효율적인 훈련 방법을 고안했습니다.

비유: "스승이 모든 시대의 길을 먼저 걷고, 제자가 그 발자국을 따라가는 것"

1. 스승 (Teacher) 의 계획: 먼저 인간 전문가와 강력한 AI 가 협력하여, 하나의 목표에 대한 **고수준의 실행 계획 (Plan)**을 세웁니다.

   • 예: "쿠키를 사려면 1. 검색창을 찾아라, 2. 쿠키를 입력해라, 3. 결제 버튼을 누르라."
   • 이 계획은 특정 디자인에 의존하지 않는 핵심 로직입니다.

2. 스승의 여행 (Rollouts): 이 계획을 바탕으로, 강력한 '스승 AI'가 모든 6 가지 버전의 웹사이트를 직접 돌아다니며 성공적인 길 (궤적) 을 만들어냅니다.

   • 과거 버전에서는 "검색창이 아래에 있으니 스크롤을 내려라"라고 배우고,
   • 미래 버전에서는 "검색 아이콘을 먼저 클릭하라"라고 배우는 것입니다.

3. 제자 (Student) 의 학습: 이렇게 수집된 다양한 시대의 성공 기록을 바탕으로, 우리가 훈련하려는 '제자 AI'를 가르칩니다.

   • 단순히 "무엇을 클릭하라"는 행동만 가르치는 게 아니라, **"왜 그 버튼을 클릭했는지 (생각)", "앞으로 무엇을 할지 (계획)", "무엇을 기억해야 하는지 (기억)"**까지 모두 가르칩니다.

4. 결과: "강철 같은 적응력"

이 방법을 적용한 결과, 놀라운 변화가 일어났습니다.

• 기존 방식 (단일 버전 훈련): 0% 에서 20% 정도의 성공률. 디자인이 바뀌면 완전히 망함.
• 새로운 방식 (타임워프 훈련):
  • Qwen-3 4B 모델: 성공률이 **20.4% → 37.7%**로 크게 향상.
  • Llama-3.1 8B 모델: 성공률이 **0% → 27.0%**로, 아예 못 하던 것이 제대로 작동하는 수준으로 변함.

이 방법은 에이전트가 웹사이트가 어떻게 변하든 상관없이 핵심 목표를 달성할 수 있도록 '강철 같은 적응력'을 길러줍니다.

5. 결론: 왜 이것이 중요한가?

이 연구는 AI 개발자들에게 중요한 교훈을 줍니다.

• 단순한 훈련은 부족하다: 인터넷은 매일 변합니다. 오늘 완벽하게 작동하는 AI 는 내일 쓸모없어질 수 있습니다.
• 계획의 중요성: 단순히 행동만 복사하는 게 아니라, **왜 그 행동을 했는지 (생각과 계획)**를 함께 가르쳐야 합니다.
• 미래 지향적: 한 번 인간이 만든 '핵심 계획'을 바탕으로 AI 가 자동으로 다양한 시대의 데이터를 수집하고 학습하게 함으로써, 미래의 변화에도 끄떡없는 AI를 만들 수 있는 길을 열었습니다.

한 줄 요약:

"인터넷은 매일 변하는 거대한 바다인데, 우리는 과거의 지도만 들고 배를 띄우고 있었습니다. 이 연구는 **'시간을 거슬러 모든 파도를 경험하게 하는 훈련'**을 통해, 어떤 바다에서도 항해할 수 있는 진정한 선장 (AI) 을 만드는 법을 알려줍니다."

기술 요약

1. 문제 정의 (Problem)

현재 웹 에이전트 (Web Agents) 는 기존 벤치마크에서 성능이 급격히 향상되고 있지만, **웹의 동적인 변화 (UI, 레이아웃, 디자인의 진화) 에 대한 강건성 (Robustness)**이 검증되지 않았습니다.

• 현황: 웹은 사용자 선호도와 기술 발전에 따라 끊임없이 변합니다. 그러나 기존 벤치마크는 정적인 시뮬레이션 환경이거나 통제 불가능한 실시간 웹 (Live Web) 에 의존하여, 에이전트가 시간이 지남에 따라 변하는 웹 환경에서 어떻게 일반화되는지 평가하기 어렵습니다.
• 핵심 질문: "오늘 훈련된 웹 에이전트가 내일의 웹에서도 동일하게 작동할까요?"
• 한계: 단일 버전의 웹 데이터로 훈련된 에이전트는 해당 버전에서는 잘 작동하지만, 디자인이나 구조가 다른 다른 버전의 웹에서는 성능이 급격히 저하되는 경향이 있습니다. 또한, 기존 행동 모방 (Behavior Cloning, BC) 학습은 복잡한 계획 (Planning) 및 기억 (Memory) 능력을 잃어버리게 하는 경우가 많습니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 TIMEWARP 벤치마크와 TIMETRAJ 알고리즘, 그리고 TIMEWARP-BC 학습 방법을 제안했습니다.

A. TIMEWARP 벤치마크

• 개념: 웹의 진화를 시뮬레이션하기 위해 3 개의 웹 환경 (Wiki, News, Shop) 을 구축하고, 각 환경마다 인터넷의 서로 다른 시대 (1990 년대 초부터 2025 년까지) 를 반영한 6 가지 UI 버전을 제공합니다.
• 구성:
  • Wiki: 위키백과 스타일 (2001 년~2025 년 버전).
  • News: BBC 뉴스 스타일 (1998 년~2025 년 버전).
  • Shop: 전자상거래 스타일 (아마존 1999 년~2025 년, Temu 2025 년 등).
  • 태스크: 각 버전마다 복잡한 탐색, 정보 검색, 주문 등 231 개의 목표를 가진 1,386 개의 태스크 (231 목표 × 6 버전) 로 구성됩니다.
• 특징: Docker 기반의 무거운 환경 대신 경량화된 Flask 백엔드와 모듈식 프론트엔드를 사용하여 여러 버전을 효율적으로 관리하며, BrowserGym 생태계와 통합되었습니다.

B. TIMETRAJ (Trajectory Collection Algorithm)

단일 버전이 아닌 여러 버전의 웹 환경에서 효율적으로 학습 데이터를 수집하기 위한 알고리즘입니다.

1. Human-in-the-Loop Plan Distillation: 인간이 하나의 버전 (예: 최신 버전) 에서 태스크 목표를 바탕으로 **고수준의 실행 계획 (Execution Plan)**을 작성하고 정제합니다. 이 계획은 버전과 무관하게 설계됩니다.
2. Teacher Rollouts: 정제된 고수준 계획을 '교사 에이전트 (Teacher Agent)'에게 전달하여, 모든 6 가지 버전의 환경에서 자동으로 실행 (Rollout) 하고 성공적인 궤적 (Trajectory) 을 수집합니다.
3. 효과: 인간이 모든 버전의 궤적을 일일이 수집할 필요 없이, 한 번의 계획 정제로 여러 버전의 데이터를 확장 가능하게 (Scalable) 수집할 수 있습니다.

C. TIMEWARP-BC (Training Method)

기존 행동 모방 (BC) 의 한계를 극복하기 위해 제안된 학습 방법입니다.

• 전체 응답 학습: 기존 BC 가 '액션 토큰'만 학습했다면, TIMEWARP-BC 는 교사 에이전트의 **전체 응답 (Action, Thinking, Planning, Memory 토큰 포함)**을 학습합니다.
• 목적: 에이전트가 복잡한 웹 태스크를 수행하기 위해 필요한 추론, 계획 수립, 정보 기억 능력을 함께 학습하여, 다양한 웹 버전에서 강건한 에이전트를 만듭니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 (TIMEWARP): 웹의 시간적 변화를 시뮬레이션하는 최초의 벤치마크로, 에이전트의 성능이 웹 디자인 진화에 따라 어떻게 변하는지 평가할 수 있는 환경을 제공합니다.
2. 실증적 발견: 현대 웹 에이전트 (특히 시각적 입력을 사용하는 VLM) 가 단일 버전 웹에 훈련될 경우, 다른 버전으로의 일반화가 매우 취약하다는 것을 밝혔습니다.
3. 확장 가능한 데이터 수집 (TIMETRAJ): 인간이 고수준 계획을 한 번만 작성하면, 자동으로 여러 버전의 웹에서 학습용 궤적을 수집할 수 있는 효율적인 방법을 제시했습니다.
4. 강건한 학습 방법 (TIMEWARP-BC): 계획 (Planning), 기억 (Memory), 사고 (Thinking) 토큰을 포함한 전체 응답을 학습함으로써 에이전트의 성능과 일반화 능력을 획기적으로 향상시켰습니다.

4. 실험 결과 (Results)

저자들은 오픈소스 모델 (Qwen-3 4B, Llama-3.1 8B 등) 을 사용하여 실험을 수행했습니다.

• 성능 향상:
  • Qwen-3 4B: 기존 BC 대비 TIMEWARP-BC 적용 시 성공률 (Success Rate) 이 **20.4% → 37.7%**로 크게 향상되었습니다.
  • Llama-3.1 8B: 기존 BC 에서는 거의 작동하지 않던 (0%) 모델이 TIMEWARP-BC 를 통해 **27.0%**의 성공률을 달성하여 실용적인 에이전트로 변모했습니다.
• 일반화 능력:
  • 단일 버전 (예: 최신 버전 v6) 만으로 훈련된 모델은 다른 버전 (예: 구형 버전 v1) 에서 성능이 급격히 떨어졌습니다.
  • 반면, TIMEWARP-BC 로 훈련된 모델은 훈련에 사용되지 않은 '홀드아웃 (held-out)' 버전에서도 높은 성능을 유지하며 강건성을 입증했습니다.
• 토큰 분석: 사고 (Thinking), 계획 (Planning), 기억 (Memory) 토큰을 함께 학습할 때 성능이 가장 우수했으며, 시각적 입력 (Screenshot) 보다는 텍스트 기반 입력 (HTML/AXTree) 에서 더 안정적인 성능을 보였습니다.
• 오류 분석: 에이전트들은 종종 올바른 추론을 하고도 잘못된 액션을 실행하는 '액션 - 비액션 토큰 불일치 (Action Misalignment)' 현상이 발생했으며, 이는 훈련을 통해 완화되었습니다.

5. 의의 및 결론 (Significance)

• 웹 에이전트의 미래: 웹은 끊임없이 변하므로, 에이전트 연구는 단순히 현재 웹에서의 성능이 아닌 시간에 따른 변화 (Temporal Shift) 에 대한 적응력을 평가해야 함을 강조합니다.
• 학습 패러다임의 전환: 매번 웹이 바뀔 때마다 인간이 새로운 궤적을 수집하는 대신, 고수준의 계획 (Plan) 을 한 번만 수집하고 이를 기반으로 다양한 버전의 데이터를 자동으로 생성하는 새로운 패러다임을 제시했습니다.
• 지속 가능성: 이 연구는 웹 에이전트가 미래의 웹 환경에서도 신뢰할 수 있도록 하는 '강건성 (Robustness)'을 확보하는 데 필수적인 도구와 방법론을 제공하며, 지속적인 학습 (Continual Learning) 연구의 새로운 방향을 제시합니다.

요약하자면, TIMEWARP는 웹 에이전트가 과거부터 미래까지 변하는 웹 환경에서도 견고하게 작동할 수 있도록 하는 평가 기준과 학습 프레임워크를 제시하여, 웹 에이전트 연구의 중요한 전환점이 되는 작업입니다.