🤖 AI

Online Skill Learning for Web Agents via State-Grounded Dynamic Retrieval

이 논문은 스킬을 작업 목표와 현재 웹페이지 상태 모두에 동적으로 매칭하는 메커니즘을 통해 단계별 스킬 재사용을 가능하게 함으로써 웹 에이전트를 향상시키는 온라인 스킬 학습 방법인 상태 기반 동적 검색(State-Grounded Dynamic Retrieval, SGDR)을 제안하며, 이를 통해 WebArena 벤치마크에서 정적 검색 베이스라인보다 우수한 성능을 보여준다.

원저자: Jiaxi Li, Ke Deng, Yun Wang, Jingyuan Huang, Yucheng Shi, Qiaoyu Tan, Jin Lu, Ninghao Liu

게시일 2026-06-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaxi Li, Ke Deng, Yun Wang, Jingyuan Huang, Yucheng Shi, Qiaoyu Tan, Jin Lu, Ninghao Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 비행기를 예약하거나, 양식을 작성하거나, 포럼에서 특정 게시물을 찾는 것과 같은 인터넷 탐색 작업을 가르치고 있다고 상상해 보십시오. 이 로봇은 "웹 에이전트(web agent)"입니다.

문제는 인터넷이 매우 무질서하고 끊임없이 변한다는 점입니다. 로봇이 작업을 시작하는 방법은 알고 있을지 모르지만, 버튼을 클릭하여 새로운 페이지에 도착하고 나면 기존의 지침이 더 이상 유효하지 않을 수 있습니다.

이 논문은 이러한 로봇을 가르치는 새로운 방법인 SGDR(State-Grounded Dynamic Retrieval, 상태 기반 동적 검색)을 소개합니다. 그 작동 원리를 쉽게 설명하면 다음과 같습니다.

문제점: "한 번이면 끝나는(One-and-Done)" 지침

전통적인 방식은 마치 여정을 시작할 때 로봇에게 단 하나의 정적인 지도를 주는 것과 같습니다.

기존 방식: 당신이 로봇에게 "가게에 가서 우유를 사 와"라고 말합니다. 로봇은 그 문장을 바탕으로 기억 속에서 "쇼핑 기술"을 하나 골라내고, 끝날 때까지 그 기술에만 매달립니다.
결함: 만약 로봇이 가게에 들어갔는데 매장 배치가 바뀌었거나, 유제품 코너에서 길을 잃었다면, 그 원래의 지도는 아무런 도움이 되지 않습니다. 로봇은 현재 자신이 어디에 있는지를 바탕으로 전략을 업데이트할 수 없기 때문에 갇혀버리게 됩니다. 이는 10년 전 지도를 들고 갓 지어진 새 건물 안에서 길을 찾으려는 것과 같습니다.

해결책: "스마트 GPS" 접근 방식

저자들은 SGDR을 제안하는데, 이는 당신의 현재 위치와 교통 상황에 따라 몇 초마다 경로를 업데이트하는 스마트 GPS처럼 작동합니다.

SGDR이 사용하는 세 가지 주요 기술은 다음과 같습니다.

1. 작업을 "챕터"로 나누기 (Sliding-Window Extraction)

성공적인 여정을 하나의 거대하고 경직된 이야기로 저장하는 대신, SGDR은 이를 작고 재사용 가능한 챕터로 나눕니다.

비유: 케이크를 굽는 법을 배우고 있다고 상상해 보세요. 전체 레시피를 하나의 거대한 텍스트 덩어리로 암기하는 대신, "계란 깨기", "밀가루 섞기", "다 익었는지 확인하기"와 같은 구체적인 "동작"들을 배우는 것입니다.
작동 원리: 로봇이 작업을 성공적으로 마쳤을 때, 로봇은 자신이 수행한 일을 되돌아보고 이를 작은 단위의 재사용 가능한 "동작(sub-procedures)"들로 쪼갭니다. 이를 통해 로봇은 나중에 다른 베이킹 작업 중이라 하더라도 "계란 깨기" 동작만을 딱 집어서 가져올 수 있습니다.

2. "이중 언어" 기술 카드 (Text-Code Representation)

로봇이 학습한 모든 "동작"은 두 부분으로 구성된 카드로 저장됩니다.

파트 A (설명): 평이한 영어 문장 (예: "로그인 버튼을 클릭하세요"). 이는 로봇이 적절한 카드를 찾는 데 도움을 줍니다.
파트 B (코드): 실제 동작을 수행하기 위한 컴퓨터 명령어입니다.
중요한 이유: 이를 통해 로봇은 단순히 무엇을 할지 읽는 것에 그치지 않고, 즉시 실행할 수 있는 실제 도구를 갖게 됩니다.

3. "맥락 인식" 검색 (State-Grounded Dynamic Retrieval)

이것이 가장 중요한 부분입니다. 매 단계를 밟을 때마다 로봇은 단순히 "내 목표가 무엇인가?"라고 묻지 않습니다. 대신 "나는 지금 어디에 있는가?"라고도 묻습니다.

기존 방식: "우유를 사야 해." -> "가게로 가기" 기술을 검색함. (여기서 멈춤).
SGDR 방식:
- 1단계: "우유를 사야 해." -> "가게로 가기" 기술을 검색함.
- 2단계: (로봇이 가게에 도착함). "나는 지금 입구에 있고, 문이 잠겨 있다." -> "문 열기" 기술을 검색함.
- 3단계: (로봇이 내부로 들어옴). "나는 유제품 코너에 있다." -> "우유 집기" 기술을 검색함.

로봇은 단순히 원래의 목표가 아니라, 현재 보고 있는 웹페이지의 상태를 바탕으로 자신의 "기술 라이브러리"를 끊임없이 재평가합니다.

결과: 효과가 있는가?

연구진은 쇼핑 사이트, 관리 패널, 포럼 등이 포함된 WebArena라는 현실적인 웹 시뮬레이션에서 이를 테스트했습니다.

더 높은 성공률: SGDR을 사용한 로봇은 기존의 "정적 지도" 방식보다 훨씬 더 많은 과제를 해결했습니다.
- 강력한 AI 모델(GPT-4.1)을 사용했을 때, 성공률이 기존 최선 방식보다 약 10% 상승했습니다.
- 더 작고 효율적인 모델을 사용했을 때도 **10%**의 개선을 보였습니다.
빠른 실행: 로봇은 성공률만 높인 것이 아니라, 목표에 도달하는 데 걸리는 단계(steps)도 줄였습니다. 적절한 "동작"을 즉시 가져올 수 있었기에, 엉뚱한 행동을 하며 시간을 낭비하지 않았습니다.

요약하자면

이 논문은 로봇이 웹을 정복하기 위해서는 단순히 시작 단계에서 세운 계획에만 의존해서는 안 된다고 주장합니다. 로봇은 현재 상황을 살펴보고, 그 순간에 딱 맞는 특정 "동작"을 찾아내어 실행할 수 있어야 합니다. SGDR은 로봇이 바로 그렇게 할 수 있도록 하여, 경직된 일회성 계획을 여정이 진행됨에 따라 적응하는 유연한 단계별 가이드로 바꿔주는 시스템입니다.

기술 요약: 상태 기반 동적 검색을 통한 웹 에이전트의 온라인 스킬 학습

문제 정의

언어 에이전트는 다단계 웹 자동화 작업(예: 정보 탐색, 양식 작성)을 위해 점점 더 많이 활용되고 있습니다. 기존 연구들은 과거의 작업 궤적(trajectory)으로부터 재사용 가능한 절차적 지식을 유도하여 미래의 성능을 개선하는 **온라인 스킬 학습(online skill learning)**을 탐구해 왔으나, 현재의 방법론에는 결정적인 한계가 존재합니다.

기존의 온라인 스킬 학습 방식은 주로 **작업 수준(task level)**에서 작동합니다. 즉, 실행 시작 시점에 초기 작업 지침만을 기반으로 고정된 스킬 세트를 검색하고, 전체 과정 동안 이 세트를 일정하게 유지합니다. 이러한 정적 전략은 상호작용적인 웹 실행의 본질과 일치하지 않습니다. 웹 실행에서는 다음 동작이 전역적인 작업 목표뿐만 아니라 **현재의 웹페이지 상태(current webpage state)**에도 의존하기 때문입니다. 에이전트가 탐색함에 따라 웹페이지 상태는 전이되며, 이로 인해 처음에 선택된 스킬이 부적절해지거나 새롭게 발생하는 상황을 커버하지 못하는 경우가 빈번합니다. 또한, 기존 방식은 스킬의 입도(granularity) 문제에 어려움을 겪습니다. 전체 궤적 기반의 스킬은 너무 구체적이어서 중간 상태에 적용하기 어렵고, 단일 동작 기반의 스킬은 의미 있는 절차적 추상화를 제공하지 못합니다.

본 논문이 다루는 핵심 과제는 다음과 같습니다: 온라인 에이전트가 어떻게 진화하는 작업 목표와 현재의 웹페이지 상태 모두에 조건화되어, 각 결정 단계마다 적절한 재사용 가능 스킬을 동적으로 검색할 수 있는가?

방법론: 상태 기반 동적 검색 (State-Grounded Dynamic Retrieval, SGDR)

저자들은 정적인 작업 수준의 스킬 재사용을 적응형 단계별 검색으로 대체하기 위해 설계된 온라인 스킬 학습 프레임워크인 **상태 기반 동적 검색(SGDR)**을 제안합니다. 이 방법은 에이전트가 실행 중에 정답(ground-truth) 성공 신호에 접근할 수 없는 순차적 작업 스트림 환경 내에서 작동하며, 실시간으로 스킬 라이브러리를 업데이트합니다.

SGDR은 세 가지 핵심 구성 요소로 이루어집니다:

1. 슬라이딩 윈도우 스킬 추출 (Sliding-Window Skill Extraction)

입도 문제를 해결하기 위해, SGDR은 전체 작업 궤적을 단일 스킬로 저장하지 않습니다. 대신, 작업이 완료되고 평가 모델에 의해 성공으로 판정된 후, 시스템은 궤적에 슬라이딩 윈도우 추출 프로세스를 적용합니다.

프로세스: 궤적을 다양한 길이의 로컬 하위 절차(윈도우)로 분할합니다.
검증: 각 후보 세그먼트를 스킬로 변환한 후, 원래 궤적의 해당 동작들을 스킬 호출로 교체하여 검증합니다. 궤적의 성공을 유지하는 스킬만이 라이브러리에 추가됩니다.
결과: 이를 통해 (전체 작업 컨텍스트가 아닌) 중간 단계의 웹페이지 상태에 적용 가능한 압축된 재사용 가능 하위 절차(예: "짧은 양식 채우기", "필터 적용하기")를 생성합니다.

2. 이중 텍스트-코드 표현 (Dual Text–Code Representation)

각 유도된 스킬 $s_k$ 는 $(d_k, c_k)$ 쌍으로 표현됩니다:

설명 ( $d_k$ ): 검색을 위해 사용되는 자연어 요약입니다.
코드 ( $c_k$ ): 동작 실행을 위해 사용되는 실행 가능한 함수입니다.
이 이중 표현은 스킬이 의미론적으로 검색 가능할 뿐만 아니라 브라우저 환경 내에서 기능적으로 실행 가능하도록 보장합니다.

3. 상태 기반 동적 검색 (State-Grounded Dynamic Retrieval)

시작 시점에 한 번만 스킬을 검색하는 정적 방식과 달리, SGDR은 현재 상태를 기반으로 매 결정 단계(step) $t$ 마다 스킬을 검색합니다.

쿼리 구성: 검색 쿼리는 원래의 작업 지침 $g$ 와 (접근성 트리로부터 도출된) 현재 웹페이지 상태의 압축된 요약 $r_t$ 를 결합합니다.
관련성 점수 산출: 스킬 설명과 결합된 쿼리 사이의 가중치 코사인 유사도를 사용하여 관련성 점수를 계산합니다:
$score_t(s_k) = \alpha \cos(\phi(g), \phi(d_k)) + (1-\alpha) \cos(\phi(r_t), \phi(d_k))$
여기서 $\alpha$ 는 작업 목표와 현재 상태의 중요도 균형을 조절합니다.
MMR 재순위화: 중복을 방지하기 위해(슬라이딩 윈도우로 인해 겹치는 스킬이 생성될 수 있음), **최대 한계 관련성(Maximal Marginal-Relevance, MMR)**을 사용하여 상위 $M$ 개의 후보를 재순위화합니다. 이는 이미 선택된 스킬과의 유사성에 대해 페널티를 부여하면서 현재 쿼리에 대한 관련성을 극대화하여, 다양성 있는 실행 옵션을 확보합니다.
주입: 선택된 스킬는 현재 단계에 대해서만 주입되어, 실행이 진행됨에 따라 에이전트의 지원 내용이 적응할 수 있도록 합니다.

주요 기여

문제 정형화: 본 논문은 웹 에이전트에서의 작업 수준 일회성 스킬 재사용의 한계를 식별하고, 진화하는 웹 컨텍스트를 처리하기 위한 상태 기반 동적 검색의 필요성을 공식화했습니다.
방법론적 혁신: 단계별 스킬 재사용을 가능하게 하는 SGDR 프레임워크를 도입했습니다. 주요 혁신은 다음과 같습니다:
- 중간 입도의 스킬을 생성하기 위한 슬라이딩 윈도우 추출.
- 검색 의미론과 실행 가능한 동작을 연결하는 이중 텍스트-코드 표현.
- 작업 목표와 실시간 상태 관측치를 모두 조건으로 하는 동적 검색 메커니즘.
실증적 검증: 이 방법은 두 가지 백본 모델(GPT-4.1 및 QWEN3-4B)을 사용하여 WebArena 벤치마크의 다섯 가지 도메인(Shopping, Admin, Reddit, Gitlab, Map)에서 평가되었습니다.

실험 결과

실험 결과, SGDR은 Vanilla(스킬 없음), Agent Workflow Memory (AWM), Agent Skill Induction (ASI), Contextual Experience Replay (CER)를 포함한 강력한 베이스라인 모델들을 일관되게 능가했습니다.

성공률:
- GPT-4.1의 경우, SGDR은 평균 **37.5%**의 성공률을 달성하여 가장 강력한 베이스라인인 CER(33.9%) 대비 10.6%의 상대적 향상을 보였습니다.
- QWEN3-4B의 경우, SGDR은 **24.3%**를 달성하여 CER(22.1%) 대비 10.0%의 상대적 향상을 보였습니다.
- Admin(47.7% vs. ASI 41.4%)과 Shopping 도메인에서 주목할 만한 성능 향상이 관찰되었습니다.
실행 효율성: SGDR은 작업을 완료하는 데 필요한 평균 단계 수를 줄였습니다. GPT-4.1 기준으로 CER(6.4단계)에 비해 평균 4.8단계를 사용하여, 고수준의 스킬 추상화가 여러 저수준 브라우저 상호작용을 효과적으로 대체함을 보여주었습니다.
절제 연구 (Ablation Studies):
- 검색 신호: 작업과 상태 정보를 결합했을 때( $\alpha=0.5$ ) 최적의 결과를 얻었으며, 이는 작업 전용 또는 상태 전용 검색보다 우수한 성능을 보였습니다.
- 재순위화: MMR 재순위화는 단순 Top- $M$ 관련성 검색보다 중복을 줄임으로써 성능을 유의미하게 개선했습니다.
- 입도: 슬라이딩 윈도우 추출은 전체 궤적 및 단일 동작 추출보다 우수한 성능을 보여, 중간 입도의 필요성을 입증했습니다.

의의 및 주장

본 논문은 SGDR이 정적인 작업 수준 재사용에서 적응형 상태 기반 재사용으로의 전환을 나타낸다고 주장합니다. 스킬 검색을 진화하는 웹 상태와 동적으로 정렬함으로써, 이 방법은 에이전트가 실제 상호작용 환경에서 축적된 절차적 지식을 더 잘 활용할 수 있게 합니다.

저자들은 이 연구를 보다 현실적인 웹 자동화로 나아가는 단계로 규정합니다. 여기서 에이전트는 순차적으로 도착하며 지속적인 적응을 요구하는 작업을 처리해야 합니다. 이 방법은 미리 구축된 오프라인 라이브러리에 의존하지 않고, "온 더 플라이(on the fly)"로 능력을 학습하고 개선하므로, 작업 분포가 변화하거나 진화할 수 있는 배포 시나리오에 적합합니다. 결과는 정적인 스킬 주입과 동적인 웹 상태 사이의 불일치를 해결하는 것이 복잡한 웹 환경에서 언어 에이전트의 성공률과 효율성을 개선하는 데 매우 중요하다는 것을 시사합니다.