기술 요약: 스킬 증류를 이용한 브라우저 기반 확장 가능한 행동 복제(Behaviour Cloning)

1. 문제 정의

본 논문은 현대적인 웹 에이전트의 핵심적인 병목 현상을 식별한다. 현대적 모델들은 저수준 브라우저 작업(DOM 파싱, 클릭 및 키 입력 실행 등)은 대체로 해결했으나, 불완전한 정보 하에서의 의사결정으로 인해 실제 웹사이트에서는 여전히 비효율적이다. 에이전트는 현재 페이지 상태만을 관찰할 뿐, 사이트 구조에 대한 전역적 지식, 신뢰할 수 있는 진입점, 경로 비용 및 완료 신호가 결여되어 있다. 결과적으로 유능한 에이전트들조차 비용이 많이 드는 시행착오 방식의 탐색에 의존하게 된다.

저자들은 필요한 의사결정 사전 지식(decision priors)이 인간의 행동 속에 풍부하게 존재하지만, 현재는 충분히 활용되지 못하고 있다고 주장한다. 가공되지 않은 인간의 브라우징 궤적(traces)은 직접적인 감독을 위한 단위로서 부적절하다. 왜냐하면 이 데이터는 길고, 노이즈가 많으며, 중복적이고, 변동성이 큰 페이지 상태(예: 특정 좌표, 일시적인 DOM ID, 로그인 상태)와 밀접하게 결합되어 있기 때문이다. 이러한 저수준 동작들을 직접 복제하는 것은 낯선 페이지로 전이되지 못하는 취약하고 페이지 특화적인 동작을 초래한다. 따라서 핵심 문제는 어떻게 방대한 양의 노이즈 섞인 인간 상호작용 로그를 에이전트가 미지의 웹사이트에 적용할 수 있는 재사용 가능하고 전이 가능한 절차적 지식으로 변환할 것인가 하는 점이다.

2. 방법론: BrowserBC

저자들은 BrowserBC를 제안한다. 이는 스킬 증류(skill distillation)를 통해 브라우저 상호작용 궤적을 검색 가능하고, 구성 가능하며, 실행 가능한 자연어 스킬 라이브러리로 변환하는 확장 가능한 프레임워크이다. 이 프레임워크는 네 가지 별도의 단계로 작동한다.

3.1 행동 증거 추상화 (Behavioral Evidence Abstraction)

먼저 원시 궤적($\tau$)을 정제하고 의미론적으로 분절한다. 시스템은 기여도가 없는 상호작용(오클릭, 유휴 대기)과 변동성이 큰 아티팩트(좌표, 특정 셀렉터)를 필터링한다. 남은 데이터는 다음을 포착하는 구조화된 **증거 단위(evidence units, $u$)**로 변환된다:

• 태스크 지시사항 ($x$).
• 세그먼트 전후의 컨텍스트 요약 ($c_{pre}, c_{post}$).
• 시연된 행동의 요약 ($b$).
• 관찰된 피드백 ($f$) 및 결과 ($y$).
  이 단계는 데이터를 페이지 특화된 동작 궤적에서 일반화 가능한 절차적 증거로 격상시킨다.

3.2 절차적 스킬 증류 (Procedural Skill Distillation)

증거 단위는 **구조화된 자연어 스킬 카드($\hat{s}$)**로 증류된다. 스킬은 단순한 재생 스크립트가 아니라, 다음과 같은 특정 필드를 포함하는 전이 가능한 절차로 정의된다:

• 의도(Intent): 스킬이 달성하고자 하는 것.
• 적용 가능성(Applicability): 언제, 어디에 적용되는지 (전제 조건).
• 실행 단계(Execution Steps): 일반화된 절차 (예: "좌표 X, Y를 클릭하라" 대신 "의미론적 레이블로 필드를 식 पहचान하라").
• 진행 마일스톤 및 종료(Progress Milestones & Termination): 진행 상황을 어떻게 검증하고 언제 멈출 것인가.
• 실패 복구(Failure Recovery): 일반적인 오류를 처리하기 위한 전략.
• 부정적 제약 사항(Negative Constraints): 하지 말아야 할 행동.

결정적으로, 증류 과정은 스킬이 모델 불가지론적(model-agnostic)이고 전이 가능하도록 세션 특유의 세부 사항(좌표, 로그인 상태 등)을 명시적으로 제거한다.

3.3 스킬 라이브러리 구축 (스킬 그래프)

무제한적인 축적과 중복을 방지하기 위해, 시스템은 스킬을 **스킬 그래프($G$)**로 조직한다. 새로운 스킬이 생성될 때, 시스템은 다음 중 하나를 결정한다:

• 새로운 항목으로 추가.
• 기존의 호환 가능한 스키과 병합.
• 일반적인 스킬의 전문화(specialization)로 등록.
  그래프의 엣지(edge)는 시간적 의존성, 전문화, 대안적 절차 또는 불호환성과 같은 관계를 인코딩한다. 이를 통해 라이브러리는 단순한 축적이 아닌 **통합(consolidation)**을 통해 성장하며, 검색과 업데이트를 국소화된 상태로 유지한다.

3.4 스킬 조건부 실행 (Skill-Conditioned Execution)

추론 시에는 경량 리트리버(retriever)가 현재 태스크와 브라우저 컨텍스트를 기반으로 관련성이 높은 소수의 스킬 집합($R_t$)을 선택한다. 이 스킬들은 자연어 가이드로서 에이전트의 컨텍스트에 삽입된다. 그 후 에이전트는 이 고수준 지침을 실제 페이지상의 실행 가능한 동작으로 구체화(grounding)한다. 스킬은 에이전트의 의사결정에 편향을 주는 교정된 사전 지식(calibrated priors) 역할을 하지만, 현재 상태에 적응하는 에이전트의 능력을 무력화하지는 않는다.

3. 주요 기여

1. 병목 현상의 재정의: 본 논문은 웹 에이전트의 비효율성을 불완전한 정보 하에서의 의사결정 문제로 재정의하며, 인간의 궤적을 클릭이나 전체 궤적이 아닌 전이 가능한 자연어 스킬이라는 재사용 가능한 단위로서 대규모 의사결정 데이터의 원천으로 식별한다.
2. BrowserBC 프레임워크: 궤적을 구조화된 스킬 카드로 증류하고, 이를 스킬 그래프로 통합하며, 스킬의 출처(provenance)와 실행을 분리하는 확장 가능한 시스템을 제공한다. 이를 통해 한 번 기록된 경험(유능한 모델이나 인간에 의해)이 더 작고 저렴한 모델에서도 재사용될 수 있게 한다.
3. 포괄적인 평가: 저자들은 WebArena-Hard, ClawBench, 그리고 OSWorld 스타일의 데스크톱 태스크라는 세 가지 벤치마크를 통해 성공률, 상호작용 효율성, 실패 복구 능력, 그리고 교차 서브스트레이트(cross-substrate) 일반화 성능을 측정하여 BrowserBC를 평가한다.

4. 실험 결과

프레임워크는 세 가지 벤치마크에서 평가되었다:

• WebArena-Hard (제어된 환경): BrowserBC는 전체 태스크 성공률을 60.5%에서 81.4%로 (+20.9 포인트) 개선했다. 이 이득은 절차적 불확실성이 높은 멀티 사이트 및 쇼핑 태스크에서 가장 두드러졌다 (+31.2% 및 +28.6%). 상호작용 단계는 평균 27.3% 감소했다.
• ClawBench (라이브 프로덕션): 레이아웃 변동성이 큰 실제 웹사이트에서 베이스라인은 태스크의 32.9%를 해결한 반면, BrowserBC는 68.4%를 해결했다 (+35.5 포인트). 동적이고 미포화된 환경에서의 이러한 상당한 이득은 스킬이 암기된 페이지 상태가 아닌 전이 가능한 절차적 지식을 인코딩하고 있음을 입증한다.
• OSWorld (교차 서브스트레이트): 데스크톱 태스크에 대한 진단 연구에서, 스킬은 누락된 태스크 스키마와 종단적 증거(terminal evidence)를 제공함으로써 에이전트가 기존에 해결할 수 없었던 6개의 추가 케이스를 해결할 수 있게 했다.

증류와 실행의 분리:
실험 결과, 강력한 모델(Claude-Sonnet-4.6)에 의해 증류된 스킬이 약한 실행 에이전트의 성능을 크게 향상시킨다는 것을 보여주었다. Sonnet으로 증류된 스킬을 갖춘 작은 에이전트는 **77%**의 성공률을 달성하여, 대형 에이전트 자체가 달성한 **80%**에 근접했다. 이는 "한 번 증류하여 저렴하게 재사용한다"는 전제를 검증한다.

5. 의의 및 주장

본 논문은 브라우저 에이전트의 확장성이 개별 에이전트 모델을 키우거나 수동으로 설계된 태스크에 달려 있기보다, 인터넷 사용자들이 이미 표현하고 있는 집단적 스킬을 활용하는 것에 달려 있다고 주장한다.

가공되지 않은 노이즈 섞인 궤적을 감사 가능한 자연어 스킬 카드로 변환함으로써, BrowserBC는 서로 다른 에이전트와 환경 간에 경험을 축적하고 재사용할 수 있는 경로를 제시한다. 저자들은 자신들의 접근 방식이 환경이나 보상(reward)의 개선과는 별개(orthogonal)임을 강조한다. 대신, 기존의 인간 상호작용 데이터를 확장 가능한 감독 신호로 취급한다. 이 연구는 복잡하고 장기적인 웹 태스크를 해결하는 데 있어 저수준의 접지(grounding) 능력보다 절차적 사전 지식(무엇을 해야 하고 어떻게 검증할 것인가를 아는 것)이 더 가치 있다는 점을 시사한다.

논문은 스킬이 성공률과 효율성을 높이지만, 완벽한 저수준 실행이나 최단 경로 정책을 대체할 수는 없으며, 그 이득은 실행의 신뢰성과 검색의 정확성에 의해 제한된다는 점을 언급하며 겸허하게 결론을 맺는다.