기술 요약: PERSONATRAIL: 브라우징 궤적을 통한 개인화된 웹 에이전트의 벤치마킹

문제 정의

대규모 언어 모델(LLM)의 최근 발전은 웹 에이전트가 복잡한 탐색 작업을 자율적으로 수행할 수 있게 했습니다. 그러나 현재의 벤치마크는 지시어가 불충분한 현실적이고 사용자 중심적인 시나리오에서 에이전트를 평가하는 데 한계가 있습니다. 실제로 사용자는 에이전트가 완전하게 명시적인 프롬프트를 받는 대신, 가공되지 않은 브라우징 이력으로부터 누락된 맥락(예: 개인적 선호도 또는 과거 상호작용에 대한 참조)을 추론하기를 기대합니다. 기존 벤치마크는 작업을 명시적인 지시로 제한하거나, 상호작용 이력을 단순화된 형태(예: 거래 기록 또는 LLM으로 합성된 고수준 이벤트)로 추상화하거나, 혹은 사용자의 선호와 에피소드적 맥락이 실제로 내재되어 있는 미세하고 낮은 수준의 상호작용 궤적(클릭, 검색, 페이지 전환 등)을 포착하지 못합니다. 결과적으로, 관리된 오픈 웹 환경에서 에이전트의 선호도 추론(잠재적 습관 도출) 및 에피소드적 접지(특정 과거 세션 회상) 능력을 평가하기 위한 표준화된 프레임워크가 부족한 실정입니다.

방법론

1. PERSONATRAIL 벤치마크

저자들은 미세한 수준의 라이브 웹 브라우징 궤적을 사용하여 개인화된 웹 에이전트를 평가하도록 설계된 벤치마크인 PERSONATらTRAIL을 소개합니다. 이 벤치마크는 다음의 파이프라인을 통해 구축됩니다:

• 웹사이트 큐레이션: Tranco 리스트와 Similarweb에서 영어 콘텐츠와 접근성을 기준으로 필터링된 23개 도메인, 317개의 웹사이트를 선정했습니다.
• 사용자 프로필 및 할당: 200개의 다양한 사용자 페르소나(연령, 직업, 취미)를 생성하고, 이 프로필에 기반하여 관련 서브도메인과 특정 웹사이트를 할당했습니다.
• 쿼리 템플릿 발견: LLM 기반 에이전트가 할당된 웹사이트를 탐색하며 선호도 변수($V_p$)와 타겟 변수($V_t$)를 포함하는 매개변수화된 쿼리 템플릿을 발견합니다.
• 궤적 롤아웃(Trajectory Rollout): 에이전트는 라이브 웹사이트에서 쿼리를 실행하여 미세한 상호작용 로그(타임스탬프, URL, 요소, 동작)를 생성합니다. 선호도는 사이트 고유의 상호작용(예: 장르별 필터링)을 통해 표현되며, 이를 통해 여러 세션에 걸쳐 일관된 행동 패턴을 생성합니다.
• 태스크 정의: 벤치마크는 두 가지 상호 보완적인 태스크를 평가합니다:
  • 선호도 추론 (Preference Inference): 에이전트는 반복되는 패턴으로부터 잠재적 선호도(예: "내가 주로 보는 장르의 영화를 찾아줘")를 추론해야 합니다.
  • 에피소드적 접지 (Episodic Grounding): 에이전트는 시간적 또는 이벤트 기반 단서(예: "지난 화요일에 검색했던 레시피를 보여줘")에 의해 참조된 특정 과거 세션을 검색하고 다시 탐색해야 합니다.
• 유효성 유지: 웹사이트 변경에도 불구하고 태스크가 실행 가능한 상태를 유지하도록 자동 재현(automatic replay) 및 LLM 검증을 포함한 2단계 검증 파이프라인을 갖춘 관리된 오픈 웹 패러다임을 사용합니다.

2. PACMEM 프레임워크

에피소드 수준의 세부 사항과 잠재적 선호도를 버리는 기존의 메모리 기반 에이전트의 한계를 해결하기 위해, 저자들은 PACMEM(Preference-Aware Contextual Memory) 프레임을 제안합니다. 이 프레임 much는 가공되지 않은 브라우징 이력을 두 단계의 계층 구조로 구성합니다:

• 사실적 메모리 (Factual Memory): 과거 행동의 에피소드 기록을 포착합니다. 가공되지 않은 로그는 원자적이고 목표 지향적인 세그먼트로 분할된 후, 의미적 유사성에 따라 일관된 에피소드로 그룹화됩니다. 각 에피소드는 제목, 타임스탬프, URL 및 상호작용 시퀀스를 포함하는 메모리 엔트리로 구조화됩니다.
• 선호도 메모리 (Preference Memory): 반복되는 행동 패턴을 인코딩합니다. 사실적 메모리의 엔트리들은 유사성에 따라 클러스터링되며, LLM은 그 기저에 깔린 패턴(예: "항상 IMDb를 사용하여 영화를 찾음", "미스터리 장르를 선호함")에 대한 자연어 설명을 생성합니다.
• 검색 (Retrieval): 추론 시점에, 코스 투 파인(coarse-to-fine) 검색 파이프라인이 두 메모리 풀에서 태스크 관련 엔트리를 선택합니다. 초기 후보 선택을 위해 임베딩 기반 유사성을 사용한 후, 의미적 관련성, 시간적 정렬 및 유용성을 바탕으로 LLM 기반의 재순위화(reranking)를 수행합니다.

주요 기여

1. PERSONATRAIL 벤치마크: 미세한 수준의 라이브 웹 브라우징 궤적을 사용자 이력으로 사용하는 개인화된 웹 에이전트를 위한 새로운 벤치마크입니다. 이는 단일 홉(single-hop) 및 멀티 홉(multi-hop) 시나리오 모두에서 선호도 추론과 에피소드적 접지를 독자적으로 지원합니다.
2. PACMEM 프레임워크: 가공되지 않은 브라우저 수준의 이력을 구조화된 사실적 및 선호도 메모리로 변환하는 단순하면서도 효과적인 참조 방법을 제공합니다. 이 접근 방식은 에피소드 세부 사항과 선호도 신호를 모두 보존함으로써 개인화된 웹 내비게이션을 위한 강력한 베이스라인을 구축합니다.
3. 실증적 검증: 다양한 백본 모델(Claude Haiku 4.5, GPT-5.4-mini, Gemini-3-Flash, 그리고 Qwen3.6-27B, Llama-4-Scout와 같은 오픈 소스 모델 포함)을 사용하여 PERSONATRAIL에서 수행된 광범위한 실험을 통해 입증되었습니다.

실험 결과

다양한 백본 모델을 사용하여 PERSONATらTRAIL에서 실험이 진행되었습니다.

• 성능 격차: 검색 기능이 없는 베이스라인("No Retrieval")은 개인화 태스크에서 거의 0에 가까운 태스크 성공률(TSR)을 기록하여, 이력의 필요성을 강조했습니다. 강력한 백본 모델들은 검색 없이도 높은 의도 점수(Intent Score, IS)를 달しまいました, 하지만 개인적 제약 조건을 적용하는 데는 실패했습니다.
• PACMEM의 우수성: PACMEM은 모든 백본과 태스크 복잡도에 걸쳐 메모리 증강 베이스라인(AWM 및 ReasoningBank)보다 일관되게 우수한 성능을 보였습니다.
  • 선호도 추론에서, PACMEM은 Qwen3.6-27B의 단일 홉 쿼리에 대한 TSR을 53.61%로 향상시켜 ReasoningBank(46.45%)를 능가했습니다.
  • 에피소드적 접지에서, PACMEM은 39.03%의 TSR(Qwen3.6-27B, 멀티 홉)을 달성하여 AWM(17.84%)을 크게 앞질렀습니다.
• 어블레이션 연구 (Ablation Studies): 사실적 메모리나 선호도 메모리 중 하나라도 제거하면 성능이 저하되었습니다. 사실적 메모리는 에피소드적 접지에 결정적이었으며(제거 시 TSR 약 22-33% 하락), 선호도 메모리는 선호도 추론에 필수적이었습니다.
• 복잡도 분석: 사용자 이력의 양과 태스크 복잡도(단계 수)가 증가함에 따라 베이스라인의 성능은 급격히 저하되었습니다. PACMEM은 우위를 유지하였으며, 이는 구조화된 메모리 증류가 복잡한 상황에서도 효과적임을 시사합니다.
• 오류 분석: PACMEM의 주요 실패 모드는 "내비게이션 실패"(실패의 62-96%)였으며, 이는 에이전트가 올바른 메모리를 전달받았음에도 불구하고 내비게이션 과정에서 이를 적용하지 못했음을 의미합니다. 이는 메모리 검색 능력은 개선되고 있으나, 검색된 맥락을 바탕으로 복잡한 내비게이션을 실행하는 능력은 여전히 과제로 남아 있음을 나타냅니다.

의의 및 주장

본 논문은 PERSONATRAIL이 실제 환경에서 개별 사용자를 보조할 수 있는 웹 에이전트를 개발하기 위한 실질적인 토대를 제공한다고 주장합니다. 평가를 추상화된 요약이 아닌 미세한 브라우징 궤적에 근거함으로써, 이 벤치마크는 현재의 에이전트들이 정적인 해결 가능 태스크에서도 사용자의 선호도를 추론하고 적용하는 데 어려움을 겪고 있음을 드러냅니다.

PACMEM의 도입은 가공되지 않은 이력을 구조화된 메모리 표현(특히 에피소드 세부 사항과 일반화된 선호도를 분리하는 것)으로 변환하는 것이 효과적인 개인화를 위한 필수적인 단계임을 입증합니다. 저자들은 이 연구가 기능적인 태스크 자동화와 길고 노이즈가 많은 교차 세션 궤적으로부터 잠재적인 사용자 선호도를 추출하는 것 사이의 간극을 메운다고 주장합니다.

논문은 현재 벤치마크가 안정적인 선호도와 해결 가능한 태스크를 가정하고 있어, 선호도 변화(drift)나 응답 불가능한 요청 등의 시나리오는 제외하고 있다는 점을 언급하며 한계를 겸허히 인정합니다. 또한, 브라우징 궤적은 라이브 웹사이트에서 실행되지만, 개인정보 보호와 확장성을 위해 기초가 되는 사용자 프로필과 의도는 합성된 데이터를 사용합니다. 다만 저자들은 이러한 방식이 대규모로 사용자 이력을 구축하는 안전하고 효과적인 방법이라고 주장합니다.