기술 요약: APeB – 대규모 언어 모델 에이전트의 개인화 능력 벤치마킹

1. 문제 정의

대규모 언어 모델(LLM) 기반 에이전트는 사용자가 정제되지 않은 미흡한 질의를 던질 때 개인화(personalization) 측면에서 상당한 어려움에 직면합니다. 실제 시나리오에서 사용자의 목적은 명시적이지 않은 경우가 많으며, 선호도는 노이즈가 섞인 이질적인 상호작용 이력(예: 비디오, 라이브 스트리밍, 제품 조회)으로부터 추론되어야 하는 암묵적인 것입니다. 또한, 정답은 전역적으로 최적화된 것이 아니라 사용자 중심적이어야 하며, 이는 에이전트가 잠재적 의도에 기반하여 밀접하게 경쟁하는 대안들 사이를 구별해낼 것을 요구합니다.

기존 벤치마크들은 다음과 같은 이유로 이 능력을 적절히 테스트하지 못하여 한계를 보입니다:

• 모호한 초기 단계의 의도가 아닌, 사용자에 의해 정제된 질의에 의존함.
• 실제 행동의 노이즈와 다양성이 결여된 단순화되거나 정제된 이력을 사용함.
• 미세한 선호도 구별을 요구하지 않는 구분이 쉬운 후보군을 사용함.

결과적으로, 기존의 평가 방식은 의미론적 매칭(semantic matching)과 진정한 개인화를 혼동하며, 에이전트 워크플로우(예: ReAct)가 의도를 효과적으로 추론하고 특정 사용자 선호도에 맞춰 행동을 정렬할 수 있는지 평가하는 데 실패합니다.

2. 방법론: APeB 벤치마크

저자들은 개인화된 제품 검색(PPS) 과업을 통해 에이전트의 개인화 능력을 평가하기 위해 설계된 테스트베드인 **APeB(Agent Personalized Benchmark)**를 소개합니다. APeB는 선도적인 콘텐츠 커머스 플랫폼의 실제 액션 로그로부터 구축되었으며, 콘텐츠 소비부터 제품 구매에 이르는 엔드 투 엔드 흐름을 포착합니다.

2.1 데이터 구축

• 출처: 30일간의 리테인 세션(retained-session) 윈도우에서 수집된 5,648개의 유의미한 쇼핑 세션으로, 세션 이전 최대 60일간의 이력을 포함합니다.
• 세션 정의: "검색-구매" 세션은 검색 질의로 시작하여 구매($\Delta \le 30$분)로 끝나는 시간 제한된 윈도우로 정의됩니다.
• 유의미한 필터링: 세션이 고도의 노력이 필요한 쇼핑 체제를 나타내도록 다음 조건을 충족해야 합니다:
  1. 반복적인 질의 정제: 최소 두 개 이상의 서로 다른 검색 질의($|Q_{search}| \ge 2$)가 존재해야 함.
  2. 광범위한 브라우징: 구매 전 제품 및 미디어 탐색이 실질적이어야 함($|P_{view}| + |V_{view}| \ge \tau_v$).
  3. 의도-주문 정렬: 최종 구매는 사용자가 표현한 의도 및 탐색한 후보들과 의미론적으로 일치해야 함.

2.2 벤치마크 구성 요소

각 리테인 세션에 대해 APeB는 세 가지 핵심 구성 요소를 구축합니다:

1. 이질적 이력 ($H_u$): 제품 상호작용(조회, 좋아요, 장바구니)과 미디어 상호작용(OCR/ASR 콘텐츠가 포함된 비디오, 라이브 스트리밍)을 포함한 다양한 신호를 담은 장기 상호작용 로그.
2. 질의 스펙트럼:
   • 의도 질의 ($q_{intent}$): 구매와 의미론적으로 연결되는 가장 초기 단계의 질의로, 모호하고 초기 단계의 목표를 나타냄 (예: "캠퍼스 OOTD").
   • 정제된 질의 ($q_{refined}$): 구매 직전의 마지막 질의로, 잘 규정된 의도를 나타냄 (예: "오버사이즈 롱슬리브 네이비 블루").
3. 하드 후보군 ($C_{hard}$): 사용자가 보았지만 구매하지 않은 제품들과 최종 구매 아이템의 집합. 이 후보들은 의미론적으로 매우 유사하여, 단순한 의미 매칭이 아닌 미세한 속성 구별을 요구합니다.

2.3 평가 프로토콜

모델은 $(q, H_u, C_{hard})$ 입력을 받았을 때, 구매 아이템을 하드 후보군 내에서 순위를 매기는 능력을 평가받습니다.

• 지표: Hit@1 및 Hit@5.
• 루브릭 분석: 중간 추론 단계(질의 추론, 선호도 품질, 추천 품질, 에이전트 추론)는 LLM-as-a-Judge를 사용하여 특정 실패 모드를 진단하기 위해 점수가 매겨집니다.

3. 주요 기여

1. APeB 벤치마크: 노이즈가 있는 이질적 이력, 모호함에서 정제로 이어지는 검색 궤적, 그리고 밀접하게 경쟁하는 후보군을 결합하여 에이전트를 평가하는 최초의 벤치마크입니다. 이는 추천 시스템(다음 아이템 예측)과 에이전트 추론(다단계 계획) 사이의 간극을 메웁니다.
2. LLM 에이전트의 경험적 분석: 최첨단 LLM(GPT-4/5, Qwen3, DeepSeek-R1, Gemini 포함)과 에이전트 워크플로우(ReAct, Deerflow)에 대한 종합적인 평가는, 모델들이 명시적 질의는 잘 처리하지만 초기 단계의 의도 발견과 선호도 복구에는 크게 어려움을 겪는다는 것을 보여줍니다.
3. 실패 모드 진단: 루브릭 분석 결과, 성능 격차는 주로 효과적이지 못한 이력 활용에 의해 발생함을 확인했습니다. 모델은 계획을 가이드하기 위해 노이즈가 섞인 이력에서 관련 선호도를 추출하는 데 실패하며, 다단계 추론(ReAct)은 모호한 의도 하에서 이러한 오류를 증폭시키기도 합니다.
4. VQRA 파이프라인: 저자들은 평가 전 선택된 이력 컨텍스트를 바탕으로 의도 질의를 재작성하는 공유 백본 기반의 간단한 파이프라인인 **VQRA (Vague Query Refinement Agent)**를 제안합니다. 이 접근 방식은 일관된 성능 향상을 보여주며, 명시적인 이력 활용 모듈이 개인화된 에이전트에게 필수적임을 입증합니다.

4. 실험 결과

• 성능 격차: 의미론적 정렬이 지배적인 설정(정제된 질의 또는 랜덤 후보군)에서는 LLM이 특화된 PPS 베이스라인(UniSAR)보다 월등히 높은 성능을 보입니다. 그러나 사용자 모델링과 의도 정제가 필요한 작업(의도 질의와 하드 후보군)에서는 LLM의 성능이 제로샷 UniSAR 수준으로 떨어지며, ReAct 워크플로우를 통한 이득도 제한적입니다.
• 이력 활용: LLM은 의도 질의 상황에서 이력을 활용하는 데 어려움을 겪습니다. 정제된 질의의 경우 이력을 추가하면 성능이 향спо되지만, 의도 질의에서는 미미한 이득만을 보여, 현재의 LLM 워크플로우가 노이즈가 섞인 불충분한 컨텍스트로부터 회복 가능한 선호도를 자연스럽게 추출하지 못함을 시사합니다.
• 후보군 난이도: LLM은 랜덤 후보군(조잡한 의미 매칭)에서는 베이스라인보다 우수하지만, 하드 후보군(사용자가 본 아이템) 사이의 미세한 속성을 구별하는 데는 실패합니다. 이는 현재 모델들이 의미론적 단서가 부족할 때 진정한 개인화 능력이 부족함을 나타냅니다.
• VQRA 효능: VQRA를 구현하면 다양한 백본에서 Hit@1이 개선되며, 이는 명시적인 이력 기반 질의 정제가 모델이 잠재적 의도를 추론하고 적절한 후보를 선택하는 데 도움이 된다는 것을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 APeB가 현실적인 개인화 제약 조건 하에서 에이전트 시스템을 평가하기 위한 필수적인 테스트베드라고 주장합니다. 이 연구의 주요 의의는 현재 LLM 에이전트의 한계를 드러낸 데 있습니다. 즉, 에이전트들은 명확한 목표가 있는 과업 수행에는 능숙하지만, 잠재적 의도 추론과 노이즈 섞인 이력으로부터의 선호도 복구에는 어려움을 겪습니다.

저자들은 개인화 능력의 격차가 단순히 모델 규모의 부족이 아니라, 이력 활용 모듈의 구조적 결함 때문이라고 결론짓습니다. 간단한 VQRA 파이프라인의 성공은 미래의 개인화된 에이전트가 프롬프트 내의 암묵적 컨텍스트에만 의존하는 것이 아니라, 사용자 특유의 역사적 신호에 계획과 행동을 명시적으로 접지(grounding)할 수 있는 전용 메커니즘을 필요로 한다는 것을 시사합니다.

인정된 한계점:

• 벤치마크가 단일 플랫폼에서 유래되었으므로, 다른 이커머스 생태계로의 전이 가능성이 제한될 수 있음.
• 평가는 정적이며 오프라인 방식으로, 실시간 재고나 다회차 동적 상호작용를 반영하지 못함.
• 관찰된 구매는 선호도의 대리 지표이지만, 랭킹 노출 및 재고 가용성에 의해 혼란을 겪을 수 있음.
• 루브릭 분석은 LLM-as-a-Judge에 의존하며, 이는 체계적인 편향을 도입할 수 있음.