Technische Samenvatting: APeB – Benchmarking van het personalisatievermogen van Large Language Model Agents

1. Probleemstelling

Door Large Language Models (LLM)-gestuurde agents geconfronteerd met aanzienlijke uitdagingen op het gebied van personalisatie wanneer gebruikers ruwe, ondergespecificeerde queries invoeren. In realistische scenario's zijn gebruikersdoelstellingen zelden expliciet; voorkeuren zijn impliciet en moeten worden afgeleid uit ruisachtige, heterogene interactiegeschiedenissen (bijv. video's, livestreams, productweergaven). Bovendien is correctheid gebruikersgericht in plaats van globaal optimaal, wat vereist dat agents kunnen differentiëren tussen nauw verwante alternatieven op basis van latente intentie.

Bestaande benchmarks slagen er niet in dit vermogen adequaat te testen omdat ze doorgaans vertrouwen op:

• Door de gebruiker verfijnde queries in plaats van vage, vroege intenties.
• Vereenvoudigde of gesaneerde geschiedenissen die een gebrek hebben aan de ruis en diversiteit van echt gedrag.
• Gemakkelijk scheidbare kandidaten die geen fijne discriminatie van voorkeuren vereisen.

Consequently, verwarren huidige evaluaties vaak semantische matching met ware personalisatie, waardoor ze niet effectief kunnen beoordelen of agentic workflows (bijv. ReAct) in staat zijn om intentie effectief af te leiden en acties af te stemmen op specifieke gebruikersvoorkeuren.

2. Methodologie: De APeB Benchmark

De auteurs introduceren APeB (Agent Personalized Benchmark), een testomgeving ontworpen om agentic personalisatie te evalueren via de Personalized Product Search (PPS) taak. APeB is geconstrueerd uit real-world actielogs van een toonaangevend content-commerce platform, waarbij de end-to-end flow van contentconsumptie tot productaankoop wordt vastgelegd.

2.1 Dataconstructie

• Bron: 5.648 niet-triviale winkelsessies verzameld uit een 30-daagse retentie-venster, met tot wel 60 dagen aan pre-sessie geschiedenis.
• Sessie Definitie: Een "search-to-order" sessie wordt gedefinieerd als een tijdsgebonden venster dat begint met een zoekopdracht en eindigt met een aankoop ($\Delta \le 30$ minuten).
• Niet-Triviale Filtering: Sessies zijn gefilterd om te garanderen dat ze hoogwaardige winkelregimes vertegenwoordigen, wat vereist:
  1. Iteratieve Query Verfijning: Ten minste twee verschillende zoekopdrachten ($|Q_{search}| \ge 2$).
  2. Uitgebreid Browsen: Substantiële exploratie van producten en media vóór de aankoop ($|P_{view}| + |V_{view}| \ge \tau_v$).
  3. Intentie-Bestelling Alignement: De uiteindelijke aankoop moet semantisch consistent zijn met de uitgedrukte intentie en de verkende kandidaten.

2.2 Benchmark Componenten

Voor elke behouden sessie construeert APeB drie kerncomponenten:

1. Heterogene Geschiedenissen ($H_u$): Langetermijn interactielogs met diverse signalen, inclus\u00ade productinteracties (weergaven, likes, winkelwagentjes) en media-interacties (video's, livestreams met OCR/ASR-content).
2. Query Spectrum:
   • Intent Query ($q_{intent}$): De vroegste query die semantisch is uitgelijnd met de aankoop, representatief voor een vage, vroege doelstelling (bijv. "campus OOTD").
   • Refined Query ($q_{refined}$): De laatste zoekopdracht vóór de aankoop, representatief voor een goed gespecificeerde intentie (bijv. "oversized long-sleeve navy blue").
3. Hard Candidate Set ($C_{hard}$): Een set producten die de gebruiker heeft bekeken maar niet heeft gekocht, plus het uiteindelijk gekochte item. Deze kandidaten zijn semantisch dicht bij elkaar, wat fijnmazige attribuut-discriminatie vereist in plaats van grove semantische matching.

2.3 Evaluatieprotocol

Modellen worden geëvalueerd op hun vermogen om het gekochte item te ranken binnen de harde kandidaatenset, gegeven een input van $(q, H_u, C_{hard})$.

• Metrics: Hit@1 en Hit@5.
• Rubric Analyse: Intermediaire redeneerstappen (Query Inferentie, Voorkeurskwaliteit, Aanbevelingskwaliteit, Agent Redeneren) worden gescoord met behulp van LLM-as-a-Judge om specifieke foutmodi te diagnosticeren.

3. Belangrijkste Bijdragen

1. APeB Benchmark: De eerste benchmark die agents gezamenlijk evalueert op ruisachtige heterogene geschiedenissen, vage-naar-verfijnde zoektrajecten en nauw verwante kandidaten. Het overbrugt de kloof tussen aanbevelingssystemen (next-item voorspelling) en agentic redeneren (multi-step planning).
2. Empirische Analyse van LLM Agents: Een uitgebreide evaluatie van state-of-the-art LLM's (inclusief GPT-4/5, Qwen3, DeepSeek-R1, Gemini) en agentic workflows (ReAct, Deerflow) laat zien dat hoewel modellen goed omgaan met expliciete queries, ze aanzienlijk moeite hebben met vroege-fase intentie-ontdekking en voorkeuren herstellen.
3. Diagnose van Foutmodi: Rubric analyse identificeert dat prestatiekloofen primair worden gedreven door ineffectieve geschiedenis-utilisatie. Modellen falen in het extraheren van relevante voorkeuren uit ruisachtige geschiedenissen om planning te sturen, en multi-step redeneren (ReAct) versterkt deze fouten vaak onder vage intenties.
4. VQRA Pipeline: De auteurs stellen VQRA (Vague Query Refinement Agent) voor, een eenvoudige pipeline die een gedeelde backbone gebruikt om intent-queries te herschrijven op basis van de geselecteerde geschiedeniscontext vóór evaluatie. Deze aanpak levert consistente winst op, wat aantoont dat modules voor expliciete geschiedenis-utilisatie cruciaal zijn voor gepersonaliseerde agents.

4. Experimentele Resultaten

• Prestatiekloof: In settings die gedomineerd worden door semantische uitlijning (verfijnde queries of willekeurige kandidaten), presteren LLM's aanzienlijk beter dan de gespecialiseerde PPS-baseline (UniSAR). Echter, in taken die gebruikersmodellering en intentie-verfijning vereisen (intent queries met harde kandidaten), vallen LLM's terug naar het niveau van zero-shot UniSAR, met beperkte winst door ReAct-workflows.
• Geschiedenis Utilisatie: LLM's hebben moeite om te profiteren van geschiedenis onder intent queries. Hoewel het toevoegen van geschiedenis de prestaties verbetert voor verfijnde queries, biedt het slechts marginale winst voor intent queries, wat suggereert dat huidige LLM-workflows niet natuurlijk in staat zijn om herstelbare voorkeuren te extraheren uit ruisachtige, ondergespecificeerde contexten.
• Kandidaat Moeilijkheidsgraad: LLM's presteren beter dan baselines op willekeurige kandidaten (grove semantische matching), maar falen in het onderscheiden van fijnmazige attributen bij harde kandidaten (door de gebruiker bekeken items). Dit geeft aan dat huidige modellen een gebrek hebben aan ware personalisatiecapaciteiten wanneer semantische signalen onvoldoende zijn.
• VQRA Effectiviteit: Het implementeren van VQRA verbetert Hit@1 over diverse backbones, wat bevestigt dat expliciete, op geschiedenis gebaseerde query-verfijning helpt om latente intentie te infereren en passende kandidaten te selecteren.

5. Betekenis en Claims

Het artikel claimt dat APeB dient als een noodzakelijke testomgeving voor het evalueren van agentic systemen onder realistische personalisatiebeperkingen. De primaire betekenis ligt in het blootleggen van de beperkingen van huidige LLM-agents: ze zijn bekwaam in het uitvoeren van taken met duidelijke doelen, maar worstelen met de inferentie van latente intentie en het herstel van voorkeuren uit ruisachtige geschiedenissen.

De auteurs concluderen dat de kloof in personalisatievermogen niet louter een gebrek aan modelschaal is, maar een structureel tekort in geschiedenis-utilisatie modules. Het succes van de eenvoudige VQRA-pipeline suggereert dat toekomstige gepersonaliseerde agents behoefte hebben aan toegewijde mechanismen om planning en actie expliciet te funderen in de gebruikersspecifieke historische signalen, in plaats van enkel te vertrouwen op impliciete context binnen de prompt.

Erkende Beperkingen:

• De benchmark is afgeleid van één enkel platform, wat de overdraagbaarheid naar andere e-commerce ecosystemen mogelijk beperkt.
• De evaluatie is statisch en offline, en weerspiegelt niet de real-time inventaris of multi-turn dynamische interacties.
• Geobserveerde aankopen dienen als proxies voor voorkeuren, maar kunnen worden beïnvloed door ranking-exposure en voorraadbeschikbaarheid.
• Rubric analyse vertrouwt op LLM-as-a-Judge, wat systematische biases kan introduceren.