Riepilogo Tecnico: APeB – Benchmarking della capacità di personalizzazione degli agenti basati su Large Language Model

1. Definizione del problema

Gli agenti alimentati da Large Language Model (LLM) affrontano sfide significative in termini di personalizzazione quando gli utenti emettono query grezze e sottospecificate. Negli scenari reali, gli obiettivi dell'utente sono raramente espliciti; le preferenze sono implicite e devono essere inferite da cronologie di interazione rumorose ed eterogenee (ad esempio, video, livestream, visualizzazioni di prodotti). Inoltre, la correttezza è centrata sull'utente piuttosto che globalmente ottimale, richiedendo agli agenti di discriminare tra alternative strettamente concorrenti basandosi su intenti latenti.

Gli benchmark esistenti non riescono ad testare adeguatamente questa capacità perché tipicamente si affidano a:

• Query raffinate dall'utente anziché intenti vaghi e nelle fasi iniziali.
• Cronologie semplificate o sanificate che mancano del rumore e della diversità del comportamento reale.
• Candidati facilmente separabili che non richiedono una discriminazione delle preferenze fine granulare.

Di conseguenza, le attuali valutazioni spesso confondono il matching semantico con la vera personalizzazione, fallendo nel valutare se i workflow agentici (ad esempio, ReAct) possano effettivamente inferire l'intento e allineare le azioni con le specifiche preferenze dell'utente.

2. Metodologia: Il Benchmark APeB

Gli autori introducono APeB (Agent Personalized Benchmark), un banco di prova progettato per valutare la personalizzazione agentica attraverso il compito di Ricerca di Prodotti Personalizzata (PPS). APeB è costruito partendo dai log di azione reali di una piattaforma leader di content-commerce, catturando il flusso end-to-end dal consumo di contenuti all'acquisto del prodotto.

2.1 Costruzione dei dati

• Fonte: 5.648 sessioni di shopping non banali raccolte da una finestra di sessione trattenuta di 30 giorni, con fino a 60 giorni di cronologia pre-sessione.
• Definizione di Sessione: Una sessione "search-to-order" è definita come una finestra temporale limitata che inizia con una query di ricerca e termina con un acquisto ($\Delta \le 30$ minuti).
• Filtraggio Non Banale: Le sessioni sono filtrate per garantire che rappresentino regimi di shopping ad alto sforzo, richiedendo:
  1. Raffinamento Iterativo della Query: Almeno due query di ricerca distinte ($|Q_{search}| \ge 2$).
  2. Navigazione Estesa: Sostanziale esplorazione di prodotti e media prima dell'acquisto ($|P_{view}| + |V_{view}| \ge \tau_v$).
  3. Allineamento Intento-Ordine: L'acquisto finale deve essere semanticamente coerente con l'intento espresso dall'utente e con i candidati esplorati.

2.2 Componenti del Benchmark

Per ogni sessione trattenuta, APeB costruisce tre componenti principali:

1. Cronologie Eterogenee ($H_u$): Log di interazione a lungo termine contenenti segnali diversificati, inclusi prodotti (visualizzazioni, like, carrelli) e interazioni con media (video, livestream con contenuti OCR/ASer).
2. Spettro delle Query:
   • Query di Intento ($q_{intent}$): La prima query semanticamente allineata all'acquisto, che rappresenta un obiettivo vago e in fase iniziale (ad esempio, "campus OOTD").
   • Query Raffinata ($q_{refined}$): L'ultima query prima dell'acquisto, che rappresenta un intento ben specificato (ad esempio, "oversized long-sleeve navy blue").
3. Set di Candidati Difficili ($C_{hard}$): Un insieme di prodotti che l'utente ha visualizzato ma non ha acquistato, oltre all'articolo acquistato infine. Questi candidati sono semanticamente vicini, richiedendo una discriminazione fine degli attributi piuttosto che un semplice matching semantico grossolano.

2.3 Protocollo di Valutazione

I modelli vengono valutati sulla loro capacità di classificare l'articolo acquistato all'interno del set di candidati difficili dato un input di $(q, H_u, C_{hard})$.

• Metriche: Hit@1 e Hit@5.
• Analisi della Rubrica: I passaggi di ragionamento intermedi (Inferenza della Query, Qualità della Preferenza, Qualità della Raccomandazione, Ragionamento dell'Agente) sono valutati utilizzando LLM-as-a-Judge per diagnosticare specifici modi di fallimento.

3. Contributi Chiave

1. Benchmark APeB: Il primo benchmark che valuta congiuntamente gli agenti su cronologie eterogenee rumorose, traiettorie di ricerca da vaghe a raffinate e candidati strettamente concorrenti. Colma il divario tra sistemi di raccomandazione (predizione del prossimo item) e ragionamento agentico (pianificazione multi-step).
2. Analisi Empirica degli Agenti LLM: Una valutazione completa di LLM allo stato dell'arte (inclusi GPT-4/5, Qwen3, DeepSeek-R1, Gemini) e workflow agentici (ReAct, Deerflow) rivela che, mentre i modelli gestiscono bene le query esplicite, faticano significativamente con la scoperta dell'intento nelle fasi iniziali e il recupero delle preferenze.
3. Diagnosi dei Modi di Fallimento: L'analisi della rubrica identifica che i gap di prestazione sono guidati principalmente da un utilizzo inefficace della cronologia. I modelli non riescono a estrarre le preferenze rilevanti dalle cronologie rumorose per guidare la pianificazione, e il ragionamento multi-step (ReAct) spesso amplifica questi errori sotto intenti vaghi.
4. Pipeline VQRA: Gli autori propongono VQRA (Vague Query Refinement Agent), una pipeline semplice che utilizza un backbone condiviso per riscrivere le query di intento basandosi sul contesto della cronologia selezionata prima della valutazione. Questo approccio produce guadagni costanti, dimostrando che i moduli di utilizzo esplicito della cronologia sono critici per gli agenti personalizzati.

4. Risultati Sperimentali

• Gap di Prestazione: Nelle impostazioni dominate dall'allineamento semantico (query raffinate o candidati casuali), gli LLM superano sostanzialmente la baseline specializzata di PPS (UniSAR). Tuttavia, nei compiti che richiedono modellazione dell'utente e raffinamento dell'intento (query di intento con candidati difficili), gli LLM scendono al livello di UniSAR zero-shot, con guadagni limitati dai workflow ReAct.
• Utilizzo della Cronologia: Gli LLM faticano a beneficiare della cronologia sotto le query di intento. Sebbene l'aggiunta della cronologia migliori le prestazioni per le query raffinate, offre guadagni marginali per le query di intento, suggerendo che gli attuali workflow LLM non estraggono naturalmente preferenze recuperabili da contesti rumorosi e sottospecificati.
• Difficoltà dei Candidati: Gli LLM superano le baseline su candidati casuali (matching semantico grossolano), ma falliscono nel distinguere attributi fini tra candidati difficili (articoli visualizzati dall'utente). Ciò indica che gli attuali modelli mancano di vere capacità di personalizzazione quando i segnali semantici sono insufficienti.
• Efficacia di VQRA: L'implementazione di VQRA migliora l'Hit@1 attraverso vari backbone, confermando che il raffinamento esplicito della query basato sulla cronologia aiuta i modelli a inferire l'intento latente e selezionare i candidati appropriati.

5. Significato e Rivendicazioni

Il paper sostiene che APeB serva come un banco di prova necessario per valutare i sistemi agentici sotto vincoli di personalizzazione realistici. Il suo significato primario risiede nell'esporre i limiti degli attuali agenti LLM: essi sono competenti nell'eseguire compiti con obiettivi chiari, ma faticano con l'inferenza dell'intento latente e il recupero delle preferenze da cronologie rumorose.

Gli autori concludono che il gap nella capacità di personalizzazione non è semplicemente una mancanza di scala del modello, ma una carenza strutturale nei moduli di utilizzo della cronologia. Il successo della semplice pipeline VQRA suggerisce che i futuri agenti personalizzati richiedono meccanismi dedicati per ancorare esplicitamente la pianificazione e l'azione ai segnali storici specifici dell'utente, piuttosto che fare affidamento esclusivamente sul contesto implicito all'interno del prompt.

Limitazioni Riconosciute:

• Il benchmark deriva da una singola piattaforma, il che potrebbe limitarne la trasferibilità ad altri ecosistemi di e-commerce.
• La valutazione è statica e offline, non riflettendo interazioni dinamiche multi-turno o di inventario in tempo reale.
• Gli acquisti osservati fungono da proxy per le preferenze, ma possono essere influenzati dalla esposizione al ranking e dalla disponibilità di scorte.
• L'analisi della rubrica si affida a LLM-as-a-Judge, il che può introdurre bias sistematici.