Riepilogo Tecnico: RetailBench

Problematica

Sebbene gli agenti basati su Large Language Model (LLM) abbiano dimostrato competenza in compiti a breve orizzonte e ben definiti (ad es. editing di codice, recupero di informazioni), la loro capacità di sostenere un processo decisionale coerente in ambienti dinamici a lungo orizzonte rimane incerta. I benchmark esistenti spesso isolano singoli sottoproblemi o mancano della dinamica accoppiata e a ciclo chiuso tipica delle operazioni commerciali reali. Di conseguenza, la comunità manca di un benchmark aperto e fondato sui dati per valutare se gli agenti LLM che utilizzano strumenti possano mantenere un allineamento costante degli obiettivi e una stabilità della coerenza comportamentale su periodi estesi, in particolare quando gli errori locali si cumulano in conseguenze ritardate che rimodellano le distribuzioni degli stati futuri.

Metodologia: RetailBench

Gli autori introducono RetailBench, un benchmark di simulazione fondato sui dati progettato per valutare agenti LLM che utilizzano strumenti nel contesto delle operazioni di un singolo supermercato. L'ambiente è modellato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP), $M = (S, A, O, T, \Omega, R)$, dove l'agente interagisce con un simulatore attraverso un set specifico di strumenti.

Costruzione dell'Ambiente

• Fondamento sui Dati: Il simulatore è ancorato a dati reali del settore retail provenienti dal dataset Dominick's (University of Chicago Booth School of Business) per definire l'universo dei prodotti (96 prodotti in 20 categorie), traiettorie storiche dei prezzi e dei prezzi di vendita, e costi di approvvigionamento.
• Feedback Dinamico: I testi delle recensioni sono campionati dal corpus Amazon Reviews 2023, e gli eventi di cronaca sono adattati da articoli di notizie finanziarie. Questi introducono dinamiche basate sul corpus dove metadati nascosti guidano gli effetti sulla domanda e sull'offerta.
• Moduli: L'ambiente accoppia sette moduli: Inventario, Fornitori e Ordini, Scaffale, Domanda dei Clienti, Recensioni e Resi, Eventi di Cronaca, e Finanza e Registri.
• Stato e Azioni:
  • Stato ($S$): Include attributi del prodotto, inventario (con invecchiamento), assortimento dello scaffale, candidati fornitori, fattori di domanda, notizie esterne e contabilità finanziaria.
  • Azioni ($A$): Gli agenti scelgono tra tre gruppi di strumenti:
    1. Sola lettura ($A_{read}$): Interrogazione di fondi, inventario, prezzi, cronologia vendite, preventivi dei fornitori e recensioni.
    2. Ausiliari ($A_{other}$): Analisi vincolata, gestione della memoria ed esecuzione di codice (in ambiente sandbox).
    3. Modifica dello stato ($A_{act}$): Aggiornamento dei prezzi, inserimento di ordini di ripristino, gestione dell'assortimento dello scaffale, scrittura di note e conclusione della giornata.
• Orizzonte di Simulazione: Il benchmark supporta simulazioni su scala di migliaia di giorni. Il protocollo di valutazione utilizza un orizzonte di 180 giorni.

Protocollo di Valutazione

• Modelli: Sette LLM contemporanei sono stati valutati utilizzando tre framework basati su prompting: ReAct, Reflection e Plan-and-Act.
• Regola di Selezione: A causa della varianza nelle prestazioni a lungo orizzonte, gli autori impiegano una regola di selezione "priorità alla sopravvivenza": per ogni modello, viene selezionata la sessione con l'orizzonte di sopravvivenza più lungo, con il patrimonio netto finale e le vendite totali come criteri di spareggio.
• Baseline: È inclusa una policy oracle privilegiata come riferimento non-agente. Questa policy ha accesso diretto ai campi strutturati del simulatore (ad es. punteggi di qualità dei fornitori nascosti) e segue regole operative specificate manualmente e consapevoli della qualità.

Metriche

Le prestazioni sono misurate in cinque categorie:

1. Vitalità Operativa: Patrimonio Netto Finale e Giorni di Sopravvivenza.
2. Efficacia delle Vendite: Vendite Totali, Prodotti Venduti Giornalieri e Rapporto Resi.
3. Controllo dell'Inventario: Giorni di Rottura di Stock e Rapporto Prodotti Scaduti.
4. Comportamento nell'Uso degli Strumenti: Chiamate Dirette e Totali agli Strumenti per Giorno.
5. Utilizzo dei Token: Consumo medio giornaliero di token.

Contributi Chiave

1. Un Ambiente Retail a Lungo Orizzonte: RetailBench fornisce un banco di prova controllato e fondato sui dati che accoppia prezzi, inventario, selezione dei fornitori, feedback dei clienti, eventi esterni e vincoli finanziari su episodi estesi.
2. Valutazione dei Sistemi Attuali: Il benchmark rivela che gli attuali framework per agenti e gli LLM allo stato dell'arte faticano a raggiungere politiche operative stabili e ad alte prestazioni su lunghi orizzonti.
3. Analisi Sistematica dei Fallimenti: Gli autori identificano tre modalità di fallimento ricorrenti attraverso metriche diagnostiche:
   • Acquisizione Incompleta delle Evidenze: Gli agenti agiscono spesso senza interrogare informazioni critiche (ad es. proxy della qualità del fornitore, invecchiamento dell'inventario).
   • Processo Decisionale Superficiale: Gli agenti si affidano a segnali immediatamente visibili (ad es. il prezzo) sottopesando fattori consequenziali ma meno visibili (ad es. qualità del fornitore, rischi di reso).
   • Mancanza di una Politica Coerente a Lungo Orizzonte: Gli agenti non riescono a mantenere l'attenzione sui prodotti importanti e non riescono a tornare costantemente sulle conseguenze ritardate delle azioni precedenti.

Risultati

• Sopravvivenza: Sotto il protocollo di priorità alla sopravvivenza, la sopravvivenza è variata da 58 a 180 giorni. Solo DeepSeek-V4-Pro e GPT-5.5 hanno completato l'intero orizzonte di 180 giorni. La maggior parte degli altri modelli è terminata tra i 58 e i 73 giorni.
• Gap di Prestazione: Anche le sessioni degli LLM più forti sono rimaste sensibilmente al di sotto della policy oracle.
  • Patrimonio Netto: La policy oracle ha raggiunto 131.510,42, mentre il miglior LLM (GPT-5.5) ha raggiunto 24.350,98.
  • Vendite: La policy oracle ha raggiunto 267.998 unità, mentre il miglior LLM (DeepSeek-V4-Pro) ha raggiunto 164.417.
• Diagnostica Comportamentale:
  • Acquisizione delle Evidenze: GPT-5.5 ha mostrato la maggiore completezza delle evidenze (0,9689), mentre altri come Grok-4.3 hanno mostrato una completezza quasi nulla.
  • Qualità Decisionale: Gli LLM hanno mostrato un forte bias verso "PriceFirst" (scegliere il fornitore più economico) rispetto a "QualityFirst". La policy oracle ha dato priorità alla qualità, mentre gli LLM hanno scelto il fornitore più economico nel 55,6% degli ordini rispetto al solo 21,5% per la scelta di massima qualità.
  • Follow-up Temporale: Gli LLM hanno perso dal 32,86% all'88,18% delle opportunità ad alta domanda e non sono riusciti a seguire costantemente le conseguenze ritardate (ad es. rotture di stock, resi) entro una finestra di sette giorni.

Significato e Rivendicazioni

Il documento posiziona RetailBench non solo come un benchmark di prestazione, ma come un banco di prova diagnostico per studiare l'autonomia affidabile nel processo decisionale economicamente fondato a lungo orizzonte. Gli autori affermano che i risultati dimostrano un divario critico tra le attuali capacità degli LLM e i requisiti per una continuità operativa sostenuta.

La significatività risiede nell'identificazione del fatto che migliorare gli agenti LLM a lungo orizzonte richiede molto più del semplice aumento dell'uso degli strumenti; richiede avanzamenti in:

1. Selezione delle Evidenze: La capacità di identificare e acquisire tutte le informazioni critiche per la decisione.
2. Ragionamento Evidenza-Azione: La capacità di tradurre le evidenze acquisite in decisioni che tengano conto degli esiti a lungo termine (ad es. bilanciare costo vs qualità).
3. Mantenimento della Politica Stateful: La capacità di mantenere un'attenzione persistente sulle entità critiche e di tornare sulle conseguenze ritardate per allineare le chiamate agli strumenti locali con gli obiettivi aziendali a lungo termine.

Gli autori concludono che prima che gli agenti LLM possano operare in modo affidabile in ambienti complessi a lungo orizzonte, devono superare questi specifici colli di bottiglia nell'acquisizione delle evidenze, nella profondità del ragionamento e nella coerenza della politica.