RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments

Il paper introduce RetailBench, un benchmark ad alta fedeltà per valutare il processo decisionale autonomo a lungo termine degli agenti basati su LLM in ambienti retail realistici, proponendo un framework che separa il ragionamento strategico dall'esecuzione per migliorare la stabilità, sebbene i risultati evidenzino significative limitazioni attuali nella gestione di compiti complessi e multi-fattoriali.

L'essenziale

Immagina di dover gestire un grande supermercato, ma con una regola strana: non puoi essere presente fisicamente. Devi assumere un "manager digitale" fatto di intelligenza artificiale (un'IA basata su un Grande Modello Linguistico, o LLM) e lasciarlo solo al lavoro per mesi, forse anni.

Il suo compito? Comprare la merce, fissare i prezzi, gestire le scorte e assicurarsi che il negozio non vada in bancarotta, mentre il mondo esterno cambia: arrivano nuove notizie, cambiano i gusti dei clienti e i fornitori modificano i prezzi.

Questo è il cuore del paper RetailBench. Ecco come funziona, spiegato in modo semplice.

1. Il Problema: L'IA che si perde nel lungo viaggio

Fino a poco tempo fa, le IA erano bravissime a fare cose veloci e semplici, come rispondere a una domanda o scrivere una riga di codice. Ma quando si tratta di piani a lungo termine (come gestire un negozio per un anno intero), tendono a impazzire.

• L'analogia: È come dare a un viaggiatore una mappa per un viaggio di 1000 km. Dopo 10 km, dimentica la destinazione, si perde, compra cose che non servono o, peggio, decide di guidare a ritroso perché ha "allucinazioni" (immagina cose che non esistono).

Gli autori hanno creato RetailBench, una simulazione ultra-realistica di un supermercato, per testare quanto queste IA riescano a mantenere la rotta senza impazzire.

2. La Soluzione: Il Manager con due "cervelli"

Per risolvere il problema, gli autori hanno inventato un nuovo modo di far lavorare l'IA, chiamato "Evolving Strategy & Execution" (Strategia ed Esecuzione in Evoluzione).

Immagina un'azienda con due ruoli distinti:

1. Il Stratega (Il Cervello): Ogni mattina, si siede in una stanza tranquilla. Guarda i dati, legge le notizie, analizza le vendite di ieri e decide la strategia generale per la giornata (es: "Oggi puntiamo sulle zuppe, abbassiamo i prezzi sui detersivi e controlliamo le scorte di carta igienica"). Una volta scritta la strategia, la "blocca".
2. L'Esecutore (Le Mani): Questo è il dipendente che esegue gli ordini. La sua regola è ferrea: segue la strategia scritta dal Stratega. Non cambia idea a metà giornata, non si distrae. Se la strategia dice "compra 100 scatole di pasta", lui compra 100 scatole.

Perché funziona?
Nelle vecchie versioni, l'IA cambiava idea ogni secondo mentre agiva, come un capitano di nave che cambia rotta ogni volta che vede una nuvola. Con questo nuovo sistema, la rotta è fissata per la giornata, rendendo il viaggio molto più stabile.

3. Cosa hanno scoperto? (I Risultati)

Hanno fatto gareggiare 8 diverse IA potenti (come GPT-5, Kimi, GLM, ecc.) contro questo sistema. Ecco cosa è successo:

• Il sistema funziona meglio: L'approccio "Stratega + Esecutore" ha fatto sì che i negozi virtuali rimanessero aperti più a lungo e guadagnassero di più rispetto alle IA che cercavano di fare tutto da sole.
• Ma c'è un limite enorme: Anche con il sistema migliore, quando il gioco diventava difficile (più prodotti, notizie caotiche, fornitori imprevedibili), le IA hanno iniziato a fallire.
  • Le allucinazioni: L'IA ha iniziato a inventare prodotti che non esistevano (es: "Devo ordinare 5000 unità del 'Sugo Fantasma 3000'").
  • I prezzi assurdi: A volte decideva di vendere un prodotto a 999 euro o a -5 euro.
  • La memoria corta: Dimenticava le regole base dopo pochi giorni.

L'analogia finale:
Immagina di dare a un genio matematico un compito di 1000 pagine. È bravissimo a fare i calcoli della prima pagina. Ma dopo 50 pagine, inizia a confondersi, a inventare numeri a caso e a dimenticare cosa stava facendo all'inizio.

In sintesi

Il paper ci dice che:

1. Le IA sono diventate molto brave a ragionare, ma non sono ancora pronte a gestire affari complessi da sole per lunghi periodi.
2. Separare il "pensiero" (strategia) dall'"azione" (esecuzione) aiuta molto, come avere un capitano che pianifica e un equipaggio che esegue.
3. Tuttavia, c'è ancora molta strada da fare prima che un'IA possa gestire un supermercato reale senza che il proprietario debba intervenire ogni giorno per correggere gli errori.

È un passo avanti importante, ma ci ricorda che l'IA è ancora un "apprendista" molto intelligente, ma che ha bisogno di una supervisione umana per non bruciare il negozio.

Sommario tecnico

1. Il Problema

Nonostante i recenti progressi dei Modelli Linguistici su Grande Scala (LLM) in compiti a breve termine e altamente strutturati (come la generazione di codice o la risoluzione di problemi matematici), la loro capacità di mantenere un processo decisionale coerente su orizzonti temporali lunghi in ambienti realistici e dinamici rimane una sfida aperta.
I benchmark esistenti si concentrano spesso su interazioni web o compiti brevi, fallendo nel valutare la stabilità comportamentale, l'allineamento agli obiettivi persistenti e la capacità di pianificazione a lungo termine necessarie per partecipare a sistemi economici reali. Gli agenti attuali tendono a perdere coerenza strategica, accumulare errori e mostrare comportamenti irrazionali (allucinazioni) quando operano per periodi estesi in ambienti non stazionari.

2. Metodologia

RetailBench: Un Nuovo Benchmark

Gli autori introducono RetailBench, un benchmark ad alta fedeltà basato su dati commerciali reali (dataset Dominick's) e principi di modellazione economica.

• Scenario: Simula le operazioni di un supermercato autonomo su un orizzonte temporale di oltre 1000 giorni.
• Processo Decisionale: Modellato come un Processo Decisionale di Markov (MDP). L'agente deve gestire:
  • Stato: Inventario, prezzi, vendite storiche, recensioni clienti, catena di approvvigionamento, flussi finanziari e notizie esterne (eventi di mercato).
  • Azioni: Aggiustamento dei prezzi, ordini di rifornimento, query informative e operazioni di memoria.
  • Dinamiche: La transizione giornaliera include campionamento del traffico clienti, realizzazione delle vendite, generazione di recensioni/resi, aggiornamento dell'inventario e stato finanziario.
  • Terminazione: L'episodio termina se il negozio non riesce a pagare l'affitto per 5 giorni consecutivi.
• Configurazioni di Difficoltà:
  • Easy: 5 categorie, nessuna notizia dinamica, budget limitato.
  • Middle: 20 categorie, nessuna notizia dinamica, budget maggiore.
  • Hard: 20 categorie, notizie dinamiche giornaliere, relazioni prezzo-qualità del fornitore variabili nel tempo.

Framework: Evolving Strategy & Execution

Per affrontare le limitazioni dei framework esistenti (come ReAct o Reflection pura), gli autori propongono un nuovo framework a due stadi che separa esplicitamente la ragionamento strategico dall'esecuzione operativa:

1. Fase di Strategia Evolutiva (Evolving Strategy): L'agente analizza i feedback ambientali e storici per aggiornare una strategia globale persistente. In questa fase, l'agente può modificare la strategia ad alto livello (es. obiettivi macro, mappatura fornitori), ma non esegue azioni che modificano direttamente l'ambiente.
2. Fase di Esecuzione (Execution): La strategia è fissata e considerata immutabile. L'agente genera azioni concrete (ordini, cambi prezzi) strettamente allineate alla strategia corrente, senza ulteriori modifiche strategiche.

• Rappresentazione Gerarchica: La politica è strutturata in tre livelli: Macro Strategy (obiettivi manageriali), Execution Strategy (guida operativa strutturata) e Daily Actions (operazioni eseguibili).

3. Contributi Chiave

1. RetailBench: Un benchmark realistico per valutare la decisione autonoma a lungo termine in scenari commerciali complessi, superando i limiti dei benchmark attuali focalizzati su compiti brevi.
2. Framework Evolving Strategy & Execution: Una nuova architettura che migliora la stabilità operativa separando la pianificazione di alto livello dall'esecuzione di basso livello, riducendo la deriva degli obiettivi (goal drift) e l'oscillazione strategica.
3. Analisi delle Modalità di Fallimento: Identificazione sistematica dei punti di rottura degli agenti LLM attuali, tra cui la mancanza di scalabilità decisionale, la copertura incompleta delle informazioni, l'instabilità temporale e le allucinazioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 8 modelli LLM all'avanguardia (inclusi GPT-5.2, Kimi-K2, GLM-4.6, DeepSeek-V3.2, ecc.) attraverso le tre configurazioni di difficoltà.

• Performance del Framework: Il framework Evolving Strategy & Execution supera costantemente i baseline (Reflection a livello di passo, Reflection a livello di giorno, Plan-and-Act) in termini di:
  • Giorni di operatività media prima del fallimento.
  • Vendite e reddito giornaliero medio.
  • Riduzione significativa del tasso di prodotti scaduti (Expiry Ratio) e resi.
• Limiti degli LLM: Nonostante i miglioramenti del framework, le prestazioni degli agenti LLM crollano drasticamente all'aumentare della complessità (passando da Easy a Hard).
  • Gap con l'Upper Bound: Esiste un divario enorme rispetto a una politica euristica manuale (che ha accesso a informazioni privilegiate), indicando che gli LLM attuali non sono ancora in grado di gestire l'autonomia strategica robusta in ambienti dinamici.
  • Scalabilità: Gli agenti non riescono a scalare la loro capacità decisionale con l'aumento del numero di SKU e categorie; spesso ignorano parti dello spazio decisionale.
  • Instabilità Temporale: Anche in ambienti semplici, le strategie di esecuzione mostrano alta variabilità giorno per giorno, portando a traiettorie incoerenti.
  • Allucinazioni e Azioni Invalidhe: Gli agenti generano frequentemente SKU inesistenti, date inventate, prezzi irrazionali (es. negativi o esorbitanti) o ordini di quantità impossibili, portando al collasso dell'ambiente.

5. Significato e Conclusioni

Il paper dimostra che, sebbene i framework strutturati possano mitigare alcuni problemi di stabilità, gli attuali agenti basati su LLM non sono ancora pronti per l'autonomia strategica a lungo termine in scenari economici reali complessi.
Le limitazioni fondamentali risiedono nella capacità di:

1. Scalare il processo decisionale in spazi ad alta dimensionalità.
2. Integrare in modo completo e coerente tutte le fonti di informazioni rilevanti.
3. Mantenere una coerenza temporale nelle esecuzioni.
4. Garantire la validità fattuale e logica delle azioni (assenza di allucinazioni).

RetailBench si propone quindi come un banco di prova essenziale per guidare la ricerca futura verso agenti capaci di ragionamento strategico robusto, suggerendo che le soluzioni future potrebbero richiedere approcci ibridi (neuro-simbolici), apprendimento per rinforzo o meccanismi di vincolo più rigidi per garantire la fattibilità economica delle azioni.