Offline Dynamic Inventory and Pricing Strategy: Addressing Censored and Dependent Demand

Questo articolo propone due nuovi algoritmi basati sui dati per determinare strategie ottimali di prezzo e gestione delle scorte in un ambiente offline caratterizzato da domanda censurata e dipendente, superando le sfide legate alla violazione della proprietà di Markov e alla mancanza di informazioni sui profitti attraverso l'approssimazione di un MDP di ordine superiore e l'analisi di sopravvivenza.

L'essenziale

Immagina di essere il gestore di un negozio di scarpe molto popolare, ma con un problema strano: non sai mai quante persone vorrebbero comprare le tue scarpe se non avessi finito lo stock.

Ecco di cosa parla questo studio, spiegato come se stessimo chiacchierando al bar:

1. Il Problema: Il "Finto" Mercato

Immagina di avere solo 5 paia di scarpe. Arrivano 20 clienti. Ne vendi 5 e gli altri 15 se ne vanno a mani vuote.
Il tuo registro dice: "Ho venduto 5 paia".
Ma la realtà è: "La gente voleva 20 paia, ma io ne avevo solo 5".

In termini tecnici, questo si chiama domanda censurata. È come guardare un film dove, ogni volta che l'eroe incontra un drago, lo schermo diventa nero. Sai che c'era un drago, ma non sai quanto fosse grande o quanto fosse pericoloso. Nel tuo negozio, non sai mai quante vendite hai perso perché non avevi abbastanza merce.

2. L'Inganno della Memoria

C'è un'altra complicazione: le persone sono influenzate da ciò che è successo prima.
Se ieri hai venduto tutto e sei andato "out of stock" (senza merce), oggi i clienti potrebbero essere arrabbiati o scoraggiati e comprare meno. Se invece hai avuto sempre tanta merce, potrebbero fidarsi di più.
Quindi, la domanda di oggi dipende da cosa è successo ieri e l'altro ieri. È come se il tuo negozio avesse una "memoria" e il comportamento dei clienti cambiasse in base alla sua storia recente.

3. La Sfida: Imparare dal Passato senza Sbagliare

Il problema è che hai solo un vecchio registro (i dati offline) pieno di queste informazioni incomplete. Vuoi capire qual è la strategia perfetta:

• A che prezzo vendere le scarpe?
• Quanti ordini fare al fornitore?

Se provi a usare le regole matematiche classiche, falliscono perché:

1. Non sai la vera domanda (è censurata).
2. Il passato influenza il futuro in modo complicato (non è una semplice sequenza di eventi indipendenti).
3. La strategia migliore cambia nel tempo (non è statica).

4. La Soluzione: I "Ricordi" e la "Pazienza"

Gli autori del paper hanno inventato un modo intelligente per aggirare il problema. Immagina di non guardare solo "cosa è successo oggi", ma di tenere traccia di quante volte di fila sei andato "out of stock".

Hanno creato una sorta di "macchina del tempo" (chiamata MDP di ordine superiore) che dice: "Ok, non so quante scarpe volevano comprare, ma so che sono andato a secco per 3 giorni di fila. Questo significa che la domanda reale è probabilmente altissima e i clienti sono frustrati. Quindi, domani devo abbassare il prezzo e ordinare più merce".

Per fare questo calcolo, hanno preso in prestito due idee da altri campi:

• Dall'Intelligenza Artificiale (Reinforcement Learning): Come un videogiocatore che impara guardando le partite registrate di un campione, senza dover giocare di nuovo.
• Dalla Medicina (Analisi di Sopravvivenza): I medici usano queste tecniche per capire quanto tempo un paziente sopravvive anche se smette di fare controlli. Qui, la usano per capire "quanto tempo" la domanda è rimasta nascosta sotto la mancanza di merce.

5. Il Risultato

Hanno creato due nuovi algoritmi (ricette matematiche) che:

1. Guardano i vecchi dati, anche quelli "mutilati" dalla mancanza di merce.
2. Ricostruiscono la verità nascosta.
3. Ti dicono esattamente quanto prezzo mettere e quanto ordinare per guadagnare il massimo.

Hanno anche dimostrato matematicamente che il loro metodo funziona bene anche con pochi dati e hanno fatto dei test al computer che confermano che funziona meglio dei metodi vecchi.

In Sintesi

Questo paper è come un detective che, guardando un vecchio diario di un negozio dove mancano le pagine finali (perché la merce finiva), riesce a ricostruire la storia completa e a dirti: "Ehi, se avessi fatto così e così, avresti guadagnato il doppio!". È il primo metodo al mondo che riesce a fare questo quando la domanda dipende dalla storia passata ed è nascosta dalla mancanza di prodotti.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del documento, strutturato secondo le sezioni richieste e redatto in italiano.

Titolo: Strategia Offline di Inventario e Prezzi Dinamici: Gestione della Domanda Censurata e Dipendente

1. Il Problema

Il paper affronta il problema complesso del controllo sequenziale di prezzi e inventario basato su caratteristiche (feature-based) in un contesto offline. Le sfide principali identificate sono:

• Dipendenza Temporale: La domanda corrente non è indipendente, ma dipende dai livelli di domanda passati.
• Censura della Domanda (Censored Demand): Quando la domanda supera l'inventario disponibile, la vendita è limitata alla quantità disponibile e la domanda effettiva non osservata viene "censurata". Questo porta alla perdita di informazioni cruciali sui profitti potenziali.
• Violazione delle Proprietà Markoviane: A causa della censura e della dipendenza temporale, il processo osservato non soddisfa la proprietà di Markov standard (lo stato attuale non contiene tutta l'informazione necessaria per prevedere il futuro senza conoscere la storia delle censure).
• Politica Non Stazionaria: L'ottimalità della politica di controllo cambia nel tempo a causa della natura non stazionaria introdotta dalla censura e dalla dipendenza.

L'obiettivo è sfruttare un dataset offline (composto da prezzi passati, quantità ordinate, livelli di inventario, covariate e livelli di vendita censurati) per stimare una politica ottimale che massimizzi il profitto a lungo termine.

2. Metodologia

Gli autori propongono un approccio innovativo che combina teoria del controllo ottimo, apprendimento per rinforzo offline e analisi di sopravvivenza:

• Approssimazione MDP ad Ordine Superiore: Per superare la violazione della proprietà di Markov, il problema viene riformulato approssimando la politica ottimale risolvendo un MDP (Processo Decisionale di Markov) ad ordine superiore.

  • Lo stato viene ampliato per includere il numero di istanze consecutive di censura. Questo permette di catturare la storia necessaria per modellare correttamente la dinamica della domanda dipendente e censurata.
  • Il problema si riduce alla risoluzione di un'equazione di Bellman specializzata progettata per gestire questa struttura di stato estesa.

• Algoritmi Data-Driven: Ispirandosi all'Offline Reinforcement Learning (RL) e all'Analisi di Sopravvivenza (Survival Analysis), vengono proposti due nuovi algoritmi per risolvere le equazioni di Bellman derivate:

  1. Utilizzano tecniche di sopravvivenza per stimare la distribuzione della domanda sottostante partendo dai dati censurati.
  2. Applicano metodi di RL offline per apprendere la politica ottimale direttamente dai dati storici senza interazione con l'ambiente reale, mitigando i bias di selezione tipici dei dati offline.

3. Contributi Chiave

• Primo Approccio Data-Driven: Questo lavoro rappresenta, a quanto ne sanno gli autori, il primo approccio puramente data-driven per apprendere politiche ottimali di pricing e gestione dell'inventario in un ambiente di decisione sequenziale caratterizzato da domanda sia censurata che dipendente.
• Modellazione della Censura Dinamica: La proposta di modellare lo stato attraverso il conteggio delle censure consecutive è un contributo metodologico significativo che permette di recuperare la proprietà di Markov in un sistema altrimenti non markoviano.
• Garanzie Teoriche: Vengono stabiliti limiti di rimpianto (regret bounds) a campione finito, fornendo una validazione teorica rigorosa dell'efficacia degli algoritmi proposti e della loro capacità di convergere verso la politica ottimale.
• Risorsa Open Source: Gli autori hanno reso disponibile l'implementazione degli algoritmi su GitHub, facilitando la riproducibilità e l'adozione pratica.

4. Risultati

• Validazione Numerica: Sono stati condotti esperimenti numerici che dimostrano l'efficacia degli algoritmi proposti nel stimare la politica ottimale.
• Performance: I risultati confermano che gli algoritmi riescono a gestire efficacemente la complessità introdotta dalla censura e dalla dipendenza temporale, superando le limitazioni dei metodi tradizionali che ignorano questi fattori o assumono dati completi.
• Stima del Profitto: Gli algoritmi riescono a recuperare informazioni sui profitti persi a causa della censura, portando a decisioni di pricing e ordinazione più profittevoli rispetto a strategie che non considerano la natura censurata dei dati.

5. Significatività

Questo studio è di fondamentale importanza per la ricerca operativa e l'apprendimento automatico applicato alla logistica e al retail:

• Realismo Operativo: Affronta una realtà comune in cui i dati di vendita sono intrinsecamente censurati (stock-out) e la domanda è influenzata da fattori storici, scenari spesso ignorati dalla letteratura classica.
• Ponte tra Teorie: Colma il divario tra l'analisi di sopravvivenza (tradizionalmente statistica) e l'apprendimento per rinforzo (decisionale), offrendo un framework unificato per problemi di controllo dinamico con dati imperfetti.
• Impatto Pratico: Fornisce strumenti concreti per le aziende che devono ottimizzare le catene di approvvigionamento e le strategie di prezzo basandosi su dati storici imperfetti, riducendo il rischio di sottostima della domanda e massimizzando i ricavi.