Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting

Questo studio dimostra che, nel contesto della previsione delle vendite al dettaglio caratterizzata da dati intermittenti e mancanti, i metodi basati su ensemble come XGBoost superano le architetture di deep learning più complesse, suggerendo che la scelta del modello debba privilegiare l'adeguatezza alle caratteristiche del problema rispetto alla sofisticazione architetturale.

L'essenziale

Immagina di essere il direttore di una grande catena di supermercati. Ogni giorno hai un problema enorme: quanto cibo e quanti prodotti dovrai avere sugli scaffali la prossima settimana?

Se ne metti troppo, sprechi soldi e il cibo va a male. Se ne metti troppo poco, i clienti se ne vanno arrabbiati da un altro negozio. Il tuo obiettivo è indovinare il futuro, ma il mercato è caotico: a volte piove, a volte c'è una promozione, a volte il tuo concorrente abbassa i prezzi, e a volte i clienti semplicemente non comprano nulla per giorni.

Questo studio è come una gara di scacchi tra diversi "campioni" di intelligenza artificiale per vedere chi è il migliore nel prevedere queste vendite. I ricercatori hanno messo alla prova tre tipi di "campioni" su dati reali di un grande supermercato in Croazia.

Ecco chi erano i contendenti e cosa è successo:

1. I Tre Campioni in Arena

• I Vecchi Saggi (Modelli Statistici): Sono come i nonni che guardano il cielo per prevedere il tempo. Si basano su regole semplici e vecchie (come la media delle vendite passate). Sono affidabili, ma spesso si perdono nei dettagli moderni e complessi.
• I Geni Matematici (Reti Neurali / Deep Learning): Sono come supercomputer futuristici, addestrati su milioni di dati. Sono famosi per essere molto potenti, specialmente nei grandi magazzini online (come Amazon) dove c'è un flusso continuo e infinito di ordini. Sono come un chef che sa cucinare piatti complessi se ha ingredienti freschi e abbondanti.
• I Cacciatori di Pattern (Alberi di Decisione / XGBoost e LightGBM): Immaginali come investigatori privati molto pratici. Non cercano di capire l'universo intero, ma si concentrano su regole logiche: "Se oggi è martedì e c'è pioggia, allora le vendite di ombrelli salgono". Sono bravi a gestire dati "sporchi", incompleti o irregolari.

2. La Sfida: Il Mercato "Frammentato"

Il vero problema di questo supermercato fisico non è come Amazon.

• Amazon ha un magazzino gigante e ordini costanti. È come un fiume che scorre sempre uguale.
• Il Supermercato Fisico è come un arcipelago di isole. Ogni negozio è diverso, ogni prodotto ha la sua storia, e spesso ci sono giorni in cui un prodotto non viene venduto affatto (domanda intermittente). Inoltre, i dati sono spesso "bucati" (manca qualche informazione).

I ricercatori hanno detto: "Vediamo chi vince in questo ambiente caotico e frammentato".

3. Il Risultato della Gara: La Sorpresa

Molti pensavano che i "Geni Matematici" (le reti neurali) avrebbero vinto perché sono la tecnologia più moderna e costosa. Invece, hanno vinto gli Investigatori Pratici (XGBoost e LightGBM).

Ecco perché, usando una metafora:

• I Geni Matematici (Reti Neurali) sono come un orchestra sinfonica. Funzionano benissimo se tutti gli strumenti suonano insieme e c'è molta musica (molti dati). Ma se provi a suonare in una stanza rumorosa, con strumenti che mancano e spartiti incompleti (i dati del supermercato fisico), l'orchestra suona stonato. Hanno bisogno di dati perfetti e continui per brillare.
• Gli Investigatori Pratici (XGBoost) sono come un squadra di detective esperti. Non hanno bisogno di un'orchestra perfetta. Se manca un pezzo di informazione, dicono: "Ok, usiamo quello che abbiamo e facciamo una stima logica". Sono molto bravi a gestire i "buchi" nei dati e le vendite a singhiozzo.

Il Campione Assoluto: XGBoost.
Ha vinto con un punteggio di errore bassissimo (RMSE di 4.833). È stato preciso, veloce e non si è confuso quando i dati erano sporchi.

4. La Lezione Importante: "Non serve la Ferrari per andare al bar"

Lo studio ci insegna una lezione fondamentale per il mondo reale: non sempre la tecnologia più complessa è la migliore.

• L'errore comune: Pensare che più un modello è "intelligente" (come le reti neurali), più è bravo.
• La realtà: Se il tuo problema è specifico (come un supermercato fisico con dati intermittenti), un modello più semplice e mirato funziona meglio, costa meno e richiede meno energia elettrica.

I ricercatori hanno anche provato a "riparare" i dati mancanti usando un metodo sofisticato (SAITS) per aiutare le reti neurali. È stato come dare un occhiale a chi non ci vede bene: le reti neurali sono migliorate un po', ma sono rimaste comunque meno precise degli investigatori pratici.

In Sintesi

Se sei un gestore di un negozio fisico:

1. Non sprecare soldi e tempo cercando di costruire un "supercomputer" per prevedere le vendite.
2. Usa strumenti più semplici e robusti (come XGBoost) che sanno adattarsi al caos quotidiano.
3. La chiave non è la complessità del modello, ma quanto bene si adatta alla natura dei tuoi dati.

In parole povere: Per il caos del mondo reale, a volte è meglio un buon vecchio detective che un super-robot.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Comparative Analysis of Modern Machine Learning Models for Retail Sales Forecasting" in lingua italiana.

Sintesi Tecnica: Analisi Comparativa di Modelli di Machine Learning per la Previsione delle Vendite al Dettaglio

1. Il Problema e il Contesto

La previsione accurata della domanda è fondamentale per i retailer fisici (brick-and-mortar) per ottimizzare la gestione delle scorte e minimizzare i costi. Tuttavia, questo settore presenta sfide specifiche che differiscono notevolmente dall'e-commerce o dai dati di vendita aggregati:

• Domanda intermittente: Molti prodotti hanno giorni senza vendite (zeri), con una media di 492 giorni a vendite nulle per serie temporale.
• Dati mancanti e censure: Il dataset presenta un tasso di missingness del 20,93%, dovuto a variabili ausiliarie (es. prezzi dei competitor) e non alle vendite stesse.
• Alta variabilità e turnover: Le vendite avvengono in migliaia di negozi con spazi limitati, promozioni frequenti e cambi rapidi di assortimento.
• Limiti dei dati storici: Le serie temporali sono spesso brevi e frammentate.

L'obiettivo dello studio è valutare se le moderne architetture di Deep Learning (DL) superino i metodi basati su alberi decisionali (Gradient Boosting) e le basi statistiche in questo contesto operativo reale, caratterizzato da rumore e scarsità di dati.

2. Metodologia e Dati

Lo studio si basa su dati reali di un grande retailer dell'Europa Sud-Orientale (SEE), focalizzato sulla categoria "Igiene".

• Dataset: 46.841 serie temporali giornaliere a livello SKU (prodotto-negozio) su 446 store.
  • Caratteristiche: Lunghezza media di 727 osservazioni, copertura del 78,8%, 99,98% delle serie con almeno un giorno a vendite nulle.
• Preprocessing e Feature Engineering:
  • Gestione dei Missing Values: È stata implementata una pipeline strutturata. Oltre ai metodi classici (forward-fill, group-median), è stato testato un modello di imputazione avanzato basato su Deep Learning (SAITS) per valutare se la ricostruzione dei dati mancanti migliorasse le prestazioni.
  • Feature: Sono state create variabili temporali (calendario, festività), lag e statistiche rolling (settimanali, mensili, annuali), indicatori promozionali, prezzi relativi ai competitor e dati macroeconomici (CPI, salari).
  • Prevenzione del Data Leakage: Rigorosa separazione tra covariate "solo passato" (es. vendite storiche, prezzi competitor) e "future-known" (es. calendario, prezzi pianificati).
• Modelli Valutati:
  • Baseline Statistiche: ETS, Theta, CSBA (Croston SBA).
  • Ensemble basati su Alberi: XGBoost e LightGBM.
  • Architetture Neurali: N-BEATS, N-HiTS, Temporal Fusion Transformer (TFT).
• Configurazioni Sperimentali: I modelli sono stati testati in quattro scenari:
  1. Modelli locali (uno per gruppo prodotto) su dati non imputati.
  2. Modelli locali su dati imputati (SAITS).
  3. Modelli globali (tutti i gruppi insieme) su dati non imputati.
  4. Modelli globali su dati imputati.
• Protocollo di Valutazione:
  • Orizzonte di previsione: 26 settimane (182 giorni).
  • Metriche: RMSE, MAE, RMSSE, MASE, Bias della domanda e Errori finanziari.
  • I modelli tree-based sono stati valutati con una strategia rolling one-step-ahead, mentre le reti neurali con una strategia direct multi-horizon (convalidata anche con rolling origin per equità).

3. Risultati Chiave

I risultati dimostrano una netta superiorità dei metodi basati su Gradient Boosting rispetto al Deep Learning nel contesto del retail fisico.

• Prestazioni Superiori degli Ensemble:
  • XGBoost ha ottenuto le migliori prestazioni complessive con un RMSE di 4.833 (nel caso di modelli locali su dati non imputati), seguito da vicino da LightGBM.
  • Le metriche indipendenti dalla scala (RMSSE e MASE) confermano una riduzione significativa dell'errore rispetto alle baseline naive.
  • I modelli tree-based hanno mostrato robustezza sia nelle configurazioni locali che globali.
• Limiti del Deep Learning:
  • Le architetture neurali (N-BEATS, N-HiTS, TFT) hanno performato peggio degli ensemble, mostrando difficoltà nell'adattarsi alla frammentazione e all'intermittenza dei dati B&M.
  • L'imputazione SAITS ha migliorato le prestazioni delle reti neurali nella configurazione globale (Case D), rendendole competitive ma non superiori agli ensemble. Tuttavia, in alcuni casi (es. LightGBM su dati imputati), l'imputazione ha causato un crollo delle prestazioni (RMSE raddoppiato da 4.847 a 10.758), suggerendo che i valori imputati introducono artefatti che disturbano la struttura degli alberi decisionali.
• Bias e Stabilità:
  • Gli ensemble tendono a una leggera sottostima (bias negativo), mentre le reti neurali mostrano una sistematica sovrastima.
  • I modelli locali (Case A) hanno performato meglio di quelli globali (Case B) per gli ensemble, indicando che i pattern specifici per gruppo prodotto sono più informativi di un modello unico globale in questo contesto.
• Efficienza Computazionale:
  • Gli ensemble sono drasticamente più veloci: XGBoost ha richiesto 14,5 minuti per l'addestramento totale, contro le 4.424 minuti (circa 3 giorni) per il TFT.
  • I modelli neurali richiedono risorse di memoria e tempi di training significativamente maggiori senza offrire vantaggi in termini di accuratezza in questo scenario.

4. Contributi Principali

1. Pipeline End-to-End: Fornisce una guida pratica completa per la previsione delle vendite a lungo termine nel retail fisico, coprendo preprocessing, ingegneria delle feature e strategie di training.
2. Confronto Empirico Completo: Offre un'analisi comparativa su più dimensioni (architettura, scope locale/globale, strategie di imputazione) in un dataset reale e complesso, andando oltre i benchmark sintetici.
3. Validazione delle Limitazioni del DL: Dimostra che, in assenza di dati massivi e densi tipici dell'e-commerce, le architetture neurali non scalano bene nel retail fisico frammentato. Sottolinea che la scelta del modello deve basarsi sulle caratteristiche del problema (intermittenza, rumore) piuttosto che sulla sofisticazione architetturale.

5. Significato e Implicazioni

Lo studio ribalta la narrativa comune secondo cui il Deep Learning è sempre superiore per le serie temporali complesse. Nel contesto del retail fisico (B&M):

• Preferenza per gli Ensemble: XGBoost e LightGBM sono la scelta ottimale per accuratezza, velocità e robustezza.
• Strategia di Modellazione: L'approccio locale (modelli separati per gruppi di prodotti) è superiore a quello globale per catturare le dinamiche specifiche di nicchia.
• Qualità dei Dati: L'imputazione avanzata (SAITS) non è una panacea; può introdurre distorsioni distributive che danneggiano i modelli basati su alberi. La pulizia e la gestione conservativa dei dati sono cruciali.
• Decisioni Pratiche: Per i practitioner, l'adozione di ensemble tree-based offre un vantaggio competitivo immediato in termini di efficienza operativa e precisione nella pianificazione delle scorte, senza i costi computazionali proibitivi delle reti neurali.

In conclusione, il paper suggerisce che per il retail fisico, la "semplicità" ben calibrata (ensemble su dati locali) batte la complessità architetturale (Deep Learning), specialmente quando i dati sono intermittenti e frammentati.