Riepilogo Tecnico: Apprendimento per Rinforzo Multi-Agente da Feedback di Mercato Ritardato per l'Adattamento dei Pesi degli Obiettivi nella Distribuzione Tripartita

Definizione del Problema

La distribuzione del food-delivery opera come un problema decisionale sequenziale all'interno di un mercato a tre facce che coinvolge clienti, commercianti e corrieri. La sfida principale consiste nel bilanciare obiettivi contrastanti: il batching (raggruppamento degli ordini per migliorare l'efficienza dei corrieri) rispetto alla velocità (minimizzare i tempi di consegna per migliorare l'esperienza del cliente).

In ambienti di produzione come DoorDash, questo compromesso è tradizionalmente gestito tramite pesi euristici statici che vengono calibrati manualmente su scala globale. Questi pesi statici sono fragili sotto condizioni locali e variabili nel tempo; ad esempio, un eccessivo batching durante la congestione aumenta i ritardi, mentre un batching insufficiente durante i periodi di scarso traffico spreca efficienza. Inoltre, il sistema deve valutare le decisioni non tramite etichette di preferenza umana immediata, ma attraverso risultati operativi ritardati (ad esempio, velocità di consegna, utilizzo dei corrieri, congestione dei commercianti) che sono accoppiati attraverso la rete. Gli approvericci esistenti di Reinforcement Learning (RL) spesso tentano di sostituire interamente l'ottimizzatore di assegnazione combinatoria, il che pone rischi significativi per la fattibilità e la sicurezza in produzione.

Metodologia

Gli autori presentano un sistema di RL offline implementato che adatta i pesi degli obiettivi di distribuzione in tempo reale senza sostituire l'ottimizzatore di assegnazione di produzione esistente. Il sistema impiega un'architettura decisionale a due strati:

1. Strato Interno (Ottimizzatore): Un ottimizzatore di assegnazione combinatoria che mappa ordini, corrieri e vincoli in assegnazioni fattibili basate sui pesi degli obiettivi.
2. Strato Esterno (Agente OWA-RL): Un agente di policy a livello di singolo punto vendita (store) che osserva gli stati locali del mercato e seleziona un moltiplicatore discreto per regolare i pesi degli obiettivi dell'ottimizzatore.

Formulazione

Il problema è formulato come un processo decisionale di Markov (MDP) multi-agente decentralizzato con addestramento offline centralizzato:

• Agenti: Ogni store $i$ agisce come un agente.
• Stato ($s_t$): Include il numero di consegne in sospeso ($d_t$), il tempo di attesa del corriere ($cwt_t$) e una caratteristica locale di pressione dell'offerta ($sup_t$). La pressione dell'offerta è riscalata tramite l'offerta effettiva dei corrieri per esporre le variazioni a livello di store nascoste dai segnali regionali.
• Azione ($a_t$): Un moltiplicatore discreto dall'insieme $\{0.8, 0.9, 1.0, 1.1, 1.2\}$ applicato al peso base dell'obiettivo di velocità di consegna (peso ASAP).
  • I pesi inferiori favoriscono il batching e l'efficienza del routing.
  • I pesi superiori danno priorità alla rapida conclusione dell'ordine.
  • L'azione neutra ($1.0$) recupera il baseline statico.
• Ricompensa ($r_t$): Una ricompensa multi-obiettivo ritardata, aggregata a livello regionale per catturare gli effetti di rete. È definita come una somma pesata di:
  • ASAP: Durata della consegna lato cliente ($t_{drop} - t_{create}$).
  • XCAT: Tempo attivo in eccesso del corriere oltre la rotta diretta ($CAT - T_{direct}$).
  • La funzione di ricompensa è $r = -\frac{1}{|D|} \sum (\alpha \cdot \text{ASAP} + \beta \cdot \text{XCAT})$.

Architettura di Addestramento

Il sistema utilizza l'apprendimento per rinforzo offline addestrato su dati di mercato registrati:

• Algoritmo: Double DQN (Double Deep Q-Network) con una funzione di valore condivisa $Q_\theta(s, a)$.
• Target: Utilizza target di Double Q-learning per ridurre il bias di massimizzazione:
  $$y_t = r_t + \gamma Q_{\bar{\theta}}(s_{t+1}, \arg\max_{a'} Q_\theta(s_{t+1}, a'))$$
• Regolarizzazione Conservativa: Per prevenire la sovrastima dei valori fuori distribuzione (OOD) — un problema critico nell'RL offline — gli autori incorporano un regolarizzatore Conservative Q-Learning (CQL) che penalizza le azioni che non sono ben supportate dalla distribuzione dei dati registrati.
• Funzione di Perdita: $L(\theta) = L_{\text{DDQN}}(\theta) + \eta L_{\text{CQL}}(\theta)$.

Contributi Chiave

Il documento delinea tre contributi primari:

1. Architettura RL per l'Adattamento dei Pesi degli Obiettivi: Introduce un sistema che apprende dal feedback del mercato per adattare i pesi di distribuzione tramite un'interfaccia di controllo a bassa dimensionalità, preservando l'ottimizzatore di produzione esistente invece di sostituirlo.
2. Formulazione Offline Multi-Agente: Formula il problema come un compito decisionale multi-agente offline con esecuzione decentrata a livello di store e ricompense regionali ritardate, affrontando le sfide di feedback rumorosi, ritardati e accoppiati.
3. Validazione in Produzione: Fornisce prove da un esperimento switchback in produzione dimostrando che la policy appresa può aumentare il batching e ridurre i costi temporali lato corriere senza degradare la qualità della consegna lato cliente.

Risultati Sperimentali

Il sistema è stato valutato in un esperimento switchback globale su due settimane, randomizzando circa 4.000 regioni geografiche tra un gruppo di controllo (pesi baseline statici) e un gruppo di trattamento (policy OWA-RL).

Risultati Chiave (Tutte le fasce orarie):

• Guadagni di Efficienza:
  • Tempo Attivo del Corriere (CAT): Ridotto di 1,26 secondi (statisticamente significativo, $p=0.019$).
  • Tempo di Attesa del Corriere (CWT): Ridotto di 0,86 secondi (statisticamente significativo, $p=0.004$).
  • Tasso di Batching: Aumentato di 0,495 punti percentuali (statisticamente significativo, $p < 0.001$).
• Preservazione della Qualità:
  • ASAP (Velocità di Consegna): Nessuna degradazione statisticamente significativa ($p=0.264$).
  • Ritardo di 20 Minuti: Nessuna degradazione statisticamente significativa ($p=0.237$).

Performance durante il Picco Serale (Dinner Peak):
Sono stati osservati trend simili durante le ore di cena, con riduzioni significative di CAT e CWT, aumento del batching e lievi miglioramenti nel ritardo di 20 minuti, mentre l'ASAP è rimasto stabile.

La policy ha dimostrato un'adattabilità dipendente dallo stato, spostando la massa di probabilità verso moltiplicatori inferiori (favorendo il batching) durante specifici regimi di backlog e offerta, piuttosto che applicare un retuning globale fisso.

Significato e Rivendicazioni

Il documento sostiene che questo lavoro illustra come il feedback del mondo reale da un sistema logistico ed economico attivo possa essere utilizzato per adattare in modo sicuro le policy decisionali online. Limitando l'agente RL a un'interfaccia stretta di pesi degli obiettivi, il sistema mantiene la fattibilità produttiva e le salvaguardie operative consentendo al contempo l'adattamento locale alle condizioni dinamiche.

Gli autori sottolineano che questo approccio consente la distribuzione sicura del RL in sistemi con impatti reali su operazioni e lavoro attraverso:

• L'uso di uno strato di controllo vincolato per garantire affidabilità e scalabilità.
• L'impiego di salvaguardie di RL offline (CQL) per gestire i cambiamenti di distribuzione e la scarsità di dati.
• Il ricorso alla sperimentazione online (switchback) per validare sicurezza ed efficacia prima del pieno dispiegamento.

Il lavoro funge da caso di studio per l'integrazione del RL in complessi mercati a tre facce dove le decisioni influenzano molteplici stakeholder e gli esiti sono ritardati e accoppiati.