Adaptive Double-Booking Strategy for Outpatient Scheduling Using Multi-Objective Reinforcement Learning

Each language version is independently generated for its own context, not a direct translation.

Immagina un ambulatorio medico come un ristorante molto affollato.

Il Problema: I "No-Show" (I clienti fantasma)

In questo ristorante, succede spesso che qualcuno prenoti un tavolo ma non si presenti.

Il risultato: Il cameriere (il medico) rimane seduto a guardare il muro, perdendo tempo e soldi.
La soluzione vecchia: Per evitare questo, il ristorante decide di mettere due persone allo stesso tavolo (doppia prenotazione) sperando che almeno una delle due non venga.
Il problema della soluzione vecchia: Se entrambe le persone arrivano, il tavolo diventa un caos. C'è una fila, la gente si arrabbia, il cameriere è stressato e il servizio va a rotoli. Inoltre, le regole per mettere due persone allo stesso tavolo sono spesso rigide: "Se piove, metti due persone; se c'è il sole, metti una sola". Ma la realtà è molto più complessa!

La Soluzione Proposta: Il "Sommelier Intelligente"

Gli autori di questo studio hanno creato un Sommelier Intelligente (un'intelligenza artificiale) che non usa regole fisse, ma impara a gestire i tavoli in tempo reale.

Ecco come funziona, passo dopo passo:

1. Il Radar per i "Fantasmi" (Predizione)

Prima di assegnare un tavolo, il Sommelier guarda il "profilo" del cliente. Non guarda solo se è maschio o femmina, ma analizza centinaia di dettagli:

Ha prenotato da molto tempo o all'ultimo minuto?
È venuto spesso in passato?
Che tempo c'è fuori?
Che tipo di visita deve fare?

Basandosi su questi dati, il Sommelier calcola la probabilità che quel cliente specifico diventi un "fantasma" (non si presenti). È come se dicesse: "Il signor Rossi ha il 70% di probabilità di non venire oggi".

2. Il Gioco degli Scacchi (Reinforcement Learning)

Il Sommelier non è solo un calcolatore, è un giocatore di scacchi che impara giocando.

L'obiettivo: Deve bilanciare tre cose:
1. Non lasciare i tavoli vuoti (massimizzare l'uso).
2. Non creare caos (evitare che due persone arrivino insieme).
3. Mantenere l'ordine (avere esattamente una persona per tavolo in media).

Il sistema prova milioni di scenari virtuali (come se giocasse a scacchi contro se stesso milioni di volte) per imparare la strategia migliore. Se mette due persone e arrivano entrambe, impara che quella mossa era sbagliata. Se lascia un tavolo vuoto, impara che avrebbe potuto mettere qualcuno.

3. La Magia della "Co-Evoluzione" (Il Team di Strategisti)

Qui arriva la parte più innovativa. Invece di avere un solo Sommelier, ne hanno creati dieci, ognuno con una personalità leggermente diversa:

Uno è molto conservatore: "Meglio un tavolo vuoto che un caos!"
Uno è molto aggressivo: "Riempiamo tutto, anche se c'è un rischio!"
Altri sono equilibrati.

Questi dieci "agenti" imparano insieme. Se uno di loro scopre una mossa geniale per evitare il caos, la condivide con gli altri che hanno uno stile simile, ma non con quelli troppo diversi (per non confonderli). È come un gruppo di amici che si scambiano i trucchi di guida: chi guida in modo simile impara dagli errori dell'altro, ma chi guida in modo totalmente diverso mantiene il suo stile.

4. La "Lente Magica" (Spiegabilità)

Spesso l'intelligenza artificiale è una "scatola nera": sappiamo cosa fa, ma non perché. Qui, gli autori usano una lente magica chiamata SHAP.
Questa lente ci permette di vedere esattamente cosa pensava il Sommelier:

"Ho messo due persone perché il cliente A ha un'alta probabilità di non venire E c'è ancora spazio."
"Ho rifiutato la prenotazione perché il tavolo era già troppo rischioso."

Questo è fondamentale perché i medici umani devono fidarsi della macchina.

I Risultati: Chi vince?

Quando hanno messo alla prova questo sistema intelligente rispetto alle vecchie regole fisse:

Le vecchie regole (metti due persone se piove) hanno creato più caos o lasciato più tavoli vuoti.
Il Sommelier Intelligente ha riempito i tavoli in modo perfetto: meno tempi morti per i medici, meno code per i pazienti e meno stress per tutti.

In Sintesi

Questo studio ci dice che per gestire un ambulatorio medico (o un ristorante, o un aereo), non basta usare regole rigide scritte su un foglio. Serve un sistema che ascolta, impara e si adatta in tempo reale, capendo che ogni paziente è diverso dagli altri.

È come passare da un semaforo che cambia colore ogni 60 secondi fissi, a un semaforo intelligente che guarda il traffico reale e decide quando far passare le auto per evitare ingorghi, ma anche per non farle aspettare inutilmente.

Each language version is independently generated for its own context, not a direct translation.

Titolo: Strategia di Doppia Prenotazione Adattiva per la Programmazione Ambulatoriale tramite Apprendimento per Rinforzo Multi-Obiettivo

1. Il Problema

La mancata presenza dei pazienti (no-show) rappresenta una sfida critica per le cliniche ambulatoriali, causando sottoutilizzo delle risorse, riduzione della produttività, tempi di attesa prolungati e potenziali ritardi nelle cure necessarie. Per mitigare questi effetti, le cliniche adottano spesso strategie di overbooking (prenotazione eccessiva) o doppia prenotazione (assegnazione di due pazienti allo stesso slot temporale).
Tuttavia, le politiche attuali presentano limiti significativi:

Staticità: La maggior parte delle strategie si basa su regole euristiche fisse o su livelli di sovrapprenotazione uniformi, senza adattarsi alle condizioni in tempo reale o al rischio specifico di ciascun paziente.
Compromessi non ottimizzati: Una politica di doppia prenotazione applicata indiscriminatamente può portare a sovraffollamento (double-show) e tempi di attesa eccessivi se la previsione di assenza è errata.
Mancanza di adattabilità: I metodi di ottimizzazione tradizionali faticano a gestire la natura sequenziale, stocastica e multi-obiettivo della programmazione ambulatoriale su orizzonti temporali multi-giornalieri.

L'obiettivo dello studio è sviluppare un framework adattivo che integri la previsione individuale del rischio di no-show con un processo decisionale dinamico per bilanciare l'efficienza operativa e la qualità del servizio.

2. Metodologia

Il lavoro propone un framework ibrido che combina modelli predittivi avanzati e Apprendimento per Rinforzo (RL) multi-obiettivo.

A. Previsione del No-Show (Livello Predittivo)

Viene utilizzato il modello MHASRF (Multi-Head Attention Soft Random Forest), un modello sviluppato precedentemente dagli autori.
Questo modello combina un Random Forest a splitting probabilistico con un meccanismo di attenzione multi-testa per catturare interazioni complesse tra le caratteristiche dei pazienti e degli appuntamenti.
Output: Una probabilità di no-show individualizzata ( $\pi_i$ ) per ogni richiesta di prenotazione, che diventa un input fondamentale per il processo decisionale.

B. Formulazione del Problema (MDP)
Il problema è modellato come un Processo Decisionale di Markov (MDP):

Stato ( $s_t$ ): Include informazioni sul contesto (clinica, reparto, medico), lo stato degli slot (disponibile, singolo, doppio), il numero di pazienti schedulati, e la probabilità di no-show del paziente corrente.
Azione ( $a_t$ ): L'agente sceglie tra tre opzioni:
1. Prenotazione singola (Single-book).
2. Doppia prenotazione (Double-book).
3. Rifiuto della richiesta (Reject).
Transizioni: Gestiscono eventi di prenotazione (arrivo richieste) e eventi di arrivo (realizzazione della presenza/assenza).
Ricompensa Multi-Obiettivo: La funzione di ricompensa bilancia tre obiettivi concorrenti:
1. Utilizzo efficace dello slot ( $U$ ): Massimizzare la presenza di esattamente un paziente per slot.
2. Evitamento del doppio arrivo ( $D$ ): Minimizzare il rischio che due pazienti prenotati per lo stesso slot si presentino contemporaneamente.
3. Bilanciamento della presenza ( $B$ ): Allineare la presenza attesa alla capacità target di un paziente per slot.
Ricompensa Modellata (Shaped Reward): Per accelerare l'apprendimento, viene utilizzata una ricompensa basata sulle probabilità previste di no-show prima che l'esito reale sia noto, mitigando il ritardo nella ricompensa.

C. Algoritmo di Apprendimento (MPPPO con MPCEM)

MPPPO (Multi-Policy Proximal Policy Optimization): Invece di addestrare una singola politica, il sistema addestra in parallelo un insieme di politiche ( $\Pi$ ), ciascuna ottimizzata con un diverso vettore di pesi per gli obiettivi. Questo permette di approssimare il fronte di Pareto, offrendo diverse strategie di compromesso.
MPCEM (Multi-Policy Co-Evolution Mechanism): Per migliorare la stabilità e la diversità, viene introdotta una nuova regola adattiva basata sulla divergenza di Kullback-Leibler (KL).
- Invece di un coefficiente di trasferimento fisso ( $\tau$ ), il sistema calcola la similarità comportamentale tra le politiche vicine nello spazio dei pesi.
- Il trasferimento di conoscenza (aggiornamento dei parametri) avviene selettivamente tra politiche con comportamenti simili, preservando la diversità tra quelle dissimili.
Interpretabilità: Viene utilizzata la tecnica SHAP (SHapley Additive exPlanations) per analizzare come l'agente RL utilizza le variabili di stato (es. probabilità di no-show, carico di lavoro) per prendere decisioni.

3. Contributi Chiave

Prima formulazione MDP multi-obiettivo: È il primo studio che formula esplicitamente il problema di scheduling ambulatoriale come MDP multi-obiettivo, gestendo decisioni di singola/doppia prenotazione e rifiuto con un vincolo massimo di due pazienti per slot.
Integrazione Predizione-Decisione: Integrazione diretta delle probabilità di no-show individuali (generate da MHASRF) nello stato del RL, permettendo decisioni granulari basate sul rischio specifico del paziente.
Nuovo Meccanismo di Co-Evoluzione (KL-based $\tau$ ): Sviluppo di un meccanismo innovativo per il trasferimento di conoscenza tra politiche multi-obiettivo, che supera i limiti degli approcci a coefficiente fisso migliorando la convergenza e la copertura del fronte di Pareto.
Framework Adattivo e Interpretabile: Un sistema che non solo supera le regole fisse, ma fornisce anche spiegazioni sulle decisioni prese tramite SHAP, aumentando la fiducia degli operatori sanitari.

4. Risultati

Gli esperimenti sono stati condotti su un dataset reale di oltre 157.000 appuntamenti da una grande struttura sanitaria in Medio Oriente.

Confronto con Baseline: Le politiche MPPPO hanno superato costantemente le strategie euristiche (prenotazione singola e doppia prenotazione a soglia fissa).
- Utilizzo Efficace: Le politiche MPPPO hanno raggiunto un utilizzo dello slot tra il 76,2% e il 79,3%, contro il 64,2% della prenotazione singola e il 67,8-70,6% delle politiche fisse.
- Ricompensa Ponderata: I policy MPPPO hanno ottenuto ricompense medie superiori (fino a 8.922) rispetto alle baseline (7.006 - 8.058).
Analisi dei Compromessi: Le politiche MPPPO 3 e MPPPO 10 hanno formato un fronte di Pareto approssimato. È emerso che l'obiettivo di "Bilanciamento della presenza" (Attendance Balance) agisce come un mediatore efficace, migliorando sia l'utilizzo che riducendo il rischio di sovraffollamento.
Robustezza: Il sistema si è dimostrato robusto a perturbazioni moderate delle probabilità di previsione ( $\pm 3\%$ ), con variazioni di ricompensa inferiori all'1%. Tuttavia, sovrastimare significativamente il rischio di no-show ( $\pm 5\%$ ) può portare a un aumento delle decisioni di doppia prenotazione e a un calo delle prestazioni.
Interpretabilità (SHAP): L'analisi SHAP ha confermato che l'agente adotta strategie intuitive: preferisce la prenotazione singola quando il rischio di assenza è basso e il carico è alto, e applica la doppia prenotazione selettivamente quando il rischio di assenza è elevato e c'è flessibilità nell'agenda.

5. Significato e Implicazioni

Questo studio rappresenta un avanzamento significativo nella gestione operativa delle cliniche ambulatoriali:

Transizione da Regole Fisse a Decisioni Dinamiche: Dimostra che l'uso dell'RL multi-obiettivo, alimentato da dati predittivi individuali, supera le limitazioni delle regole statiche, adattandosi in tempo reale alla domanda e al rischio.
Gestione del Rischio: Offre un metodo scientificamente fondato per bilanciare l'efficienza (riduzione dei tempi morti) e la qualità del servizio (riduzione dei tempi di attesa e dello stress del personale).
Flessibilità Operativa: La capacità di generare un ventaglio di politiche (fronte di Pareto) permette ai gestori clinici di selezionare la strategia più adatta in base alle priorità del momento (es. priorità all'efficienza in giorni di alta domanda, o priorità alla sicurezza in periodi di bassa affluenza).
Scalabilità: Il framework è progettato per essere esteso a volumi di pazienti più grandi e a scenari di scheduling end-to-end più complessi, inclusi i tempi di attesa dei pazienti e l'utilizzo del personale.

In sintesi, il lavoro propone una soluzione data-driven, adattiva e interpretabile che trasforma la gestione degli appuntamenti da un processo reattivo a uno proattivo e ottimizzato.