Learning Risk Preferences in Markov Decision Processes: an Application to the Fourth Down Decision in the National Football League

Each language version is independently generated for its own context, not a direct translation.

Immagina di essere l'allenatore di una squadra di football americano. Sei sul campo, il quarto tempo sta per finire, e la tua squadra ha il pallone. È il quarto tentativo (il "fourth down") per avanzare di qualche metro e ottenere un nuovo set di tentativi.

Hai tre opzioni:

Andare avanti ("Go for it"): Rischi tutto. Se ce la fai, guadagni terreno e continui. Se fallisci, l'altra squadra prende il pallone proprio lì, in una posizione molto pericolosa per te.
Calcio di punizione ("Punt"): Consegni il pallone all'avversario, ma lo spingi indietro, lontano dalla tua zona di pericolo. È sicuro, ma perdi il possesso.
Tentativo di gol ("Field Goal"): Se sei vicino, puoi provare a calciare il pallone tra i pali per fare 3 punti. Se sbagli, l'avversario prende il pallone.

Per decenni, gli esperti di statistica hanno detto: "Allenatori, state sbagliando! Dovreste essere più coraggiosi e andare avanti più spesso". I modelli matematici suggerivano che il rischio di andare avanti fosse matematicamente vantaggioso. Eppure, gli allenatori continuavano a essere cauti, scegliendo quasi sempre il calcio di punizione.

Cosa hanno scoperto gli autori di questo articolo?
Hanno pensato: "Forse non stiamo guardando il problema dal punto di vista giusto. Forse gli allenatori non sono stupidi, ma semplicemente hanno una 'bussola' diversa."

Invece di chiedersi "Qual è la mossa migliore per vincere?", hanno chiesto: "Quale tipo di 'paura' o 'coraggio' deve avere un allenatore per prendere esattamente le decisioni che vediamo?"

Ecco come spiegano il loro metodo, usando metafore semplici:

1. La "Macchina del Tempo" (Il Modello MDP)

Immagina che ogni decisione sul campo sia come un nodo in un labirinto gigante. Se scegli un percorso, il labirinto cambia e ti porta a un nuovo punto. Gli autori hanno usato i dati di nove stagioni di football per costruire una mappa digitale di questo labirinto. Sanno esattamente cosa succede dopo ogni calcio, ogni corsa o ogni passaggio.

2. L'Investigatore Inverso (Inverse Optimization)

Di solito, gli statistici fanno così: "Ecco le regole, calcoliamo la mossa migliore".
Questi autori hanno fatto il contrario, come un detective che guarda le impronte digitali per capire chi è il colpevole.
Hanno detto: "Vediamo le decisioni reali degli allenatori. Ora, qual è la 'regola del gioco' nascosta che li ha portati a scegliere quelle mosse?"

3. Il Termostato della Paura (La Funzione Quantile)

Qui entra in gioco l'idea geniale. Immagina che ogni decisione abbia un "risultato futuro" che può essere ottimo, pessimo o nella media.

Un pessimista (molto avverso al rischio) guarda solo la peggiore delle possibilità future. Se c'è anche solo un piccolo rischio di disastro, scappa.
Un ottimista (che ama il rischio) guarda la migliore delle possibilità.
Un realista guarda la media.

Gli autori hanno scoperto che gli allenatori NFL agiscono come se stessero guardando il peggior scenario possibile (o quasi). Non stanno massimizzando la vittoria media, ma stanno cercando di evitare il disastro assoluto.
È come se guidassero un'auto non guardando la strada libera davanti, ma fissando il paraurti posteriore, preoccupati solo di non schiantarsi.

4. Le Scoperte Sorprendenti

Analizzando questo "termostato della paura", hanno trovato cose affascinanti:

La Paura cambia a seconda di dove sei: Quando la squadra è nel campo avversario (vicino alla zona di meta), gli allenatori sono molto più coraggiosi. Quando sono nel loro campo, sono estremamente timorosi. È come se il "termostato" si spostasse: in casa si ha più paura di sbagliare, in trasferta si è più disposti a rischiare.
Stanno diventando più coraggiosi: Con il passare degli anni (dal 2014 al 2022), gli allenatori sono diventati leggermente meno timorosi. Stanno iniziando ad ascoltare un po' di più la statistica.
La differenza tra "Teoria" e "Pratica": I modelli matematici puri (come il famoso "4th Down Bot") dicono di essere molto più coraggiosi. Gli allenatori reali sono più cauti. Tuttavia, quando una squadra è in grave difficoltà (poca probabilità di vincere), gli allenatori smettono di avere paura e iniziano a giocare come suggerisce la matematica: "Non abbiamo nulla da perdere, rischiamo tutto!".

In Sintesi

Questo articolo ci dice che gli allenatori NFL non sono irrazionali. Sono semplicemente estremamente sensibili al rischio. Non stanno cercando di massimizzare la vittoria media, ma stanno cercando di minimizzare la possibilità di un disastro immediato.

Usando la matematica inversa, gli autori hanno potuto "leggere nella mente" degli allenatori, quantificando esattamente quanto siano cauti o coraggiosi in diverse situazioni. È un po' come se avessero scoperto che, mentre tutti pensano che gli allenatori stiano giocando a scacchi per vincere, in realtà stanno giocando a "non farsi mangiare dal lupo", e la loro strategia è perfettamente logica per quel tipo di gioco.

Each language version is independently generated for its own context, not a direct translation.

Ecco un riassunto tecnico dettagliato del documento "Learning Risk Preferences in Markov Decision Processes: An Application to the Fourth Down Decision in the National Football League", presentato in italiano.

1. Il Problema

Nel football americano, la decisione sul "quarto down" (quarto tentativo per avanzare di 10 yard) è uno dei problemi decisionali più studiati. La letteratura esistente ha dimostrato da decenni che le decisioni osservate degli allenatori della NFL sono sistematicamente incoerenti con le prescrizioni ottimali basate su modelli statistici (che massimizzano la probabilità di vittoria o i punti attesi). Gli allenatori tendono a essere eccessivamente conservativi, optando per il calcio di punizione (punt) o il calcio di campo (field goal) anche quando i modelli suggerirebbero di tentare la conversione ("go for it").

La domanda di ricerca centrale di questo lavoro è: qual è il profilo di rischio sottostante che guida le decisioni degli allenatori?
Mentre studi precedenti hanno semplicemente constatato la discrepanza tra comportamento osservato e ottimalità teorica, questo paper mira a stimare quantitativamente la sensibilità al rischio implicita degli allenatori, assumendo che le loro decisioni siano ottimali rispetto a un criterio di ottimizzazione sconosciuto (ma non necessariamente la media dei valori futuri).

2. Metodologia

Gli autori sviluppano un framework di Ottimizzazione Inversa (Inverse Optimization) applicato a un Processo Decisionale di Markov (MDP).

A. Modellazione come MDP

Il gioco viene modellato come un MDP dove:

Stati ( $S$ ): Definiti da possesso di palla, down, yardline (raggruppate in intervalli di 10 yard) e yard necessarie per il primo down.
Azioni ( $A$ ): {Go (tentare la conversione), FGA (tentare il calcio di campo), Punt (calcio di punizione)}.
Transizioni e Ricompense: Le probabilità di transizione e le ricompense (punti) sono stimate dai dati play-by-play della NFL (stagioni 2014-2022). La ricompensa è definita in termini di punti attesi (es. TD = 6.95 punti, FG = 3 punti).
Politica: Si assume che le azioni future dopo il quarto down seguano una politica media di lega ( $\bar{\pi}$ ) stazionaria.

B. Il Problema Inverso e la Misura di Rischio

Invece di massimizzare il valore atteso $E[C(X,a)]$ (che implicherebbe avversione al rischio neutrale), gli autori ipotizzano che gli allenatori massimizzino un quantile $\tau$ della distribuzione del valore futuro:
$\max_{a \in A} Q_\tau[V^\pi(\sigma, a)]$
dove $V^\pi$ è il valore dello stato successivo più il valore atteso del resto della partita.
L'obiettivo è stimare il parametro $\tau \in [0, 1]$ che rende le decisioni osservate degli allenatori ottimali (o minimamente sub-ottimali).

Un $\tau$ basso (es. 0.1) indica una forte avversione al rischio (massimizzazione del "caso peggiore").
Un $\tau$ alto (es. 0.9) indica propensione al rischio.

C. Stima e Risoluzione

Stima delle Distribuzioni: Utilizzando i dati storici, si stimano le distribuzioni empiriche del valore dello stato successivo per ogni azione.
Smoothing: Per evitare instabilità nelle stime dovute a dati scarsi in certe situazioni (es. tentativi di conversione rari), viene applicato un modello additivo con vincoli di monotonia (shape-constrained additive model) per lisciare le funzioni quantili.
Partizionamento dello Spazio degli Stati: Poiché le preferenze di rischio potrebbero variare a seconda della posizione in campo, lo spazio degli stati viene partizionato in due regioni:
- $P_1$ : Metà campo avversaria (Opponent Half).
- $P_2$ : Metà campo propria (Own Half).
  Vengono stimati due quantili distinti, $\tau_1$ e $\tau_2$ .
Funzione di Perdita: L'obiettivo è minimizzare la distanza di Hamming tra le azioni osservate e le azioni ottimali calcolate per un dato $\tau$ .
Incertezza: Viene utilizzata la tecnica del Bootstrap (campionando a livello di partita) per quantificare l'incertezza attorno alle stime di $\tau$ .

3. Risultati Chiave

A. Avversione al Rischio Generale

Gli allenatori della NFL agiscono in modo coerente con l'ottimizzazione di quantili bassi della distribuzione del valore futuro.

Le stime medie di $\tau$ sono significativamente inferiori a 0.5, indicando una forte avversione al rischio (conservatorismo) rispetto alla massimizzazione del valore atteso.
Questo conferma quantitativamente che gli allenatori sono più preoccupati di evitare il "caso peggiore" (perdere il possesso in una posizione favorevole) rispetto a massimizzare il guadagno medio.

B. Differenze per Posizione in Campo

Esiste una differenza significativa nelle preferenze di rischio tra le due metà del campo:

Metà Campo Avversaria ( $P_1$ ): Gli allenatori mostrano una maggiore tolleranza al rischio (valori di $\tau$ più alti).
Metà Campo Propria ( $P_2$ ): Gli allenatori sono estremamente conservativi (valori di $\tau$ più bassi).
Questo suggerisce che la percezione del rischio cambia drasticamente a seconda della posizione, con una maggiore propensione a rischiare quando si è vicini alla zona di meta avversaria.

C. Evoluzione Temporale e Contesto di Partita

Trend Temporale: Analizzando le stagioni dal 2014 al 2022, si osserva un aumento generale della tolleranza al rischio nel tempo, specialmente nella metà campo avversaria.
Probabilità di Vittoria: La differenza tra il comportamento degli allenatori e le prescrizioni ottimali (basate sulla probabilità di vittoria) è più marcata quando la probabilità di vittoria è bassa o media. Tuttavia, quando la probabilità di vittoria è estremamente bassa (< 0.05), gli allenatori tendono ad allinearsi alle strategie ottimali (diventando più rischiosi).
Quarto Quarto: Le preferenze di rischio cambiano significativamente solo nel quarto quarto quando la probabilità di vittoria è molto bassa; in altri contesti, il comportamento rimane stabile.

D. Performance

Un'analisi di regressione mostra una correlazione positiva significativa tra il quantile stimato ( $\hat{\tau}$ ) e i punti medi guadagnati sul quarto down. Questo implica che gli allenatori con una maggiore tolleranza al rischio (valori di $\tau$ più alti) ottengono, in media, migliori risultati in termini di punti, suggerendo che l'eccessiva avversione al rischio attuale costa alle squadre circa 0.4 vittorie all'anno (coerente con studi precedenti).

4. Contributi Principali

Primo approccio di Ottimizzazione Inversa per MDP a Quantili: Gli autori sono i primi a formulare e risolvere un problema di ottimizzazione inversa dove l'obiettivo da stimare è un quantile di una distribuzione di ricompensa in un MDP, piuttosto che una funzione di ricompensa deterministica o un valore atteso.
Quantificazione del Rischio: Forniscono una metrica numerica diretta (il quantile $\tau$ ) per descrivere le preferenze di rischio degli allenatori, superando le semplici osservazioni qualitative.
Analisi Granulare: Dimostrano che le preferenze di rischio non sono monolitiche ma variano sistematicamente in base alla posizione in campo, alla probabilità di vittoria e alla stagione.
Validazione Empirica: Collegano direttamente le preferenze di rischio stimate alla performance reale (punti guadagnati), fornendo una giustificazione economica per il cambiamento comportamentale.

5. Significato e Implicazioni

Questo studio offre un nuovo paradigma per l'analisi sportiva e la teoria decisionale:

Per l'Analisi Sportiva: Fornisce agli analisti e ai coach uno strumento per comprendere perché vengono prese certe decisioni, non solo cosa viene deciso. Suggerisce che l'addestramento e l'educazione dei coach dovrebbero focalizzarsi sulla gestione del rischio e sulla comprensione delle distribuzioni di probabilità, piuttosto che solo sui valori attesi.
Per la Ricerca Operativa: Estende il campo dell'ottimizzazione inversa a problemi con obiettivi di rischio non lineari (quantili), aprendo la strada ad applicazioni in finanza, gestione della catena di approvvigionamento e altri settori dove i decisori non sono neutri al rischio.
Impatto Pratico: I risultati indicano che c'è spazio per migliorare le prestazioni della lega riducendo l'avversione al rischio eccessiva, specialmente nelle situazioni di metà campo avversaria.

In sintesi, il paper dimostra che le decisioni "irrazionali" degli allenatori sono in realtà ottimali rispetto a un criterio di rischio conservativo specifico, che può essere modellato, misurato e, potenzialmente, ottimizzato per migliorare i risultati delle squadre.