Learning Risk Preferences in Markov Decision Processes: an Application to the Fourth Down Decision in the National Football League

Deze studie gebruikt een inverse optimalisatiebenadering op een Markov-beslissingsproces om aan te tonen dat NFL-coaches doorgaans conservatieve risicopreferenties hanteren bij vierde-down-beslissingen, hoewel deze tolerantie toeneemt op het veld van de tegenstander en door de jaren heen.

De kern

Het Grote Vierde Daling-Dilemma: Waarom NFL-coaches zo conservatief zijn (en wat dat over hen zegt)

Stel je voor dat je een voetbalcoach bent in de Amerikaanse NFL. Je staat op het veld, je team heeft de bal, en je moet een cruciale beslissing nemen: Vierde Daling.

Je hebt drie opties:

1. Gaan voor het doel: Probeer die laatste paar meters te halen om de bal weer te krijgen. (Hoog risico, hoge beloning).
2. Veldgoal proberen: Schiet op de paal voor 3 punten. (Middel risico, zekerheid als het lukt).
3. Punten: Trap de bal weg naar de tegenstander. (Veilig, maar je geeft de bal op).

Jarenlang hebben statistici gezegd: "Coaches, jullie zijn te bang! Jullie moeten vaker gaan voor het doel, want wiskundig gezien win je meer wedstrijden als je dat doet." Maar coaches luisterden niet. Ze bleven te vaak punten.

In dit onderzoek kijken de auteurs niet naar wat de coaches doen, maar naar waarom ze dat doen. Ze gebruiken een slimme wiskundige truc om de "angst" van de coaches te meten.

De Wiskundige Truc: Omgekeerd Denken

Stel je voor dat je een detective bent. Je ziet een spoor van voetafdrukken in het zand.

• Normale wiskunde (Voorspellen): "Als ik deze route loop, waar kom ik dan uit?"
• Deze paper (Omgekeerd denken): "Ik zie deze voetafdrukken. Welke route moet ik hebben gelopen om precies hier te eindigen?"

De auteurs zeggen: "Laten we aannemen dat de coaches niet dom zijn. Ze nemen de beslissingen die zij het beste vinden. Maar wat vinden zij 'het beste'? Misschien maximaliseren ze niet hun gemiddelde winstkans, maar maximaliseren ze hun veiligheid."

Ze gebruiken een model genaamd een Markov Decision Process (MDP). Dat klinkt ingewikkeld, maar denk het simpelweg als een gokspel.

• Bij elke beslissing is er een kans op een goed resultaat (een touchdown) en een kans op een slecht resultaat (balverlies).
• Een "risicovrije" coach kijkt alleen naar het gemiddelde.
• Een "angstige" coach kijkt naar het slechtst mogelijke scenario. Hij vraagt zich af: "Wat is het ergste dat kan gebeuren als ik ga voor het doel? En is dat erg genoeg om het niet te doen?"

De auteurs noemen dit het kwantiel. Het is als kijken naar de onderkant van een berg ijs. Hoe lager je kijkt (hoe meer je bang bent voor het ijs), hoe conservatiever je wordt.

Wat hebben ze ontdekt?

Door de beslissingen van coaches uit de laatste 9 jaar te analyseren, hebben ze een "risicoprofiel" voor de NFL getekend. Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaagse taal:

1. De "Eigen Tuin" vs. "De Buurman"
Coaches zijn in hun eigen helft van het veld extreem bang. Ze gedragen zich alsof ze in een glazen huis wonen en bang zijn om iets te breken. Ze punten (trappen weg) bijna altijd.
Maar als ze in de helft van de tegenstander staan, worden ze veel dapperder. Ze zijn bereid om meer risico te nemen.

• Analogie: Als je in je eigen tuin staat, durf je geen steen te gooien uit angst dat je raam breekt. Maar als je in de tuin van je buurman staat, gooi je misschien wel een steen, omdat je denkt: "Nou, als het misgaat, is het hun probleem."

2. De Angst neemt af (maar nog steeds te veel)
In de loop der jaren (van 2014 tot 2022) zijn coaches iets dapperder geworden. Ze durven vaker te gaan voor het doel. Maar ze zijn nog steeds veel te bang vergeleken met wat de statistieken zeggen dat ze zouden moeten doen. Ze spelen op de veilige kant, terwijl de winstkans voor het "dappere" spel veel groter is.

3. Het einde van de wedstrijd
Als een team al bijna zeker gaat verliezen (ze hebben een heel lage kans om te winnen), worden coaches in de vierde kwart plotseling heel dapper. Ze gaan alles op alles zetten. Dit is logisch: "We gaan sowieso verliezen, dus waarom niet proberen?" Maar zolang ze nog een kans hebben, blijven ze vaak te voorzichtig.

4. Elke coach is anders
Sommige coaches zijn echte "veiligheidsfreaks" (ze punten altijd), terwijl anderen (zoals Mike McCarthy of Sean McVay) veel meer risico nemen en dichter bij de wiskundige "optimale" beslissing zitten. Het is alsof sommige chauffeurs altijd met 30 km/u rijden, terwijl anderen netjes 50 km/u doen, zelfs als de weg leeg is.

Waarom is dit belangrijk?

Vroeger zeiden statistici: "Coaches, jullie zijn dom en moeten luisteren naar de cijfers."
Deze paper zegt: "Nee, coaches zijn niet dom. Ze zijn gewoon anders ingesteld."

Ze maximaliseren niet hun winstkans, maar ze maximaliseren hun veiligheid (of minimaliseren hun angst voor een ramp). Ze kijken naar het slechtst mogelijke scenario en kiezen daarvoor.

De les voor ons allemaal:
Of het nu gaat om voetbal, beleggen of het nemen van een nieuw baan: we kijken vaak naar het gemiddelde resultaat. Maar in de praktijk laten we ons vaak leiden door de angst voor het slechtst mogelijke resultaat. Deze studie laat zien dat we, als we onze "risicoprofielen" begrijpen, betere beslissingen kunnen nemen. Misschien moeten we niet alleen kijken naar wat we kunnen winnen, maar ook naar wat we durven te verliezen.

Kortom: De coaches zijn geen slechte wiskundigen; ze zijn gewoon heel voorzichtige mensen die liever een klein risico nemen op een grote teleurstelling dan een groot risico op een kleine teleurstelling. En dat is iets wat we allemaal herkennen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Learning Risk Preferences in Markov Decision Processes: An Application to the Fourth Down Decision in the National Football League" in het Nederlands.

1. Probleemstelling

In de National Football League (NFL) zijn de waargenomen beslissingen van coaches op de vierde down (fourth down) decennialang inconsistent gebleken met de voorspellingen van statistische modellen. Traditionele modellen, die uitgaan van risiconeutraliteit of winstkansmaximalisatie, raden coaches vaak aan om "te gaan" (go for it) in situaties waar ze in werkelijkheid kiezen voor een veldgoal of een punt.

De kernvraag van dit artikel is niet waarom coaches suboptimaal handelen volgens een vast model, maar welke risicopreferenties onderliggend zijn aan hun gedrag. De auteurs stellen dat coaches wellicht wel optimaal handelen, maar dan ten opzichte van een onbekend risicomaatstaf (bijvoorbeeld het maximaliseren van een specifiek kwantiel van de toekomstige waardeverdeling in plaats van de verwachte waarde). Het doel is om deze impliciete risicogevoeligheid te kwantificeren via een inverse optimalisatie-aanpak.

2. Methodologie

De auteurs ontwikkelen een raamwerk dat een Markov-beslissingsproces (MDP) combineert met inverse optimalisatie (IO).

A. Modellering als MDP:

• Toestanden ($S$): De toestand omvat de balbezitter, de down, de veldpositie (in 10-jaard-bins) en de yards tot de eerste down. De auteurs onderscheiden ook score-toestanden (touchdown, veldgoal, safety).
• Acties ($A$): Op de vierde down zijn de mogelijke acties: "Go for it" (GO), "Field Goal Attempt" (FGA) en "Punt" (PUNT).
• Overgangskansen: Geschat op basis van play-by-play data van de seizoenen 2014-2022.
• Beloningsfunctie ($r$): Gebaseerd op het verwachte puntverschil (points gained). Een touchdown wordt gewaardeerd op 6,95 punten (6 punten + gemiddelde conversiewaarde), een veldgoal op 3, en een safety op -2.
• Forward Probleem: Normaal gesproken zou men een beleid $\pi$ kiezen dat de verwachte toekomstige beloning maximaliseert.

B. Inverse Optimalisatie (IO):
In plaats van een beleid te voorspellen, nemen de auteurs de waargenomen beslissingen als optimaal en proberen ze de onderliggende objectieve functie te vinden.

• Risicomaatstaf: In plaats van de verwachting ($E[X]$) te maximaliseren, maximaliseren coaches een $\tau$-kwantiel ($Q_\tau[X]$) van de verdeling van de "next-state value" (de som van de directe beloning en de verwachte toekomstige waarde).
• Doelfunctie: De auteurs definiëren een klasse van kandidaat-doelfuncties $Q_\pi$ geïndexeerd door $\tau \in [0,1]$. Een lage $\tau$ impliceert conservatief gedrag (focus op het slechtste scenario), terwijl een hoge $\tau$ risicovoller gedrag impliceert.
• Verliesfunctie: Het doel is om $\tau$ te vinden dat het Hamming-verlies minimaliseert tussen de waargenomen beslissingen en de theoretisch optimale beslissingen voor dat specifieke $\tau$.

C. Schatting en Regularisatie:

• Data: Gebruik van openbare NFL-data via het nflfastR pakket.
• Schatting: Overgangskansen en waarden worden empirisch geschat. Omdat coaches zelden "go for it" doen in bepaalde situaties, zijn de empirische schattingen daar onstabiel. De auteurs gebruiken shape-constrained additive models (monotone smoothing) om de kwantiel-schattingen te regulariseren en irrationele "eilanden" in de beslissingskaarten te elimineren.
• Partitie: Om identificeerbaarheid te garanderen en complexiteit te beheersen, wordt de veldruimte opgesplitst in twee regio's: de eigen helft en de helft van de tegenstander (gescheiden bij de 50-yard lijn). Dit omdat coaches vaak verschillende risicoprofielen hebben afhankelijk van de veldpositie.
• Onzekerheid: Er wordt gebruik gemaakt van bootstrapping op game-niveau om de onzekerheid rondom de geschatte $\tau$-waarden te kwantificeren.

3. Belangrijkste Resultaten

A. Conservatief Risicoprofiel:
Over het algemeen blijken coaches te handelen alsof ze het maximaliseren van een laag kwantiel (lage $\tau$, typisch tussen 0,3 en 0,5) van de toekomstige waardeverdeling nastreven. Dit correspondeert met een conservatieve risicopreferentie: coaches vermijden het risico van een balverlies op de eigen helft boven een potentiële winst, zelfs als de verwachte waarde (risk-neutral) anders zou suggereren.

B. Verschil per Veldhelft:
Er is een significant verschil in risicotolerantie afhankelijk van de veldpositie:

• Eigen helft: Coaches zijn extreem risicomijdend (ze kiezen bijna altijd voor punt of veldgoal).
• Helft van de tegenstander: Coaches tonen een hogere risicotolerantie en zijn vaker bereid om "te gaan".
• De geschatte $\tau$-waarden zijn systematisch hoger in de helft van de tegenstander dan in de eigen helft.

C. Evolutie in de Tijd:
De analyse toont aan dat de risicotolerantie van coaches in de NFL toegenomen is tussen 2014 en 2022. Coaches zijn over het algemeen bereid om meer risico te nemen dan in het verleden, hoewel ze nog steeds conservatiever zijn dan wat strikte winstkansmodellen voorschrijven.

D. Invloed van Winstkans en Kwartier:

• Bij zeer lage winstkansen (onder 0,2) gedragen coaches zich in de vierde kwart (Q4) risicovoller dan in de eerdere kwartieren, wat overeenkomt met de "alles of niets"-strategie die nodig is om de wedstrijd nog te winnen.
• In situaties met een hoge winstkans gedragen coaches zich consistent conservatief, ongeacht het kwartier.

E. Prestatiecorrelatie:
Een regressieanalyse toont een positief verband tussen de geschatte risicotolerantie ($\hat{\tau}$) en het gemiddelde aantal punten dat een team wint op vierde down. Dit suggereert dat overmatige risicomijding (te lage $\tau$) negatief samenhangt met de prestaties van het team.

4. Bijdragen en Significantie

Technische Bijdrage:

• Dit is, voor zover bekend, het eerste werk dat inverse optimalisatie toepast op kwantiel-MDP's. De meeste bestaande IO-methoden gaan uit van deterministische doelfuncties of verwachtingen (risk-neutral).
• De auteurs introduceren een methode om risicopreferenties direct te leren uit waargenomen data zonder een vooraf gedefinieerde nuttelfunctie (utility function) te specificeren, maar door de risicomaatstaf zelf te parametriseren.
• De combinatie van shape-constrained additive models met inverse optimalisatie lost het probleem van data-schaarste en onstabiele schattingen in specifieke toestanden op.

Praktische Significantie:

• Verklaring van Gedrag: Het model biedt een kwantitatieve verklaring voor het "irrationele" gedrag van coaches. Het is niet per se onwetendheid, maar een bewuste (of onbewuste) afweging van risico die verschilt van de risiconeutrale benadering van analisten.
• Besluitvorming: De resultaten kunnen coaches helpen om hun eigen risicoprofiel te begrijpen en mogelijk aan te passen aan de statistische realiteit, wat kan leiden tot betere prestaties (meer winsten).
• Algemene Toepasbaarheid: De methode is niet beperkt tot sport; het raamwerk kan worden toegepast in andere domeinen (zoals finance of supply chain management) om de risicopreferenties van besluitvormers te infereren uit hun historische beslissingen.

Conclusie

Het artikel demonstreert succesvol dat de schijnbare discrepantie tussen coach-gedrag en statistische modellen kan worden verklaard door een risicogevoelige optimalisatie te veronderstellen. Door het gebruik van inverse optimalisatie op een kwantiel-MDP, kunnen de auteurs de impliciete risicopreferenties van NFL-coaches schatten, wat inzicht geeft in waarom ze conservatiever zijn dan modellen voorspellen, en hoe dit gedrag varieert afhankelijk van de veldpositie en de tijd in de wedstrijd.