Learning Risk Preferences in Markov Decision Processes: an Application to the Fourth Down Decision in the National Football League

En modélisant les décisions de quatrième down de l'NFL comme un processus de décision markovien résolu par optimisation inverse, cette étude révèle que les entraîneurs adoptent des préférences de risque conservatrices qui s'atténuent dans le demi-terrain adverse et évoluent vers plus de tolérance au risque au fil du temps.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si on en parlait autour d'un café.

🏈 Le Grand Mystère du 4ème Essai

Imaginez que vous regardez un match de football américain. Votre équipe est au 4ème essai (la dernière chance pour avancer de 10 yards). C'est le moment de vérité. Le coach a trois options :

1. Tenter le coup (Go for it) : Risquer la balle pour gagner du terrain.
2. Tirer un field goal : Essayer de marquer 3 points (si on est proche).
3. Punter (Céder la balle) : Envoyer la balle loin pour que l'adversaire commence loin, mais perdre la possession.

Depuis des décennies, les experts en statistiques disent : "Les coachs sont trop peureux ! Ils devraient tenter le coup beaucoup plus souvent." Les modèles mathématiques montrent que tenter le coup rapporte plus de points à long terme. Pourtant, les coachs continuent de "punter" ou de tirer, même quand les maths disent le contraire.

La question de l'article : Pourquoi font-ils ça ? Sont-ils mauvais en maths ? Ou ont-ils une logique cachée que nous ne voyons pas ?

🕵️‍♂️ L'Enquête à l'Envers (Optimisation Inverse)

Habituellement, les scientifiques disent : "Voici les règles, voici le risque, donc voici la décision idéale."
Ces chercheurs ont fait l'inverse. Ils ont dit : "On sait que les coachs prennent ces décisions. On suppose qu'ils sont intelligents et qu'ils essaient de gagner. Donc, quelles sont les règles cachées qu'ils utilisent pour prendre ces décisions ?"

C'est comme si vous regardiez quelqu'un jouer aux échecs et que vous essayiez de deviner sa stratégie en observant ses coups, plutôt que de lui demander "Quelle est ta stratégie ?".

🎲 La Théorie du "Parachute de Sécurité" (La Fonction Quantile)

Pour expliquer le comportement des coachs, les chercheurs ont utilisé un concept mathématique appelé le quantile.

Imaginez que chaque décision a une "distribution de résultats" possible, comme une boîte de surprises :

• Le résultat moyen (Espérance) : C'est ce que vous gagnez en moyenne sur 100 tentatives.
• Le quantile bas (Le pire scénario probable) : C'est ce qui se passe si vous avez un peu de malchance, mais pas le pire des pires.

L'analogie du parapluie :

• Un joueur neutre au risque (comme un robot) regarde la moyenne. Il dit : "En moyenne, je gagne 5 points, donc je tente !".
• Un coach peureux (conservateur) ne regarde pas la moyenne. Il regarde le pire scénario probable. Il se dit : "Si je tente et que je rate, je perds la balle ici, et c'est terrible. Je préfère punter même si je gagne moins en moyenne, car je veux éviter le pire."

Les chercheurs ont découvert que les coachs agissent comme s'ils essayaient d'optimiser le pire des cas probables (un quantile bas), et non la moyenne. Ils sont des "paranoïaques rationnels" : ils préfèrent un résultat moyen garanti plutôt qu'un gros gain risqué.

🗺️ Les Découvertes Clés

En analysant des milliers de matchs (de 2014 à 2022), ils ont trouvé des choses fascinantes :

1. Le terrain change tout :

   • Quand l'équipe est dans son propre camp (loin du but adverse), les coachs sont super peureux. Ils ont peur de faire une erreur et de donner un avantage à l'adversaire.
   • Quand l'équipe est dans le camp adverse (près du but), les coachs deviennent plus courageux. Ils sont prêts à prendre des risques pour marquer. C'est comme si la peur de "gâcher" un avantage proche les poussait à être plus audacieux.

2. L'évolution dans le temps :

   • Les coachs deviennent moins peureux au fil des années. Les nouvelles générations de coachs sont plus enclines à tenter le coup que celles d'il y a 10 ans. La culture du football change !

3. La pression du score :

   • Si l'équipe perd beaucoup et qu'il reste peu de temps, les coachs deviennent soudainement très audacieux (ils tentent le coup même dans leur propre camp). C'est logique : quand on a tout à perdre, on arrête d'avoir peur.

🧠 Pourquoi c'est important ?

Cette étude ne dit pas simplement "les coachs ont tort". Elle dit : "Les coachs ne sont pas fous, ils ont juste une autre définition de la victoire."

Ils ne cherchent pas à maximiser les points en moyenne, ils cherchent à minimiser la probabilité d'un désastre immédiat. C'est une forme de prudence extrême.

En résumé :
Imaginez que vous devez traverser une rivière.

• Le modèle statistique dit : "Il y a 80% de chance que le pont tienne, donc traverse !".
• Le coach dit : "Il y a 20% de chance que le pont s'effondre. Si ça arrive, je me noie. Donc je ne traverse pas, même si ça prend du temps."

Les chercheurs ont réussi à mesurer exactement "combien" de peur chaque coach a dans son cœur, en utilisant les mathématiques pour lire entre les lignes de leurs décisions. C'est une façon brillante de comprendre la psychologie humaine derrière les chiffres froids.

Résumé technique

Voici un résumé technique détaillé de l'article « Learning Risk Preferences in Markov Decision Processes: An Application to the Fourth Down Decision in the National Football League » (Apprentissage des préférences de risque dans les processus de décision de Markov : Une application à la décision de quatrième down dans la NFL), rédigé en français.

---

1. Problématique et Contexte

La décision de « quatrième down » (quatrième tentative pour avancer de 10 yards) dans le football américain est l'un des problèmes décisionnels les plus étudiés en analytique sportive. Les recherches antérieures ont systématiquement démontré que les décisions observées des entraîneurs de la NFL sont souvent incohérentes avec les prescriptions des modèles statistiques optimaux (généralement basés sur la maximisation de la probabilité de victoire ou des points attendus).

Les entraîneurs semblent adopter une stratégie excessivement conservatrice (choisir le « punt » ou le « field goal ») par rapport à ce que les modèles préconisent (choisir « go for it »). L'hypothèse centrale de cet article est que cette divergence ne provient pas d'une irrationalité, mais d'une aversion au risque sous-jacente différente. Les auteurs postulent que les entraîneurs optimisent non pas l'espérance mathématique des résultats futurs, mais un quantile spécifique de la distribution des valeurs futures du jeu.

L'objectif est d'utiliser une approche d'optimisation inverse pour inférer les préférences de risque implicites des entraîneurs à partir de leurs décisions observées, en modélisant le jeu comme un Processus de Décision de Markov (MDP).

2. Méthodologie

La méthodologie proposée combine la théorie des MDP, l'optimisation inverse et l'estimation de quantiles.

A. Modélisation du Problème (MDP)

Les auteurs modélisent la décision de quatrième down et la séquence de jeux subséquente comme un MDP à horizon fini :

• États ($S$) : Définis par la possession, le down, la position sur le terrain (yardline) et les yards à parcourir. L'espace d'état est partitionné en deux régions : le « demi de terrain adverse » (Opponent Half) et le « demi de terrain propre » (Own Half).
• Actions ($A$) : {GO (aller pour le premier down), FGA (tentative de but de terrain), PUNT (punts)}.
• Récompenses ($r$) : Basées sur les points marqués (Touchdown = 6.95, Field Goal = 3, Safety = -2 pour l'adversaire).
• Dynamique : Les probabilités de transition sont estimées empiriquement à partir des données play-by-play de la saison 2014 à 2022.

B. Formulation du Problème Inverse

Au lieu de chercher la politique optimale pour un risque donné, les auteurs cherchent le paramètre de risque qui rend les décisions observées optimales.

• Hypothèse d'optimalité : Les décisions observées $a$ sont supposées optimales par rapport à une fonction objectif inconnue.
• Paramétrisation du risque : Au lieu de maximiser l'espérance $E[C(X,a)]$, l'entraîneur maximise le $\tau$-quantile de la distribution de la valeur future : $Q_\tau[C(X,a)]$.
• Fonction de perte : Le problème est formulé comme la minimisation de la distance de Hamming entre les actions observées et les actions optimales théoriques pour un $\tau$ donné.
  $$\min_{\tau \in [0,1]} \frac{1}{N} \sum_{j=1}^N \mathbb{1}(a_j \neq a^*_j(\sigma_j, q^\pi_\tau))$$
  où $a^*_j$ est l'action qui maximise le quantile $\tau$ dans l'état $\sigma_j$.

C. Estimation et Régularisation

• Estimation des quantiles : Les distributions de la valeur de l'état suivant sont estimées à partir des données. Pour éviter le bruit dû aux données rares (ex: tentatives de « go for it » dans des situations où cela est rarement fait), les auteurs appliquent un lissage additif contraint par la forme (shape-constrained additive models) utilisant des B-splines bivariées. Cela impose une monotonicité logique par rapport à la position sur le terrain et aux yards à parcourir.
• Partitionnement de l'espace d'état : Pour capturer des préférences de risque différentes selon la situation, l'espace des états est partitionné en deux ensembles ($P_1$ et $P_2$) séparés par la ligne des 50 yards (demi adverse vs demi propre).
• Quantification de l'incertitude : Une méthode de bootstrap (rééchantillonnage au niveau des matchs) est utilisée pour estimer la distribution des $\tau$ optimaux et construire des intervalles de confiance.

3. Contributions Clés

1. Première application de l'optimisation inverse aux MDP à quantiles : L'article propose un cadre novateur pour apprendre directement les paramètres d'une mesure de risque (le quantile) plutôt que de supposer une fonction d'utilité ou un risque neutre.
2. Explication quantitative de l'aversion au risque : La méthode permet de traduire le comportement « conservateur » des entraîneurs en un paramètre quantile précis ($\hat{\tau}$), offrant une métrique interprétable du niveau de risque.
3. Analyse granulaire des préférences : L'étude ne se contente pas d'un risque moyen, mais analyse comment les préférences varient selon le champ de jeu, la probabilité de victoire, le quart de jeu, la saison et l'entraîneur spécifique.
4. Validation par rapport aux modèles de probabilité de victoire : L'article compare les préférences inférées des entraîneurs avec les prescriptions d'un modèle de probabilité de victoire (le « 4th Down Bot »), démontrant que les entraîneurs sont systématiquement plus conservateurs.

4. Résultats Principaux

• Préférences conservatrices globales : Les entraîneurs agissent de manière cohérente avec l'optimisation de faibles quantiles de la distribution des valeurs futures (généralement entre 0,2 et 0,5). Cela confirme qu'ils privilégient l'évitement des scénarios catastrophiques (perte de possession dans une position favorable) plutôt que l'espérance de gain maximale.
• Différence selon la zone du terrain :
  • Les entraîneurs sont plus tolérants au risque dans le demi de terrain adverse ($\hat{\tau}$ plus élevé) que dans leur propre demi.
  • Dans leur propre demi, aucun entraîneur n'est plus risqué que la politique neutre au risque ; ils sont presque universellement averses au risque.
• Évolution temporelle : Les préférences de risque de la ligue ont augmenté (les entraîneurs sont devenus moins conservateurs) au fil des saisons (2014-2022), particulièrement dans le demi de terrain adverse.
• Impact du quart de jeu et de la probabilité de victoire :
  • Lorsque la probabilité de victoire est très faible (< 0,2), les entraîneurs en 4ème quart-temps deviennent beaucoup plus tolérants au risque, alignant leur comportement sur les prescriptions de probabilité de victoire (ils « jouent pour gagner »).
  • En dehors de ces situations extrêmes, l'aversion au risque persiste.
• Performance : Une régression montre une association positive significative entre le niveau de risque estimé ($\hat{\tau}$) et les points moyens gagnés. Cela suggère que l'aversion excessive au risque coûte effectivement des points aux équipes.

5. Signification et Conclusion

Cet article apporte une contribution majeure à l'analytique sportive et à la théorie de la décision en :

• Dépassant le paradigme « sous-optimalité » : Il ne qualifie pas simplement les décisions des entraîneurs d'erreurs, mais les explique par une fonction objectif différente (optimisation de quantiles) qui reflète leurs véritables préférences de risque.
• Offrant un outil d'aide à la décision : En quantifiant le « niveau de risque » d'un entraîneur ou d'une équipe, les analystes peuvent mieux comprendre la logique derrière des décisions apparemment irrationnelles et potentiellement faciliter des changements comportementaux basés sur des preuves.
• Élargissant le champ de l'optimisation inverse : La méthode développée est généralisable à d'autres domaines où les décideurs opèrent sous incertitude avec des objectifs de risque non linéaires (finance, gestion de chaîne logistique, etc.).

En résumé, l'étude démontre que les entraîneurs de la NFL ne sont pas nécessairement « mauvais » en mathématiques, mais qu'ils optimisent une métrique de risque différente de celle des modèles statistiques traditionnels, avec une aversion au risque qui diminue progressivement au fil du temps et dans des situations de désespoir (faible probabilité de victoire).