Learning Risk Preferences in Markov Decision Processes: an Application to the Fourth Down Decision in the National Football League

Este artículo utiliza un enfoque de optimización inversa en procesos de decisión de Markov para demostrar que las decisiones de los entrenadores de la NFL sobre el cuarto down reflejan preferencias de riesgo conservadoras que han aumentado con el tiempo, explicando así la discrepancia entre su comportamiento observado y los modelos estadísticos tradicionales.

Lo esencial

¡Claro que sí! Imagina que el fútbol americano es como un gran tablero de juego, y los entrenadores son los jugadores que deben tomar decisiones cruciales. Este artículo es como un "detective de decisiones" que intenta descubrir qué pasa por la mente de esos entrenadores cuando tienen que elegir qué hacer en una situación muy específica: el cuarto intento (cuando un equipo tiene su última oportunidad para avanzar 10 yardas).

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías divertidas:

🏈 El Gran Dilema del Cuarto Intento

Imagina que eres el entrenador de un equipo de fútbol. Tienes el balón, pero es tu última oportunidad para avanzar 10 yardas y conseguir un nuevo set de intentos. Tienes tres opciones:

1. Arriesgarse (Go for it): Intentar correr o lanzar el balón para ganar esas yardas. Si lo logras, ¡sigues jugando! Si fallas, el otro equipo se queda con el balón justo donde estabas tú (¡muy cerca de tu propia meta!).
2. Patada de seguridad (Punt): Chutar el balón lejos para que el otro equipo tenga que empezar muy lejos de tu portería. Es seguro, pero les das el balón.
3. Tirar al arco (Field Goal): Si estás cerca, intentas anotar 3 puntos. Si fallas, les das el balón a ellos.

El problema: Durante décadas, los expertos con computadoras han dicho: "¡Oigan, entrenadores! Estadísticamente, deberían arriesgarse más a menudo". Pero los entrenadores siguen siendo muy conservadores y casi siempre piden la patada de seguridad o el tiro al arco, incluso cuando las matemáticas dicen que deberían arriesgarse.

🕵️‍♂️ La Misión: ¿Por qué hacen lo que hacen?

Los autores de este artículo no quieren simplemente decirles a los entrenadores que están "equivocados". Quieren entender por qué toman esas decisiones.

Imagina que los entrenadores son como conductores de un coche.

• Un conductor neutral al riesgo (como una computadora) solo mira el promedio: "¿Cuántos kilómetros promedio voy a recorrer?".
• Pero los entrenadores humanos son como conductores que tienen miedo a los accidentes. No les importa el promedio; les importa no chocar.

La pregunta del estudio es: ¿Qué tan "miedosos" son realmente los entrenadores? ¿Qué tan bajo es el nivel de seguridad que necesitan para sentirse tranquilos?

🔍 La Herramienta: "Inversión de la Lógica"

Para responder esto, usan una técnica genial llamada Optimización Inversa.

• El método normal (Hacia adelante): Tienes las reglas del juego y las matemáticas, y calculas cuál es la mejor decisión.
• El método de este estudio (Hacia atrás): Observan las decisiones que los entrenadores realmente tomaron en miles de partidos (2014-2022) y dicen: "Asumamos que estos entrenadores son genios y que sus decisiones son las mejores para ellos. ¿Qué reglas ocultas (o qué tanto miedo) están usando para llegar a esa conclusión?".

Es como si vieras a alguien elegir siempre el camino más largo y seguro en lugar del atajo, y en lugar de decirle "tienes que tomar el atajo", te preguntas: "¿Qué tan asustado tiene que estar esta persona para preferir siempre el camino largo?".

📊 Los Descubrimientos (La "Receta" del Miedo)

Al aplicar sus fórmulas matemáticas (que usan algo llamado "cuantiles", que es una forma elegante de medir el miedo al riesgo), descubrieron cosas fascinantes:

1. Son muy conservadores (pero con matices): En general, los entrenadores actúan como si solo les importara evitar el "peor escenario posible". Son como personas que eligen el seguro de vida más caro solo para dormir tranquilos, aunque estadísticamente no lo necesiten.
2. El campo importa:
   • Cuando están en su propia mitad del campo (cerca de su propia meta), son extremadamente miedosos. ¡No quieren arriesgarse a perder el balón cerca de su casa!
   • Cuando están en la mitad del rival (cerca de la meta del enemigo), se vuelven un poco más valientes. Es como si dijera: "Bueno, ya estamos en territorio enemigo, si fallamos, al menos no estamos en nuestra propia casa".
3. El tiempo cambia las cosas: Con los años (de 2014 a 2022), los entrenadores se han vuelto un poco más valientes. Están empezando a arriesgarse más que antes.
4. El final del juego: Cuando un equipo va perdiendo mucho y el tiempo se acaba, los entrenadores se vuelven tan valientes que finalmente hacen lo que las matemáticas dicen que deben hacer. ¡El miedo desaparece cuando no tienes nada que perder!

🧠 La Analogía Final: El Paracaidista

Imagina que el fútbol es un salto de paracaídas.

• La computadora dice: "Salta, porque estadísticamente la mayoría de la gente aterriza bien y es divertido".
• El entrenador dice: "No, mejor no salto, porque si el paracaídas falla, me estrello".

Este estudio no les dice al entrenador que deje de tener miedo. Lo que hace es medir exactamente cuánto miedo tiene. Descubren que el entrenador no es "tonto", simplemente tiene un "nivel de miedo" (una preferencia de riesgo) muy alto que las computadoras no estaban considerando.

💡 ¿Por qué importa esto?

Entender esto ayuda a los entrenadores a darse cuenta de que quizás están siendo demasiado cautelosos por costumbre y no por lógica. También ayuda a los analistas a entender que no todos tomamos decisiones basándonos en el promedio; a veces, el miedo al desastre nos guía más que la esperanza del éxito.

En resumen: Los entrenadores de la NFL no son malos matemáticos; son humanos con mucho miedo a lo peor, y este estudio logró ponerle un número exacto a ese miedo.

Resumen técnico

Resumen Técnico: Aprendizaje de Preferencias de Riesgo en Procesos de Decisión de Markov

1. Planteamiento del Problema

Durante décadas, las decisiones observadas de los entrenadores de la NFL en la cuarta oportunidad (fourth down) han sido inconsistentes con las prescripciones de modelos estadísticos óptimos. Tradicionalmente, se ha asumido que los entrenadores son demasiado conservadores (evitan arriesgarse a intentar un primer down o un touchdown) en comparación con lo que sugieren los modelos de probabilidad de victoria.

El problema central de este trabajo es explicar esta discrepancia. En lugar de asumir que los entrenadores cometen errores, los autores proponen que sus decisiones son óptimas bajo un criterio de optimización desconocido, específicamente relacionado con sus preferencias de riesgo. El objetivo es inferir (aprender) la función de utilidad o medida de riesgo implícita que guía las decisiones de los entrenadores, asumiendo que maximizan un cuantil específico de la distribución de valor futuro del juego, en lugar de la esperanza matemática (que correspondería a un agente neutral al riesgo).

2. Metodología

El enfoque metodológico se basa en la Optimización Inversa (Inverse Optimization) aplicada a Procesos de Decisión de Markov (MDP) sensibles al riesgo.

• Modelado como MDP:

  • Estados ($S$): Se definen como tuplas que incluyen el equipo con posesión, el down, la yarda en el campo (agrupada en intervalos de 10 yardas) y las yardas necesarias para el primer down.
  • Acciones ($A$): {Ir por el primer down (GO), Intento de Field Goal (FGA), Patear (PUNT)}.
  • Recompensas ($r$): Se asignan puntos esperados basados en resultados de anotación (Touchdown = 6.95 puntos, Field Goal = 3, Safety = -2 para el equipo oponente).
  • Dinámica: Se estiman las probabilidades de transición de estado utilizando datos de jugadas por jugada (play-by-play) de las temporadas 2014-2022.

• Formulación del Problema Inverso:

  • Se asume que los entrenadores maximizan un cuantil $\tau$ de la distribución de valor del siguiente estado ($V^\pi$), en lugar de su valor esperado.
  • La función objetivo a estimar es $q^\pi_\tau(\sigma, a) = Q_\tau[V^\pi(\sigma, a)]$, donde $Q_\tau$ es la función cuantil.
  • Función de Pérdida: Se utiliza la distancia de Hamming promedio. El objetivo es encontrar el parámetro $\tau$ (o un conjunto de ellos) que minimice la discrepancia entre las acciones observadas ($a$) y las acciones óptimas teóricas ($a^*$) derivadas del modelo con ese $\tau$.
  • Ecuación de Optimización:
    $$\min_{\tau \in [0,1]} \frac{1}{N} \sum_{j=1}^{N} \mathbb{1}(a_j \neq a^*_j(\sigma_j, q^\pi_\tau))$$

• Estimación y Regularización:

  • Se estiman las probabilidades de transición empíricamente.
  • Para evitar inestabilidades en las zonas donde los entrenadores rara vez toman ciertas decisiones (sesgo de selección), se aplica un modelo aditivo con restricciones de forma (shape-constrained additive model) para suavizar las estimaciones de los cuantiles, asegurando relaciones monótonas con respecto a la posición en el campo y las yardas necesarias.
  • Partición del Espacio de Estados: Se divide el campo en dos regiones: mitad del campo del oponente (P1) y mitad propia (P2), permitiendo que el modelo infiera diferentes niveles de tolerancia al riesgo ($\tau_1, \tau_2$) para cada región.
  • Incertidumbre: Se utiliza el método de Bootstrap (muestreo a nivel de partido) para cuantificar la incertidumbre en las estimaciones de $\tau$.

3. Contribuciones Clave

1. Primera aplicación de Optimización Inversa en MDPs de Cuantiles: Los autores son los primeros en utilizar un marco de optimización inversa para aprender directamente los parámetros de una medida de riesgo (el cuantil) en un MDP, en lugar de asumir una función de utilidad fija o un riesgo neutral.
2. Explicación Cuantitativa del Comportamiento: Proporcionan una métrica directa (el valor de $\tau$) que cuantifica la aversión o búsqueda de riesgo de los entrenadores, mapeándola directamente a la distribución de resultados futuros.
3. Análisis de Heterogeneidad: Demuestran que las preferencias de riesgo no son estáticas; varían significativamente según la región del campo, la probabilidad de victoria, la temporada y el entrenador específico.

4. Resultados Principales

• Aversión al Riesgo General: En general, el comportamiento de los entrenadores es consistente con la optimización de cuantiles bajos (valores de $\tau$ bajos, típicamente entre 0.2 y 0.4). Esto confirma que los entrenadores son conservadores, priorizando evitar los peores resultados (pérdida de posesión en mala posición) sobre maximizar el valor esperado.
• Diferencia por Región del Campo:
  • Los entrenadores muestran una mayor tolerancia al riesgo cuando toman decisiones en la mitad del campo del oponente ($\tau_1 > \tau_2$).
  • En su propia mitad, son extremadamente conservadores.
• Evolución Temporal: Se observa un aumento en la tolerancia al riesgo a lo largo de las temporadas (2014-2022), especialmente en la mitad del campo del oponente, sugiriendo una lenta adopción de estrategias más agresivas.
• Comparación con Modelos de Probabilidad de Victoria:
  • Las preferencias de riesgo inferidas de los entrenadores son consistentemente más conservadoras que las prescripciones del "4th Down Bot" (un modelo basado en probabilidad de victoria).
  • Sin embargo, en situaciones de muy baja probabilidad de victoria (cuando el equipo está perdiendo por mucho), los entrenadores se vuelven más arriesgados, alineándose más con las recomendaciones del modelo de probabilidad de victoria.
• Rendimiento: Existe una asociación estadísticamente significativa (aunque con bajo poder explicativo) entre una mayor tolerancia al riesgo (mayor $\tau$) y un mayor promedio de puntos ganados en la cuarta oportunidad, validando que la aversión excesiva al riesgo tiene un costo tangible en el rendimiento.

5. Significado e Implicaciones

Este estudio trasciende el análisis deportivo al ofrecer un marco robusto para entender la toma de decisiones bajo incertidumbre en entornos complejos.

• Para la NFL: Sugiere que los entrenadores no son simplemente "irracionales", sino que operan bajo un criterio de riesgo diferente al de la maximización de la esperanza. Comprender estos sesgos puede ayudar a los entrenadores a ajustar sus estrategias y a los analistas a refinar sus modelos predictivos.
• Para la Ciencia de Datos y la Investigación de Operaciones: El trabajo demuestra la viabilidad de utilizar la optimización inversa para inferir medidas de riesgo en MDPs, una técnica aplicable a finanzas, logística y gestión de recursos donde las preferencias de riesgo de los agentes son desconocidas o difíciles de articular.
• Limitaciones: El modelo excluye variables como el diferencial de puntos exacto o el tiempo restante del estado para mantener la viabilidad computacional, utilizando la probabilidad de victoria como proxy. Futuras investigaciones podrían integrar probabilidades de transición específicas por equipo.

En conclusión, el artículo logra cuantificar la "aversión al riesgo" de los entrenadores de la NFL, demostrando que su comportamiento conservador es una estrategia óptima bajo un criterio de cuantil bajo, pero que esta estrategia tiene un costo medible en términos de puntos ganados y victorias potenciales.