Learning Risk Preferences in Markov Decision Processes: an Application to the Fourth Down Decision in the National Football League

Este artigo utiliza uma abordagem de otimização inversa em processos de decisão de Markov para demonstrar que as decisões dos treinadores da NFL sobre o quarto down refletem preferências de risco conservadoras que otimizam quantis baixos da distribuição de valor, com maior tolerância ao risco no campo adversário e uma tendência de aumento dessa tolerância ao longo do tempo.

O essencial

Imagine que você é um treinador de futebol americano. Você está no quarto e último lance para avançar 10 jardas. Se você conseguir, ganha outra chance de jogar. Se falhar, o time adversário pega a bola.

Aqui está o dilema:

1. Arriscar: Tentar avançar as 10 jardas ("Go for it"). É emocionante, mas se falhar, você entrega a bola perto do seu próprio gol.
2. Seguro: Chutar um "field goal" (se estiver perto) para ganhar 3 pontos, ou um "punt" (chutar a bola longe) para empurrar o adversário para trás.

Por décadas, os especialistas em estatística disseram: "Treinadores, vocês estão sendo muito medrosos! Os números mostram que vocês deveriam arriscar muito mais vezes." E eles tinham razão: os treinadores puniam muito mais do que a estatística recomendava.

Mas a pergunta que este artigo faz é: Por que? Será que os treinadores são apenas "burros" ou "teimosos"? Ou será que eles estão otimizando algo que os modelos estatísticos comuns não estão vendo?

A resposta dos autores é: Eles estão otimizando o medo.

A Grande Metáfora: O "Cinto de Segurança" vs. O "Parque de Diversões"

Para entender o que os autores fizeram, imagine que cada decisão de jogo é como escolher entre um cinto de segurança e um parque de diversões.

• O Modelo Estatístico Tradicional olha para a Média. Ele diz: "Em média, se você fizer isso 100 vezes, você ganha mais pontos." É como dizer: "Em média, ir de carro é mais seguro do que andar de montanha-russa."
• O Modelo dos Treinadores (segundo este artigo) não olha para a média. Eles olham para o Pior Cenário Possível. Eles estão preocupados com o "pesadelo". Se o treinador falhar no lance, ele pode ser demitido, o torcedor vai gritar, a imprensa vai criticar.

Os autores usaram uma técnica chamada Otimização Inversa. É como se você fosse um detetive:

1. Você vê o que a pessoa fez (o treinador chutou a bola).
2. Você sabe que a pessoa é inteligente e quer ganhar.
3. Você pergunta: "Qual regra secreta ela está seguindo para achar que chutar era a melhor opção?"

A resposta que eles encontraram foi: Os treinadores estão otimizando o "pior dos casos" (ou quase o pior).

A Analogia do "Quantil" (O Nível de Medo)

O artigo usa uma palavra chata chamada "Quantil" (ou Quantile). Vamos simplificar:

Imagine que o resultado de uma jogada é uma linha de tempo de possibilidades, do pior resultado (perder a bola no seu próprio campo) ao melhor (marcar um touchdown).

• Um treinador "neutro" (sem medo) olharia para o meio dessa linha (a média).
• Um treinador "medroso" olharia para o início da linha (o pior cenário possível). Ele quer garantir que, mesmo se tudo der errado, o dano não seja catastrófico.

Os autores descobriram que os treinadores da NFL agem como se estivessem otimizando o 20º ou 30º percentil do resultado. Ou seja, eles estão tão focados em evitar o desastre que estão ignorando as grandes vitórias que poderiam acontecer se arriscassem.

As Descobertas Principais (Traduzidas para o Dia a Dia)

1. O "Medo" Muda de Lugar:

   • Quando o time está no meio do campo do adversário (perto do gol deles), os treinadores são mais corajosos. Eles estão dispostos a arriscar mais. É como se estivessem "dentro da casa do inimigo" e sentissem que precisam atacar.
   • Quando estão no meio do campo deles próprios, eles ficam super conservadores. É como se estivessem trancados em casa e tivessem pavor de abrir a porta para um estranho.

2. O Tempo Passa e o Medo Diminui:

   • Os treinadores estão ficando menos medrosos com o passar dos anos. Entre 2014 e 2022, eles começaram a arriscar um pouco mais. A cultura do futebol está mudando, e os treinadores estão aprendendo a confiar um pouco mais nos números.

3. O "Bot" vs. O Humano:

   • Os autores criaram um "robô" (o 4th Down Bot) que segue estritamente a estatística de vitória. Eles descobriram que, na maioria das vezes, o robô seria mais agressivo do que os treinadores reais.
   • Porém, em situações onde o time já está quase perdendo (win probability muito baixa), os treinadores reais agem exatamente como o robô: eles arriscam tudo porque não têm nada a perder. O medo só domina quando ainda há uma chance real de ganhar.

Resumo da Ópera

Este artigo não diz que os treinadores estão errados por serem medrosos. Ele diz que eles estão otimizando algo diferente.

Enquanto os modelos estatísticos dizem: "Faça o que maximiza seus pontos médios", os treinadores estão pensando: "Faça o que minimiza a chance de eu ser o vilão da história se der tudo errado."

Ao usar essa "lente de óculos" de risco (o quantil), os autores conseguiram explicar perfeitamente por que os treinadores tomam as decisões que tomam. Eles não são irracionais; eles apenas têm um "cinto de segurança" mental muito mais apertado do que os matemáticos imaginavam.

Em suma: Os treinadores não estão jogando para ganhar o máximo de pontos; eles estão jogando para evitar o pior pesadelo possível. E o artigo nos ensinou a medir exatamente o tamanho desse pesadelo.

Resumo técnico

Resumo Técnico: Aprendendo Preferências de Risco em Processos de Decisão de Markov

1. O Problema

A decisão de "quarto down" (quarta tentativa) no futebol americano é um dos problemas de decisão mais estudados na análise esportiva. Historicamente, observa-se uma discrepância significativa entre o comportamento empírico dos treinadores da NFL (National Football League) e as prescrições de modelos estatísticos otimizados.

• O Conflito: Modelos baseados em probabilidade de vitória ou pontos esperados (win probability/expected points) frequentemente recomendam "ir para a conversão" (go for it) em situações onde os treinadores optam por chutar o campo de gol (field goal attempt) ou pontuar (punt).
• A Hipótese: A literatura anterior assume que os treinadores são avessos ao risco, mas não quantificou como ou quanto essa aversão se manifesta. O objetivo deste trabalho é estimar as preferências de risco implícitas dos treinadores, assumindo que suas decisões observadas são ótimas em relação a um critério de otimização desconhecido, mas consistente.

2. Metodologia

Os autores propõem um framework de Otimização Inversa (Inverse Optimization) aplicado a um Processo de Decisão de Markov (MDP) com medidas de risco baseadas em quantis.

A. Modelagem do Problema (MDP)

• Estado ($S$): Define-se o espaço de estados como a união de estados de pontuação e estados de jogo (posse de bola, down, linha de campo, jardas para o primeiro down).
• Ações ($A$): $\{GO, FGA, PUNT\}$ (Ir para a conversão, Tentativa de Field Goal, Pontuação).
• Transições e Recompensas: As probabilidades de transição e a função de recompensa (pontos ganhos/perdidos) são estimadas a partir de dados de jogada a jogada da NFL (2014-2022).
• Valor Futuro: O valor de um estado é definido como a soma da recompensa imediata mais o valor esperado do restante do jogo sob uma política média da liga.

B. O Problema Inverso e a Medida de Risco
Em vez de maximizar o valor esperado (critério neutro ao risco), o modelo assume que os treinadores maximizam um quantil $\tau$ da distribuição de valores futuros.

• Função Objetivo: $q_{\tau}(\sigma, a) = Q_{\tau}[V(\sigma, a)]$, onde $Q_{\tau}$ é o quantil $\tau$ da distribuição de valores futuros condicionados à ação $a$ no estado $\sigma$.
• Inferência: O problema inverso consiste em encontrar o parâmetro $\tau \in [0, 1]$ que minimiza a distância entre as ações observadas e as ações ótimas prescritas pelo modelo.
  • $\tau$ baixo (ex: 0.1-0.3): Representa preferências conservadoras (foco nos piores cenários).
  • $\tau$ alto (ex: 0.7-0.9): Representa preferências arriscadas (foco nos melhores cenários).
  • $\tau = 0.5$: Corresponde à mediana (aproximação de risco neutro em distribuições simétricas).

C. Estimação e Regularização

• Dados: Utilizam o pacote nflfastR (2014-2022).
• Estimativa de Transições: Proporções empíricas de transição de estado.
• Suavização: Devido à esparsidade de dados em certas situações (ex: treinadores raramente tentam conversão em certas linhas), os autores aplicam um modelo aditivo com restrições de forma (monotonicidade) para suavizar as estimativas dos quantis e evitar decisões "ilhas" não intuitivas.
• Particionamento: O espaço de estados é dividido em duas regiões para permitir diferentes níveis de risco:
  1. Metade do Campo do Oponente (menos de 50 jardas para o gol).
  2. Metade do Campo Próprio (mais de 50 jardas para o gol).
• Incerteza: Utiliza-se bootstrap ao nível do jogo para quantificar a incerteza das estimativas de $\tau$.

3. Principais Contribuições

1. Inversão de MDPs de Quantil: Os autores são os primeiros a aplicar otimização inversa para aprender diretamente os parâmetros de uma medida de risco (função quantil) em um MDP, em vez de apenas inferir funções de recompensa ou utilidade.
2. Quantificação da Aversão ao Risco: Transformam o comportamento subjetivo dos treinadores em uma métrica quantitativa ($\tau$), permitindo comparações diretas entre diferentes contextos (campo, tempo, temporada).
3. Análise de Viés de Seleção: O framework lida com o viés de seleção inerente aos dados observacionais (treinadores só tentam conversão quando acreditam que têm chance), ao estimar a distribuição de valores contrafactual para todas as ações.

4. Resultados Chave

• Aversão ao Risco Geral: Os treinadores da NFL exibem consistentemente preferências de risco conservadoras. O $\tau$ estimado é geralmente baixo (focando em baixos percentis da distribuição de resultados), o que explica por que eles evitam "ir para a conversão" mesmo quando a probabilidade de vitória sugere o contrário.
• Diferença por Região de Campo:
  • Os treinadores são mais tolerantes ao risco na metade do campo do oponente ($\tau$ mais alto) do que na metade do campo próprio.
  • Isso ocorre porque, na metade do oponente, o custo de falhar é menor (já estão perto do gol) ou a recompensa imediata (3 pontos) é mais atraente.
• Evolução Temporal: Houve um aumento na tolerância ao risco da liga ao longo das temporadas (2014-2022), especialmente na metade do campo do oponente, sugerindo uma mudança cultural em direção a decisões mais agressivas.
• Comparação com Modelos de Probabilidade de Vitória:
  • O "4th Down Bot" (modelo baseado em probabilidade de vitória de Baldwin, 2024) é mais agressivo do que a média dos treinadores.
  • A discrepância é maior em situações de baixa probabilidade de vitória no campo próprio.
  • Curiosamente, em situações de muito baixa probabilidade de vitória (ex: < 5%), os treinadores tendem a alinhar seu comportamento com o modelo de probabilidade de vitória (tornando-se mais arriscados), possivelmente porque "não há nada a perder".
• Desempenho: Existe uma associação positiva estatisticamente significativa entre o $\tau$ estimado (maior tolerância ao risco) e os pontos médios ganhos em quartos down, após controlar pela força do time. Isso sugere que a aversão excessiva ao risco dos treinadores custa pontos e vitórias à equipe.

5. Significado e Implicações

• Para a Análise Esportiva: O estudo valida que a "inconsistência" dos treinadores não é apenas erro, mas uma otimização sob uma função de utilidade diferente (focada em quantis baixos). Isso oferece uma explicação matemática para o conservadorismo histórico.
• Para a Tomada de Decisão: A metodologia fornece uma ferramenta para analistas e treinadores entenderem o "porquê" das decisões, facilitando a mudança comportamental ao mostrar o custo tangível (em pontos e vitórias) da aversão ao risco excessiva.
• Aplicabilidade Geral: O framework de otimização inversa para MDPs de quantil pode ser aplicado em outros domínios onde a aversão ao risco é crítica e os parâmetros de risco são desconhecidos (ex: finanças, logística, saúde).

Em suma, o artigo demonstra que, ao modelar corretamente as preferências de risco dos treinadores através de uma abordagem de otimização inversa, é possível explicar o comportamento observado na NFL e quantificar o custo de oportunidade de decisões excessivamente conservadoras.