Learning Risk Preferences in Markov Decision Processes: an Application to the Fourth Down Decision in the National Football League

この論文は、逆最適化手法を用いて NFL の第 4 ドウン決定をマルコフ決定過程としてモデル化し、コーチの行動が低分位（保守的）なリスク選好に一致すること、およびフィールドの位置や時代によってリスク許容度が変化することを明らかにしています。

要約

NFL の「4 回戦」の決断：コーチたちはなぜ「安全」を選びすぎるのか？

〜統計の魔法で読み解く、コーチたちの「リスクの好み」〜

アメリカンフットボール（NFL）には、ファンや評論家が長年議論し続けてきた「最大の謎」があります。それは**「4 回戦（4th down）」**の決断です。

チームは 4 回までボールを 10 ヤード進めなければなりません。4 回目に失敗すればボールを相手に渡してしまいます。ここでコーチは 3 つの選択肢から選ぶ必要があります。

1. GO for it（攻める）: 残り距離を突破して、次の攻撃権（1st down）をゲットする。成功すればチャンスが広がるが、失敗すればボールを失う。
2. Field Goal（フィールドゴール）: 得点（3 点）を狙う。成功すれば得点だが、失敗すればボールを相手に渡す。
3. Punt（パント）: ボールを遠くへ蹴って、相手にボールを渡す。ただし、相手チームの攻撃開始位置を遠ざける（守りの要領）。

統計モデル（AI や数学者）は「この状況なら『攻める』のが一番得点に繋がる」と言いますが、実際のコーチたちは**「安全策（パント）」を選びすぎる**傾向があります。なぜでしょうか？

この論文は、その「理由」を解き明かすために、**「逆から考える」**という面白いアプローチを取りました。

---

1. 料理のレシピを逆算する（逆最適化）

通常、料理研究家は「美味しいレシピ（モデル）」を作って、「これを作れば美味しいはずだ」と提案します。
しかし、この論文の研究者たちは**「実際に料理人が作った料理（コーチの決断）を見て、その人が使った『隠し味（リスクの好み）』は何だったか？」**を推測しました。

• 通常の考え方: 「勝つ確率を最大化するモデル」→「コーチは間違っている」
• この論文の考え方: 「コーチの決断は、彼らなりの『正解』だった」と仮定する。→「彼らが何を重視していた（どんなリスクを恐れていた）のか」を逆算する。

これを**「逆最適化（Inverse Optimization）」**と呼びます。まるで、完成したケーキの味を食べて、「この人は砂糖を多めに入れたのか、それともバターを重視したのか」を推測するようなものです。

2. 「リスク」の正体は「最悪のケース」への恐怖

研究者たちは、コーチたちが「平均的な結果」ではなく、**「最悪のケース」**を恐れているのではないかと考えました。

• 平均的な考え方（リスク中立）: 「成功すれば +10 点、失敗すれば -5 点。平均すると +2.5 点だから攻めよう！」
• コーチの考え方（リスク回避）: 「成功すれば +10 点だけど、失敗したら -5 点だ！その最悪のケースが起きる確率が少しでも高いなら、安全なパントを選ぼう！」

彼らは、未来のゲーム結果の分布の中で、**「下の方（低い値）」**を重視する「量子（Quantile）」という指標を使って、コーチのリスクの好みを数値化しました。

• 低い量子（例：10%）: 「最悪の 10% のケースさえ避ければいい」という、超・安全志向な人。
• 高い量子（例：90%）: 「最善の 90% のケースを狙いたい」という、攻め志向な人。

3. 発見された「コーチの性格」

この分析から、いくつかの面白い「コーチの性格」が浮き彫りになりました。

① 敵陣では大胆に、自陣では慎重に

コーチたちは、**「敵陣（相手のゴールに近い場所）」にいるときは、「自陣（自分のゴールに近い場所）」**にいるときよりも、はるかにリスクを取ります。

• 自陣: 「ここで失敗したら、自軍のゴール前で相手にボールを渡すことになる！絶対に避けたい！」と恐怖心が強く、パントを選びがち。
• 敵陣: 「ここで失敗しても、相手陣地なので、パントするよりマシだ」と考え、攻めを選ぶ傾向があります。

② 時代は「攻め」へ変化している

2014 年から 2022 年までのデータを比較すると、**「全体的にリスクを取る傾向が強まっている」**ことがわかりました。昔のコーチに比べ、現代のコーチは「最悪のケース」を少しだけ許容するようになり、統計モデルが推奨する「攻める」選択に近づいています。

③ 勝率が低い時は、逆転の発想

チームの勝率が極端に低い場合（もう負けるのが確定に近い）、コーチたちは統計モデルが言う通りに「攻める」選択をします。

• 理由: 「もう守っても意味がない。最悪のケース（負ける）はもう確定しているのだから、奇跡を信じて攻めるしかない」という、**「負けるなら堂々と負ける」**という覚悟が見て取れます。

4. この研究が教えてくれること

この研究は単に「コーチは間違っている」と批判するものではありません。
**「コーチたちは、統計モデルが計算する『平均的な正解』ではなく、『最悪の事態を避けること』を最優先に考えて決断している」**という、人間らしい心理を数値で証明しました。

まるで、**「雨の日に傘をさすか、濡れて走るか」を決める時、統計的には「傘をさすのが平均的な損得」と言われても、「もし濡れたら仕事に支障が出る（最悪のケース）」**と考える人は、傘をさして走るでしょう。

NFL のコーチたちも、同じように**「最悪のシナリオ（ボールを自陣で失うこと）」**を極端に恐れているからこそ、統計的には「攻めるべき」場面でも「パント」を選んでいるのです。

まとめ

• 問題: コーチは統計モデルのアドバイス（攻める）を聞かない。
• 方法: 「コーチの決断」から逆算して、彼らが何を恐れているか（リスクの好み）を推測した。
• 結論: コーチは「最悪のケース」を極端に恐れる**「超・安全志向」**の傾向がある。特に自陣では慎重になり、敵陣では少し大胆になる。
• 未来: 時代とともに、コーチたちは少しずつ「攻める」方向へ変化している。

この研究は、スポーツの戦略だけでなく、ビジネスや日常の決断においても**「人は平均ではなく、最悪の事態を恐れて行動している」**という普遍的な真理を教えてくれる、とても面白い論文です。

技術概要

論文要約：マルコフ決定過程におけるリスク選好の学習：NFL の第 4 ダウン決定への応用

本論文は、ナショナル・フットボール・リーグ（NFL）のコーチが第 4 ダウンにおいて示す決定行動と、統計モデルに基づく最適処方との間の不一致を説明するために、**逆最適化（Inverse Optimization）**アプローチを用いた新しい枠組みを提案しています。コーチの決定が何らかの「最適基準」に基づいていると仮定し、その基準（具体的にはリスク選好）をデータから推定する手法を開発しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題設定 (Problem)

• 背景: NFL の第 4 ダウン決定（「攻めるか（Go for it）」、「フィールドゴールを試みるか（FGA）」、「パンティングするか（Punt）」）は、スポーツ分析において最も研究されている課題の一つです。
• 課題: 過去の研究（Romer, 2006; Burke et al., 2014 など）により、実際のコーチの決定は、勝率（Win Probability）や期待得点（Expected Points）を最大化する「中立的なリスク選好（リスク中立）」に基づく理論的な最適決定と大きく乖離していることが示されています。コーチは一般的に過度に保守的（リスク回避的）である傾向があります。
• ギャップ: 既存の研究は「コーチが非合理的である」と指摘するにとどまっており、「どのようなリスク選好（リスク許容度）の基準に基づいてコーチが決定しているのか」を定量的に推定・説明しようとした試みはこれまで行われていませんでした。
• 目的: 観測されたコーチの決定行動が、将来のゲーム価値分布のどの分位数（Quantile）を最適化する行動とみなせるかを推定し、コーチの暗黙的なリスク選好を明らかにすること。

2. 手法 (Methodology)

本研究は、逆最適化（Inverse Optimization）とマルコフ決定過程（MDP）を組み合わせたフレームワークを構築しています。

A. モデルの定式化

• MDP の構築: 第 4 ダウンの決定と、その後のゲームの進行をマルコフ決定過程（MDP）としてモデル化します。
  • 状態（State）: ボール保持チーム、ダウン、自陣・敵陣の位置（ヤードライン）、残りヤード数など。
  • 行動（Action）: Go, FGA, Punt。
  • 報酬（Reward）: 得点（タッチダウン、フィールドゴール、セーフティ）に基づき定義されます。
• 逆最適化の定式化:
  • 従来の「与えられたリスク選好から最適行動を導く（順問題）」ではなく、「観測された行動から、その行動を最適化するリスク選好（目的関数）を推定する（逆問題）」アプローチをとります。
  • 目的関数のパラメータ化: コーチは期待値（平均）を最大化するのではなく、将来のゲーム価値分布の**$\tau$-分位数（Quantile）**を最大化すると仮定します。
    • $\tau$ が低い（例：0.2）＝ 保守的（最悪のシナリオを重視、リスク回避）。
    • $\tau$ が高い（例：0.8）＝ 攻撃的（最良のシナリオを重視、リスク許容）。
  • 推定対象は、観測された行動とモデルが予測する最適行動との不一致（損失関数）を最小化する $\tau$ の値です。

B. 推定プロセス

1. データ: 2014 年から 2022 年の NFL プレイ・バイ・プレイデータを使用。
2. 遷移確率と価値関数の推定: 観測データから状態遷移確率と、リーグ平均のポリシーに基づく価値関数（期待得点）を推定します。
3. 分位数関数の推定: 各状態・行動における「次状態の価値分布」の分位数関数を推定します。
   • データのスパース性（特に「攻める」選択が少ない状況）による不安定性を補正するため、形状制約付き加性モデル（Shape-constrained additive models）を用いて平滑化処理を行います。
4. 逆最適化の実行:
   • 観測された決定と、各 $\tau$ に対して計算される最適決定とのハミング距離（不一致率）を最小化する $\tau$ を探索します。
   • 領域分割: 状態空間を「敵陣（Opponent Half）」と「自陣（Own Half）」の 2 つに分割し、それぞれで異なる $\tau$（$\tau_1, \tau_2$）を推定できるようにします（フィールドの位置によってリスク選好が変わる可能性を考慮）。
5. 不確実性の定量化: ブートストラップ法を用いて、推定された $\tau$ の信頼区間を算出します。

3. 主要な貢献 (Key Contributions)

1. 分位数 MDP の逆最適化の初適用: リスク選好を直接パラメータとして学習する逆最適化手法を、分位数ベースのマルコフ決定過程（Quantile MDP）に初めて適用しました。
2. コーチのリスク選好の定量的推定: 「コーチは保守的である」という定性的な知見を、「コーチは将来価値分布の約 0.3〜0.4 分位数を最大化している（非常に保守的）」という定量的な数値として提示しました。
3. 文脈依存的なリスク選好の発見: リスク選好がフィールドの位置（自陣か敵陣か）やゲームの状況（勝率、残り時間）によって変化することを明らかにしました。
4. パフォーマンスとの関連性: 推定されたリスク選好（$\tau$）と、第 4 ダウンでの実際の得点獲得量の間に正の相関があることを示し、過度なリスク回避がチームのパフォーマンス低下につながっていることを実証しました。

4. 結果 (Results)

• 全体的なリスク選好:

  • コーチの行動は、低分位数（$\tau \approx 0.3 \sim 0.4$）を最適化するポリシーと最もよく一致します。これは、極めて保守的なリスク選好（最悪のケースを避ける傾向）を示しています。
  • 統計モデル（勝率最大化モデル）が示す「最適」なリスク許容度（$\tau$）と比較すると、実際のコーチは全般的にリスク許容度が低いことが確認されました。

• フィールド位置による違い:

  • 敵陣（Opponent Half）: コーチは自陣に比べてリスク許容度が高い（$\tau$ 値が高い）傾向にあります。
  • 自陣（Own Half）: 非常に保守的であり、リスク中立なポリシーよりもはるかに低いリスク許容度を示します。
  • この傾向は、勝率モデル（4th Down Bot）の処方にも見られますが、コーチの実際の行動の方がより保守的です。

• 時間的・状況的変化:

  • シーズン推移: 2014 年から 2022 年にかけて、リーグ全体のリスク許容度は時間とともに増加しています（特に敵陣での決定において顕著）。
  • 勝率と第 4 四半期: 勝率が極めて低い（0.2 未満）状況では、第 4 四半期においてコーチはよりリスク許容度が高まり、勝率モデルに近い行動をとるようになります。しかし、勝率が中程度の場合は、第 4 四半期でも他のクォーターと同様に保守的です。

• パフォーマンスとの相関:

  • 回帰分析の結果、推定されたリスク選好パラメータ（$\tau$）が高い（よりリスク許容度が高い）コーチほど、第 4 ダウンでの平均得点獲得量が多いことが示されました。これは、過度なリスク回避がチームの成績を損なっていることを示唆しています。

5. 意義と結論 (Significance and Conclusion)

• 理論的意義: 従来の「コーチは非合理的だ」という批判的な見方から、「コーチは異なるリスク選好（目的関数）に基づいて合理的に行動している」という解釈への転換を可能にしました。逆最適化を用いることで、意思決定者の暗黙的な価値観を可視化できます。
• 実用的意義:
  • コーチやアナリストに対し、なぜ特定の決定がなされたのか、その背後にあるリスク選好の基準を理解する手助けを提供します。
  • リスク許容度の定量化を通じて、チームのパフォーマンス向上のための行動変容（より攻めの姿勢への転換など）を促す根拠となります。
  • この手法は、NFL 以外のスポーツや、金融ポートフォリオ管理、医療など、リスク選好が重要な意思決定分野へも応用可能です。

総じて、本論文は NFL の第 4 ダウン決定における「保守的すぎる」傾向の背後にあるメカニズムを、逆最適化と分位数 MDP を用いて解明し、スポーツ分析におけるリスク選好の学習に関する重要なマイルストーンを築きました。