Learning Risk Preferences in Markov Decision Processes: an Application to the Fourth Down Decision in the National Football League

Each language version is independently generated for its own context, not a direct translation.

🏈 제목: "코치들의 마음속 '위험 감수 지수'를 찾아서"

1. 문제 상황: "왜 코치들은 너무 보수적일까?"

미국 풋볼 경기에서 팀은 4 번의 기회 (다운) 를 주어 10 야드를 전진해야 합니다. 4 번째 다운에 다다르면 코치는 두 가지 선택을 해야 합니다.

공격 (Go for it): 10 야드를 더 전진해서 다시 기회를 얻으려 시도한다. (성공하면 계속 공격, 실패하면 공을 바로 넘겨줌)
패스 (Punt/Field Goal): 공을 멀리 차서 상대팀이 공을 받을 위치를 뒤로 밀어내거나, 골대 근처라면 득점을 시도한다. (공을 넘겨주지만 상대팀의 공격 시작 위치를 나쁘게 만듦)

기존 연구들은 "통계적으로 보면 공격을 시도하는 것이 이길 확률이 더 높은데, 왜 코치들은 무조건 공을 차버려?"라고 지적해 왔습니다. 마치 주식 투자에서 "무조건 안전하니까 현금만 들고 있으라"고 조언하는 전문가가 있는데, 실제 투자자들은 그 조언을 안 듣는 것과 비슷합니다.

2. 이 연구의 핵심 아이디어: "코치들은 틀린 게 아니라, 기준이 다를 뿐이다"

이 연구의 저자들은 "코치들이 멍청해서 그런 게 아니다. 그들이 위험을 대하는 기준이 우리가 생각하는 통계적 평균 (기대값) 과 다를 뿐이다"라고 가정했습니다.

비유:
- 통계적 모델 (기존): "평균적으로 이길 확률이 51% 라면 공격하라." (평균을 중시)
- 코치의 마음 (이 연구): "비록 평균은 높지만, **최악의 상황 (실패해서 공을 뺏기는 것)**이 너무 싫어서 차라리 안전한 선택을 하겠다." (최악을 피하는 것을 중시)

저자들은 코치들이 실제로는 **'최악의 시나리오'를 얼마나 두려워하는지 (위험 회피 성향)**를 수학적으로 역추적 (Inverse Optimization) 해내려 했습니다.

3. 방법론: "코치들의 행동을 거꾸로 읽는 마법"

이 연구는 **'역최적화 (Inverse Optimization)'**라는 방법을 썼습니다.

정방향 문제 (Forward): "이 규칙을 따르면 어떤 결과가 나올까?" (예: 이 코치가 위험을 싫어하면 어떻게 행동할까?)
역방향 문제 (Inverse): "코치가 이런 행동을 했다면, 그가 따르는 규칙은 무엇일까?" (예: 코치가 이렇게 행동했으니, 그의 '위험 감수 지수'는 얼마일까?)

저자들은 2014 년부터 2022 년까지의 NFL 경기 데이터를 모두 분석했습니다. 마치 수천 번의 게임을 녹화해두고, 코치들이 왜 그런 선택을 했는지 그 '심리 상태'를 역으로 계산해낸 것입니다.

4. 주요 발견: "코치들의 비밀스러운 심리"

이 연구를 통해 밝혀진 놀라운 사실들은 다음과 같습니다.

① 코치들은 '최악의 상황'을 매우 두려워한다 (보수적 성향)
코치들은 통계적으로 이길 확률이 높아도, 실패했을 때의 충격을 너무 크게 생각해서 공격을 포기합니다.

비유: "내일 시험을 볼 때, 90 점 맞을 확률이 80% 라 해도, 0 점 맞을 확률이 20% 라면 불안해서 공부를 안 하겠다"고 생각하는 것과 비슷합니다. 연구에 따르면 코치들은 이 0 점 (최악) 을 피하는 데 집착합니다.

② 위치가 중요했다: "상대 진영에서는 대담해진다"
코치들의 성향은 그들이 있는 위치 (자진 vs 상대 진영) 에 따라 확 바뀝니다.

자진 (Own Half): 공을 잃으면 바로 상대에게 좋은 위치를 넘겨줘야 하므로, 매우 보수적입니다. (공을 차버림)
상대 진영 (Opponent Half): 이미 상대 진영에 깊숙이 들어와 있으니, 실패해도 크게 잃을 게 없습니다. 그래서 위험을 감수하고 공격을 시도합니다.
비유: "집 앞에서 길 잃으면 무서워서 집에 들어가고 싶지만, 이미 상대 집 마당에 들어와 있으면 '뭐 어때, 넘어지면 넘어지지'라고 생각하며 대담해지는 것"과 같습니다.

③ 시간이 지날수록 더 대담해지고 있다
최근 (2022 년) 코치들은 과거 (2014 년) 에 비해 위험을 감수하는 경향이 강해졌습니다. 젊은 코치들이나 새로운 전략을 도입하는 팀들이 늘어나면서, "통계적으로 이기는 게 맞다"는 말을 조금씩 듣기 시작했다는 뜻입니다.

5. 결론: "코치들의 마음을 이해하면 게임이 바뀐다"

이 연구는 단순히 "코치들이 틀렸다"고 비난하는 것이 아니라, **"코치들이 왜 그런 결정을 내리는지 그 심리적 기준 (위험 감수 지수) 을 숫자로 증명"**했습니다.

의미: 이제 분석가들은 코치들에게 "네가 너무 보수적이야"라고 말하기보다, "네가 두려워하는 '최악의 상황'을 통계적으로 계산해보니, 실제로는 공격하는 게 더 안전해. 그 두려움을 줄여보자"라고 설득할 수 있는 근거를 갖게 되었습니다.

한 줄 요약:

"NFL 코치들은 통계적 평균보다 '최악의 상황'을 더 두려워해서 보수적으로 행동하지만, 최근에는 그 두려움이 줄어들며 조금 더 대담해지고 있다."

이 연구는 스포츠뿐만 아니라, 사람들이 왜 합리적인 선택 대신 '안전한 선택'을 하는지를 이해하는 데 도움이 되는 통찰을 제공합니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 정의 (Problem)

배경: 미국 내셔널 풋볼 리그 (NFL) 에서 코치들이 4 차 다운 (4th down) 시기에 내리는 결정 (공격 시도, 필드 골 시도, 킥오프/펀트) 은 수년간 통계적 모델이 제시하는 '최적의 결정'과 크게 불일치해 왔습니다. 기존 연구들은 코치들이 과도하게 보수적 (risk-averse) 이라고 결론지었으나, 이는 단순히 '위험 중립 (risk-neutral)'이 아니라는 사실만 보여줄 뿐, 코치들이 실제로 어떤 **위험 선호도 (risk preferences)**를 가지고 의사결정을 내리는지 정량화하지는 못했습니다.
문제: 코치들의 관찰된 결정이 최적이라고 가정할 때, 그들이 최적화하는 목적 함수 (objective function) 가 무엇인지, 구체적으로 어떤 위험 척도 (risk measure) 하에서 의사결정이 이루어지는지를 역으로 추론하는 것이 본 연구의 핵심 문제입니다.

2. 방법론 (Methodology)

본 연구는 역 최적화 (Inverse Optimization, IO) 프레임워크를 마르코프 의사결정 과정 (MDP) 에 적용하여 코치들의 암묵적인 위험 선호도를 학습합니다.

2.1. 마르코프 의사결정 과정 (MDP) 모델링

상태 (State): 득점 상태 (Scoring states) 와 플레이 시작 상태 (Play states) 로 구성됩니다. 플레이 상태는 공소유 팀, 다운, 야드라인 (10 야드 간격), 그리고 1 차 다운까지 남은 야드수로 정의됩니다.
행동 (Action): 4 차 다운에서의 세 가지 선택: GO(공격 시도), FGA(필드 골 시도), PUNT(펀트).
보상 (Reward): 득점 상황에 따라 정의됩니다 (터치다운: 6.95 점, 필드 골: 3 점, 세이프티: -2 점).
전환 확률: 2014 년부터 2022 년까지의 NFL 플레이 바이 플레이 데이터를 기반으로 경험적 비율로 추정됩니다.

2.2. 역 최적화 프레임워크

가정: 관찰된 코치들의 결정은 어떤 **알려지지 않은 양분수 (quantile)**를 최적화하는 결과라고 가정합니다. 즉, 코치는 기대값 (Expected Value) 을 최대화하는 대신, 미래 게임 가치 분포의 $\tau$ -양분수 ( $Q_\tau$ ) 를 최대화합니다.
목표 함수: 다음 상태 가치 (Next-state value) 분포의 양분수를 목적 함수로 설정합니다.
$\max_{a \in A} Q_\tau [V(\sigma, a)]$
여기서 $V(\sigma, a)$ 는 현재 4 차 다운 상태 $\sigma$ 에서 행동 $a$ 를 취한 후의 다음 상태 보상과 이후 게임의 기대 점수 차이의 합입니다.
손실 함수: 관찰된 행동과 추정된 양분수 최적 정책 간의 **해밍 거리 (Hamming distance)**를 최소화하는 $\tau$ 값을 찾습니다.
$\min_{\tau} \frac{1}{N} \sum_{j=1}^N \mathbb{1}(a_j \neq a^*_j(\sigma_j, q_\tau))$

2.3. 추정 및 불확실성 정량화

정규화: 데이터 희소성으로 인한 추정 불안정성을 해결하기 위해, 야드라인과 남은 야드수에 대한 단조성 (monotonicity) 제약을 가진 **형상 제약 가법 모델 (Shape-Constrained Additive Models, SCAM)**을 사용하여 양분수 추정치를 평활화 (smoothing) 했습니다.
상태 공간 분할: 코치들의 위험 선호도가 필드 위치 (자신 진영 vs 상대 진영) 에 따라 다를 수 있다고 가정하고, 50 야드 라인을 기준으로 상태를 두 개의 영역 ( $P_1, P_2$ ) 으로 분할하여 각각 다른 $\tau$ 를 추정했습니다.
불확실성: 부트스트랩 (Bootstrap) 기법을 사용하여 게임 단위로 재표본 추출함으로써 추정된 $\tau$ 값의 신뢰구간과 불확실성을 정량화했습니다.

3. 주요 결과 (Key Results)

3.1. 위험 선호도의 일반적 특성

보수적 성향: 전체적으로 코치들은 통계적 모델이 제시하는 '승률 최적화 (Win Probability Maximization)'보다 훨씬 낮은 양분수 (낮은 $\tau$ ) 를 최적화하는 것으로 나타났습니다. 이는 코치들이 **과도하게 보수적 (conservative)**임을 의미하며, 이는 다음 상태 가치 분포의 하위 꼬리 (lower tail) 에 더 큰 가중치를 두는 경향이 있음을 보여줍니다.
필드 위치에 따른 차이: 코치들은 **상대 진영 (Opponent's half)**에서 결정할 때보다 **자신 진영 (Own half)**에서 결정할 때 훨씬 더 보수적인 위험 선호도를 보입니다. 상대 진영에서는 상대적으로 공격적인 선택을 더 많이 합니다.

3.2. 시계열 및 상황별 변화

시간에 따른 변화: 2014 년부터 2022 년까지의 데이터를 분석한 결과, 리그 전체의 4 차 다운 위험 허용도 (risk tolerance) 가 시간이 지남에 따라 증가하는 추세를 보였습니다. 특히 상대 진영에서의 위험 허용도 증가가 두드러집니다.
승률 (Win Probability) 에 따른 차이:
- 승률이 매우 낮은 상황 (0.2 미만) 에서만 코치들의 행동이 승률 최적화 모델 (4th Down Bot) 과 유사해지며, 이때는 4 분 (Q4) 에 한해 위험 허용도가 크게 증가합니다.
- 그 외의 대부분의 상황에서는 코치들이 모델이 권장하는 것보다 훨씬 보수적으로 행동합니다.
코치별 차이: 코치마다 위험 선호도에 상당한 편차가 존재합니다. 특히 상대 진영에서는 코치 간 위험 선호도 분산이 크지만, 자신 진영에서는 거의 모든 코치가 매우 보수적인 행동을 보입니다.

3.3. 성과와의 연관성

회귀 분석 결과, 코치들의 추정된 위험 선호도 ( $\hat{\tau}$ ) 와 4 차 다운에서 얻은 평균 점수 (Avg Points Gained) 사이에는 정적 상관관계가 있었습니다. 즉, 위험 회피 성향이 강한 코치일수록 4 차 다운에서 얻는 점수가 낮아지는 경향이 있으며, 이는 과도한 보수주의가 팀 성과에 부정적임을 시사합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

역 최적화를 통한 위험 선호도 학습: 기존 연구들이 단순히 "코치들이 비합리적이다"라고 지적하는 것을 넘어, **역 최적화 (Inverse Optimization)**를 통해 코치들이 실제로 최적화하는 **위험 척도 (Risk Measure)**를 정량적으로 추정했습니다. 이는 MDP 에서 양분수 최적화 (Quantile Optimization) 를 역으로 학습한 최초의 시도 중 하나입니다.
정량적 위험 프로파일링: 코치들의 의사결정을 '위험 중립', '위험 회피', '위험 추구' 등의 범주로 단순화하는 것이 아니라, 구체적인 양분수 값 ( $\tau$ ) 으로 표현하여 위험 선호도의 강도와 맥락 (필드 위치, 승률, 시즌 등) 에 따른 변화를 정밀하게 분석했습니다.
실무적 통찰: NFL 코치들과 분석가들에게 데이터 기반의 의사결정 근거를 제공합니다. 코치들이 왜 특정 상황에서 보수적인지, 그리고 그로 인해 어떤 기회 비용 (기대 점수 손실) 이 발생하는지를 명확히 보여줍니다.
방법론적 확장: 스포츠 분석을 넘어, 역 최적화 프레임워크를 위험 민감성 (Risk-sensitive) 의사결정 문제에 적용하는 새로운 방법론을 제시하여, 금융, 운영 연구 등 다른 분야의 의사결정자 행동 분석에도 적용 가능한 틀을 마련했습니다.

5. 결론

본 논문은 NFL 코치들의 4 차 다운 결정이 단순히 실수나 비합리성이 아니라, 특정 위험 선호도 (주로 낮은 양분수 최적화) 하에서의 최적화 결과로 해석될 수 있음을 보여줍니다. 특히 코치들은 경기 상황에 따라 위험 선호도를 유연하게 조절하지만, 전반적으로 통계적 모델이 제안하는 것보다 과도하게 보수적이며, 이는 팀의 기대 성과에 부정적인 영향을 미칩니다. 이러한 인사이트는 코칭 스태프의 의사결정 프로세스 개선과 더 나은 전략 수립에 중요한 기여를 할 것으로 기대됩니다.