Enforcing tail calibration when training probabilistic forecast models

날씨 예보관이 되어 상상해 보세요. 단순히 "비가 올 것입니다"라고 말하는 대신, 한 끼 식사를 예측하는 요리사가 되어 보세요. 당신은 단일 요리를 서빙하는 것이 아니라 확률 메뉴를 서빙합니다. 손님들에게 이렇게 말합니다. "스파게티가 나올 확률은 70%, 피자가 나올 확률은 20%, 그리고 깜짝 샐러드가 나올 확률은 10%입니다."

데이터 과학의 세계에서는 이를 확률적 예보라고 합니다. 목표는 메뉴가 현실과 일치하도록 하는 것입니다. 샐러드가 나올 확률이 10%라고 말했는데, 100 일 동안 실제로 샐러드를 10 번 서빙했다면 당신의 예보는 '보정 (calibrated)'된 것입니다. 그것은 신뢰할 수 있습니다.

그러나 큰 문제가 하나 있습니다: 극단적 사건입니다.

문제: "깜짝 샐러드" 재앙

당신의 레스토랑이 폭풍우가 자주 치는 지역에 있다고 상상해 보세요. 대부분의 날은 날씨가 온화합니다 (스파게티나 피자). 하지만 가끔은 거대한 허리케인이 찾아옵니다 (실제로는 토네이도인 "깜짝 샐러드"입니다).

이 논문은 가장 똑똑하고 첨단 기술을 갖춘 요리사들 (머신러닝 모델) 이조차 온화한 날을 예측하는 데는 뛰어나지만, 극단적인 폭풍을 예측하는 데는 형편없다고 주장합니다. 그들은 실제로 폭풍이 오고 있을 때 "아, 토네이도가 올 확률은 아주 작은 1% 입니다"라고 말할지도 모릅니다.

왜 그럴까요?因为这些 모델들은 "평균적으로 훌륭하게" 작동하도록 훈련되었기 때문입니다. 그들은 99% 의 확률로 발생하는 일반적인 날들 (스파게티와 피자) 을 정확히 맞추는 데 집중합니다. 그들은 '보정 점수'를 낭비하고 싶지 않기 때문에 드물고 위험한 날들을 무시합니다.

저자들은 이를 꼬리 보정 (Tail Calibration) 의 부재라고 부릅니다. '꼬리'는 확률 곡선의 매우 끝부분, 즉 극단적이고 드문 사건을 의미합니다. 당신의 예보가 '꼬리 보정'되지 않았다면, 당신은 외쳐야 할 때 "도망쳐라!"라고 외치는 대신 침착해 있을지도 모릅니다.

해결책: "점수판" 변경하기

머신러닝에서 모델은 시험에서 가장 높은 점수를 얻으려고 노력하며 학습합니다. 보통 그 시험은 표준적인 "정확도 점수" (예: CRPS 또는 로그 점수) 입니다. 이 점수판은 일반적인 것들을 정확히 예측했을 때 보상을 줍니다.

이 논문은 모델들이 폭풍에 주의를 기울이도록 강제하기 위해 점수판을 바꿔야 한다고 제안합니다. 이를 위한 두 가지 주요 방법을 제시합니다:

1. "가중 점수" (VIP 패스)

표준 시험이 스파게티 예측을 정확히 했을 때 1 점을 주고, 토네이도 예측을 정확히 했을 때 0.1 점만 준다고 상상해 보세요. 모델은 토네이도를 무시합니다.

저자들은 토네이도 예측에 VIP 패스를 부여할 것을 제안합니다. 그들은 **가중 점수 규칙 (Weighted Scoring Rule)**을 사용합니다. 이제 토네이도 예측을 정확히 하는 것은 100 점의 가치가 있습니다.

• 비유: 요리사에게 "드물고 위험한 요리를 정확히 맞추면 금별을 주고, 지루한 파스타를 정확히 맞추면 일반 별을 준다"고 말하는 것과 같습니다.
• 결과: 요리사가 토네이도에 주의를 기울이기 시작합니다. 하지만 토네이도에 너무 집중하다 보니 파스타 예측이 조금 엉망이 될 수도 있습니다.

2. "오보정 패널티" (엄격한 검사관)

이는 더 직접적인 접근법입니다. 점수만 바꾸는 것이 아니라, 저자들은 점수판에 페널티를 추가합니다.

• 비유: 음식이 얼마나 맛있는지는 상관없고 메뉴가 실제 주방의 출력과 일치하는지 여부만 관심 있는 엄격한 위생 검사관 (정규화 항, Regularization Term) 이 있다고 상상해 보세요. 메뉴에 "샐러드가 나올 확률 10%"라고 적혀 있는데 주방이 샐러드를 50% 의 확률로 서빙한다면, 검사관은 요리사에게 거대한 벌금을 부과합니다.
• 반전: 그들은 꼬리 (Tail), 즉 극단적 사건을 위한 특별한 검사관을 만들었습니다. 이 검사관은 토네이도 예측만 확인합니다. 모델이 토네이도에 대해 거짓말을 하면 막대한 벌금을 받습니다.
• 결과: 요리사는 벌금을 무서워하므로 토네이도 예측을 완벽하게 정확하도록 조정합니다.

트레이드오프: 모두를 가질 수는 없습니다

이 논문의 가장 중요한 발견은 트레이드오프입니다.

이 새로운 점수판을 사용하여 모델이 극단적인 폭풍을 예측하는 데 완벽하도록 강제하면, 종종 평온한 일상적인 날씨를 예측하는 능력은 약간 떨어집니다.

• 비유: 기말고사의 hardest 질문들만 공부하는 학생과 같습니다. 그들은 어려운 미적분 문제 (폭풍) 는 완벽하게 풀지만, 기본 산수 (맑은 날) 는 잊어버릴 수 있습니다.
• 논문의 주장: 저자들은 영국 풍속 데이터를 사용하여 세 가지 다른 유형의 "요리사" (단순 수학 모델, 신경망, 복잡한 생성 모델) 로 이를 테스트했습니다. 그들은 세 가지 모두 표준 방법을 사용하면 극단적인 바람을 정확하게 예측하지 못했다고 발견했습니다. 하지만 새로운 "꼬리 보정" 페널티를 적용하자, 모델들은 온화한 바람을 예측하는 데는 약간 덜 정확해졌지만 폭풍을 예측하는 데는 훨씬 더 나아졌습니다.

요약

• 문제: AI 날씨 모델은 평균적인 날에는 훌륭하지만 극단적인 재해에는 형편없습니다. 이는 "평균"을 내도록 훈련되었기 때문입니다.
• 해결책: 저자들은 훈련 규칙 (손실 함수) 을 변경하여 모델이 극단적 사건을 잘못 예측할 경우 강력하게 패널티를 부과했습니다.
• 결과: 모델들은 극단적 사건 (예: 강풍) 에 대해 훨씬 더 신뢰할 수 있게 되었지만, 이는 일상적인 평상시 날씨 예측 정확도가 약간 떨어지는 대가를 치른 것입니다.
• 교훈: 생명과 직결된 극단적 사건에 대한 결정을 내려야 한다면, 나머지 시간에는 완벽하지 않더라도 해당 사건을 위해 모델을 특별히 훈련시켜야 합니다.

이 논문은 우리가 모든 것을 완벽하게 예측할 수는 없지만, 이러한 새로운 "점수판"을 사용하여 폭풍이 닥칠 때 우리의 예보가 실제로 진실을 말하도록 보장할 수 있다고 결론지었습니다.