Measures of predictive accuracy, miscalibration and discrimination

기술적 요약: 예측 정확도, 오보정 및 판별력의 측정

문제 제기
본 논문은 반응 변수 $Y$의 평균에 대한 실수형 점 예측치 (point predictors) 의 평가 문제를 다룬다. Gneiting(2011) 이 확립한 의사결정 이론적 프레임워크 내에서 점 예측의 평가는 일관된 손실 함수, 특히 최적 예측이 조건부 평균이 되는 Bregman 발산에 의존한다. 평가의 주요 기준은 기대 손실 (정확도) 이지만, 양호한 예측은 평균 보정 (mean-calibration)(예측치가 조건부 평균과 일치함) 과 높은 판별력 (discrimination)(예측치가 무조건부 평균과 현저히 다르게 변이함) 을 동시에 보여야 한다.

저자들은 널리 사용되는 실용적 지표인 오보정을 위한 농도 곡선과 로렌츠 곡선 사이의 면적 (ABC), 판별력을 위한 지니 계수, 그리고 이들의 제곱 변형에 관한 문헌의 공백을 규명한다. 이러한 지표들은 보험계리학과 기계학습에서 인기가 있지만, 일관된 스코어링 규칙에 대한 의사결정 이론적 요구사항과의 이론적 정합성이 불분명하다. 구체적으로, 이러한 지표들이 평가 대상인 특정 예측치에 의존하지 않는 "정직한" 평가를 제공하는지 여부는 알려져 있지 않다.

방법론
본 연구는 $(Y, X)$가 랜덤 쌍이고, $X$가 $\mathcal{A}$-가측 예측치이며, $L$이 평균에 일관된 손실 함수인 의사결정 이론적 설정 하에 진행된다. 저자들은 다음을 활용한다:

1. Bregman 발산: 볼록 함수 $\phi$로 특징지어지거나, 측도 $H$에 대한 기본 Bregman 발산 $L_\theta$의 적분으로 표현됨.
2. Murphy 분해: 기대 손실을 불확실성 (Uncertainty), 판별력 (Discrimination), 오보정 (Miscalibration) 구성 요소로 분해.
3. 로렌츠 곡선과 농도 곡선: 보험계리 맥락에서 불평등과 보정을 측정하는 표준 도구.
4. 확률적 우세: 곡선이 교차할 때 예측 우세를 분석하기 위해 3 차 확률적 우세와 Murphy 곡선의 속성 활용.

주요 기여 및 결과

1. Murphy 분해의 새로운 버전
저자들은 오보정과 판별력 항이 반응 $Y$에 직접 의존하지 않고 예측치와 그 조건부 기대값에만 의존하는 Murphy 분해의 새로운 표현을 유도한다.

• **오보정 ($MCB$):**$S_L(E[Y|X], X)$로 정의되며, 예측치와 보정된 버전 사이의 불일치를 측정함.
• **판별력 ($DSC$):**$S_L(E[Y|X], E[Y])$로 정의되며, 보정된 예측치와 무조건부 평균 사이의 불일치를 측정함.
• 의의: 이 공식은 조건부 평균이 확립된 후 반응 $Y$가 통계량에 명시적으로 나타나지 않으므로, 반응의 꼬리 속성에 대한 견고성과 더 직관적인 기하학적 해석을 제공한다.

2. ABC 및 ABC2(오보정 측정치) 에 대한 비판
본 논문은 ABC 통계량 (로렌츠 곡선과 농도 곡선 사이의 면적) 을 조사하고 새로운 평균 제곱 버전인 ABC2를 도입한다.

• ABC 의 한계: 저자들은 $ABC=0$이 평균 보정을 위한 필요조건이지만 **충분조건은 아님**을 증명한다. 로렌츠 곡선과 농도 곡선이 교차하는 경우와 같이,$ABC=0$인 예측치라도 오보정될 수 있다.
• ABC2 의 속성: $ABC2=0$은 평균 보정을 위한 필요충분조건임이 입증되었다.
• 이론적 불일치: 핵심적으로, ABC 와 ABC2 모두 예측치 의존적 가중치에 의존함이 밝혀졌다. 이들은 단일 고정 Bregman 발산의 기대 손실로 표현될 수 없다. 따라서 일관된 스코어링 규칙의 의사결정 이론적 프레임워크와 정합되지 않는다. 논문은 예측치 의존적 가중치를 가진 가중 Bregman 발산을 최소화하는 것이 편향된 예측치를 무편향 예측치보다 선호하는 "부정직한" 예측으로 이어질 수 있음을 보여준다.

3. 지니 계수 (판별력 측정치) 에 대한 비판
저자들은 지니 계수를 Murphy 분해의 판별력 항과 연관시킨다.

• 분해: 지니 계수는 예측치 특정 Bregman 발산에 기반한 Murphy 판별력 항과 평균 절대 편차 항의 합으로 나타남이 밝혀졌다.
• 이론적 불일치: ABC 와 유사하게, 지니 계수는 예측치 자체의 분포 ($H(\theta) = F_X(\theta)$) 에 의존하는 손실 함수를 함축한다. Hand(2009) 가 분류 문제에 대해 지적했듯이, 이는 지니 계수가 서로 다른 지표를 사용하여 서로 다른 분류기를 평가함을 의미하며, 일관된 스코어링 규칙의 원칙을 위반한다.
• 순위 불일치: 논문은 로렌츠 곡선이 교차할 때 특히 지니 계수에 의한 예측치 순위가 Murphy 판별력 항에 의한 순위와 다를 수 있는 사례를 제시한다.

4. 교차하는 곡선을 가진 예측 우세
비교차 로렌츠 곡선 (엄격한 우세) 이 실용적으로 드물다는 점을 인식하여, 저자들은 곡선이 교차하는 경우로 이론을 확장한다.

• 교차점의 동치: 평균 보정된 예측치의 경우, 로렌츠 곡선 사이의 교차점 수와 Murphy 곡선 사이의 교차점 수가 동일함이 증명되었다.
• 단일 교차 우세: 단일 교차의 경우, 저자들은 3 차 확률적 우세를 사용하여 Bregman 발산의 하위 클래스에 대한 약한 우세 기준을 확립한다.
• 분산의 역할: 단일 교차 상황에서 일관된 순위를 제공하지 못하는 지니 계수와 달리, 순위는 예측치의 분산과 생성 함수 $\phi$의 볼록성 속성에 의해 특징지워지는 Bregman 발산의 특정 클래스에 의해 결정된다. 구체적으로, 특정 손실 함수 클래스 (예: 특정 매개변수를 가진 Tweedie 편차 손실) 의 경우, 곡률에 따라 분산이 더 큰 예측치가 분산이 더 작은 예측치를 우세하게 하거나 그 반대가 될 수 있다.

의의 및 주장
본 논문은 ABC, ABC2, 지니 계수와 같은 지표들이 실용적으로 정보성이 있고 인기가 있지만, Gneiting(2011) 의 의사결정 이론적 프레임워크 하에서 모델 선택 및 평가에는 이론적으로 결함이 있음을 주장한다.

• 부정직한 평가: 이러한 지표들이 예측치 의존적 가중치에 의존하기 때문에 일관된 스코어링 규칙을 구성하지 않는다. 이는 최적이지 않거나 "부정직한" 예측치의 선택으로 이어질 수 있다.
• 권고: 저자들은 고정된 Bregman 발산에 기반한 Murphy 분해에서 유도된 오보정 및 판별력 통계량을 점 예측 평가를 위한 선호 도구로 옹호한다. 이러한 측정치는 평가 대상인 특정 예측치에 독립적이어야 한다는 손실 함수의 의사결정 이론적 요구사항과 정합된다.
• 실제적 함의: 로렌츠 곡선이 교차할 때 지니 계수는 판별력 순위를 내기에 불충분하다. 대신 응용 분야와 관련된 Bregman 발산의 특정 클래스와 예측치의 분산 속성을 고려해야 한다.

논문은 Murphy 분해의 새로운 표현이 일관된 스코어링 맥락에서 전통적인 곡선 기반 지표보다 우월한 견고하고 해석 가능하며 이론적으로 건전한 예측 평가의 기반을 제공한다고 결론지었다.