Measures of predictive accuracy, miscalibration and discrimination

Technische Samenvatting: Maatstaven voor Voorspellende Nauwkeurigheid, Foutkalibratie en Discriminatie

Probleemstelling
Het artikel behandelt de evaluatie van reëelwaardige puntvoorspellers voor het gemiddelde van een responsvariabele $Y$. Binnen het door Gneiting (2011) vastgestelde besluitvormingskader berust de evaluatie van puntvoorspellingen op consistent verliesfuncties, specifiek Bregman-divergenties, waarbij de optimale voorspelling de conditionele verwachting is. Hoewel de primaire evaluatiecriterium de verwachte verliezen (nauwkeurigheid) is, moeten goede voorspellingen ook gemiddelde-kalibratie vertonen (de voorspeller is gelijk aan de conditionele verwachting) en een hoge discriminatie (de voorspeller varieert aanzienlijk ten opzichte van de onvoorwaardelijke verwachting).

De auteurs identificeren een lacune in de literatuur met betrekking tot veelgebruikte praktische maatstaven: het Oppervlak tussen de Concentratie- en Lorenz-curves (ABC) voor foutkalibratie, de Gini-index voor discriminatie, en hun kwadratische varianten. Hoewel deze maatstaven populair zijn in de actuariële wetenschap en het machine learning, is hun theoretische uitlijning met de besluitvormingsvereiste van consistente scorevoorschriften onduidelijk. Specifiek is onbekend of deze maatstaven "eerlijke" evaluaties bieden die niet afhankelijk zijn van de specifieke voorspeller die wordt geëvalueerd.

Methodologie
De studie opereert binnen een besluitvormingskader waar $(Y, X)$ een willekeurig paar is, $X$ een $\mathcal{A}$-meetbare voorspeller is, en $L$ een verliesfunctie is die consistent is voor het gemiddelde. De auteurs maken gebruik van:

1. Bregman-divergenties: Gekenmerkt door convexe functies $\phi$ of als integralen van elementaire Bregman-divergenties $L_\theta$ met betrekking tot een maat $H$.
2. Murphy's Decompositie: Een ontleding van de verwachte verliezen in Onzekerheid, Discriminatie en Foutkalibratie-componenten.
3. Lorenz- en Concentratie-curves: Standaardinstrumenten voor het meten van ongelijkheid en kalibratie in actuariële contexten.
4. Stochastische Dominantie: Het gebruik van stochastische dominantie van de derde graad en eigenschappen van Murphy-curves om voorspellingsdominantie te analyseren wanneer curves elkaar kruisen.

Belangrijkste Bijdragen en Resultaten

1. Een Nieuwe Versie van Murphy's Decompositie
De auteurs leiden een nieuwe representatie van Murphy's decompositie af waarbij de termen voor foutkalibratie en discriminatie alleen afhankelijk zijn van de voorspeller en zijn conditionele verwachting, en niet direct van de respons $Y$.

• Foutkalibratie ($MCB$): Gedefinieerd als $S_L(E[Y|X], X)$, waarbij de discrepantie tussen de voorspeller en zijn gekalibreerde versie wordt gemeten.
• Discriminatie ($DSC$): Gedefinieerd als $S_L(E[Y|X], E[Y])$, waarbij de discrepantie tussen de gekalibreerde voorspeller en de onvoorwaardelijke verwachting wordt gemeten.
• Betekenis: Deze formulering biedt een intuïtiefere geometrische interpretatie en robuustheid ten opzichte van staarteigenschappen van de respons, aangezien de respons $Y$ niet expliciet voorkomt in de statistieken zodra het conditionele gemiddelde is vastgesteld.

2. Kritiek op ABC en ABC2 (Maatstaven voor Foutkalibratie)
Het artikel onderzoekt de ABC-statistiek (oppervlak tussen Lorenz- en concentratiecurves) en introduceert een nieuwe gemiddelde-kwadratische versie, ABC2.

• ABC-beperkingen: De auteurs bewijzen dat $ABC=0$ een noodzakelijke maar niet voldoende voorwaarde is voor gemiddelde-kalibratie. Een voorspeller kan $ABC=0$ hebben terwijl deze foutgekalibreerd is (bijvoorbeeld wanneer Lorenz- en concentratiecurves elkaar kruisen).
• Eigenschappen van ABC2: $ABC2=0$ blijkt een noodzakelijke en voldoende voorwaarde te zijn voor gemiddelde-kalibratie.
• Theoretische Misuiting: Cruciaal is dat zowel ABC als ABC2 blijken te vertrouwen op voorspeller-afhankelijke gewichten. Ze kunnen niet worden weergegeven als de verwachte verliezen van een enkele, vaste Bregman-divergentie. Bijgevolg sluiten ze niet aan bij het besluitvormingskader van consistente scorevoorschriften. Het artikel toont aan dat het minimaliseren van gewogen Bregman-divergenties met voorspeller-afhankelijke gewichten kan leiden tot "oneerlijke" voorspellingen, waarbij een bevooroordeelde voorspeller de voorkeur krijgt boven een onbevooroordeelde.

3. Kritiek op de Gini-index (Maatstaf voor Discriminatie)
De auteurs relateren de Gini-index aan de discriminatieterm uit Murphy's decompositie.

• Decompositie: De Gini-index blijkt een som te zijn van de Murphy-discriminatieterm (gebaseerd op een voorspeller-specifieke Bregman-divergentie) en een term voor gemiddelde absolute afwijking.
• Theoretische Misuiting: Net als ABC impliceert de Gini-index een verliesfunctie die afhankelijk is van de verdeling van de voorspeller zelf ($H(\theta) = F_X(\theta)$). Zoals opgemerkt door Hand (2009) voor classificatie, betekent dit dat de Gini-index verschillende classifiers evalueert met verschillende maatstaven, wat in strijd is met het principe van consistente scorevoorschriften.
• Rankingsverschillen: Het artikel levert voorbeelden waarbij de ranking van voorspellers door de Gini-index verschilt van de ranking door de Murphy-discriminatieterm, met name wanneer Lorenz-curves elkaar kruisen.

4. Voorspellingsdominantie bij Kruisende Curves
Omdat niet-kruisende Lorenz-curves (strikte dominantie) zeldzaam zijn in de praktijk, breiden de auteurs de theorie uit tot gevallen waarin curves elkaar kruisen.

• Equivalentie van Kruispunten: Er wordt bewezen dat voor gemiddelde-gekalibreerde voorspellers het aantal kruispunten tussen Lorenz-curves identiek is aan het aantal kruispunten tussen Murphy-curves.
• Enkel-Kruisingsdominantie: In het geval van één kruising stellen de auteurs zwakkere dominantiecriteria vast voor subklassen van Bregman-divergenties met behulp van stochastische dominantie van de derde graad.
• Rol van Variantie: In tegenstelling tot de Gini-index, die geen consistente ranking biedt in het geval van één kruising, wordt de ranking bepaald door de variantie van de voorspellers en de specifieke klasse van Bregman-divergenties (gekenmerkt door de convexiteitseigenschappen van de genererende functie $\phi$). Specifiek, voor bepaalde klassen van verliesfuncties (bijvoorbeeld Tweedie-deviatieverliezen met specifieke parameters), kan een voorspeller met hogere variantie een voorspeller met lagere variantie domineren, of omgekeerd, afhankelijk van de kromming van de verliesfunctie.

Betekenis en Beweringen
Het artikel betoogt dat hoewel maatstaven zoals ABC, ABC2 en de Gini-index informatief en populair zijn in de praktijk, ze theoretisch gebrekkig zijn voor modelselectie en evaluatie onder het besluitvormingskader van Gneiting (2011).

• Oneerlijke Evaluatie: Omdat deze maatstaven vertrouwen op voorspeller-afhankelijke gewichten, vormen ze geen consistente scorevoorschriften. Ze kunnen leiden tot de selectie van suboptimale of "oneerlijke" voorspellers.
• Aanbeveling: De auteurs bepleiten het gebruik van foutkalibratie- en discriminatiestatistieken afgeleid van Murphy's decompositie (gebaseerd op vaste Bregman-divergenties) als de bij voorkeur gebruikte instrumenten voor het evalueren van puntvoorspellingen. Deze maatstaven sluiten aan bij de besluitvormingsvereiste dat de verliesfunctie onafhankelijk moet zijn van de specifieke voorspeller die wordt geëvalueerd.
• Praktische Implicatie: Wanneer Lorenz-curves elkaar kruisen, is de Gini-index ontoereikend voor het rangschikken van discriminatie; in plaats daarvan moet rekening worden gehouden met de specifieke klasse van Bregman-divergenties die relevant is voor de toepassing en de variantie-eigenschappen van de voorspellers.

Het artikel concludeert dat de nieuwe representatie van Murphy's decompositie een robuuste, interpreteerbare en theoretisch onderbouwde basis biedt voor voorspellingsevaluatie, die superieur is aan traditionele op curves gebaseerde maatstaven in de context van consistente scoring.