Technische Samenvatting: Visualiseren van de Verdeling van Verwarringsmatrix-metrieken

Probleemstelling

De heersende cultuur in algoritmische modellering geeft vaak de voorkeur aan het optimaliseren van de voorspellende prestaties op specifieke datasets en benchmarks. Deze focus heeft geleid tot een proliferatie van literatuur die debatteert over de relatieve verdiensten van verschillende prestatie-metrieken (bijv. Matthews Correlation Coefficient versus F1-score versus Accuraatheid) om te bepalen welke metriek "het beste" is. Dit paper betoogt echter dat dergelijke debatten vaak een fundamentele bron van onzekerheid over het hoofd zien: de discrete aard van empirische verwarringsmatrices afgeleid van eindige datasets.

Wanneer classificatiemodellen worden geëvalueerd op beperkte testdata, zijn de resulterende prestatie-metrieken schattingen die onderhevig zijn aan aanzienlijke statistische onzekerheid. Deze onzekerheid wordt vaak overschaduwd door de kleine verschillen in empirische prestaties tussen concurrerende modellen. Bovendien behandelen standaard visualisaties (zoals ROC-curves) ratio's vaak als continue variabelen, waardoor het feit wordt verhuld dat empirische verwarringsmatrices discrete aantallen zijn. Het paper stelt dat zonder rekening te houden met de onzekerheid die inherent is aan deze discrete aantallen, claims over de superioriteit van een classifier of de optimaliteit van specifieke metrieken vaak voortijdig en potentieel misleidend zijn.

Methodologie

De auteurs hanteren een geometrische en probabilistische benadering om de onzekerheid in prestatie-metrieken te visualiseren en te kwantificeren.

1. Geometrische Representatie (De Verwarringssimplex):

   • Het paper stelt voor om binaire verwarringsmatrices (met elementen $a, b, c, d$ die samen een vaste som $N$ vormen) te representeren als punten in een driedimensionaal isometrisch rooster, de "verwarringssimplex" genoemd.
   • In tegenstelling tot eerdere projecties (bijv. de tetraëder van Chicco et al.) die aantallen normaliseren door $N$ en informatie over de steekproefomvang verliezen, behoudt deze projectie de gehele aantallen, waarbij elke unieke verwarringsmatrix wordt in kaart gebracht naar een uniek punt in $\mathbb{Q}^3$.
   • Door deze 3D-simplex te snijden bij vaste aantallen positieve ($p$) en negatieve ($n$) voorbeelden, leiden de auteurs 2D-rechthoekige roosters af die overeenkomen met de ruimte van mogelijke Receiver Operating Characteristic (ROC) curves voor een gegeven datasetgrootte.

2. Algebraïsche Afleiding van Contouren:

   • De auteurs leiden exacte algebraïsche uitdrukkingen af voor de contouren (isolijnen) van diverse prestatie-metrieken (zowel prevalentie-afhankelijke als prevalentie-onafhankelijke) binnen en buiten de standaard ROC-ruimte.
   • Deze uitdrukkingen maken de visualisatie van de metriekgeometrie mogelijk (bijv. MCC-contouren als concentrische ellipsen, F1-contouren als rechte lijnen) als een functie van de True Positive Rate (TPR) en de True Negative Rate (TNR).

3. Probabilistische Modellering van Onzekerheid:

   • Om de onzekerheid van toekomstige voorspellingen te modelleren op basis van een geobserveerde verwarringsmatrix, maakt het paper gebruik van Bayesiaanse inferentie.
   • Binomiaal Model: Gaat ervan uit dat de ware positieve/negatieve ratio's vaststaan op hun empirische waarden.
   • Beta-Binomiaal Model: Integreert voorafgaande onzekerheid (met behulp van oninformatieve uniforme priors, $Beta(1,1)$) om posterior predictieve distributies te genereren. Deze aanpak is conservatiever en weerspiegelt de onzekerheid die inherent is aan kleine steekproefomvang.
   • De auteurs berekenen de exacte discrete posterior predictieve kansmassafuncties (pmfs) voor verwarringsmatrices en leiden door deze via de metriekcontouren te mappen, de pmfs voor prestatie-metrieken (bijv. MCC, Balanced Accuracy, F1) af.

4. Interactieve Visualisatie:

   • De methodologie is geïmplementeerd via interactieve visualisaties met Desmos en R. Deze tools stellen gebruikers in staat om te verkennen hoe de verdeling van metriekwaarden verandert met steekproefomvang, klasse-imbalans en de keuze van het onzekerheidsmodel.

Belangrijkste Bijdragen

• Herformulering van het Metriekdebat: Het paper verschuift de focus van het discussiëren over welke metriek "het beste" is naar het begrijpen van hoe de onzekerheid in metriekschattingen voortkomt uit de discrete aard van verwarringsmatrices en beperkte data.
• Verwarringssimplex Projectie: Introductie van een isometrische 3D-projectie die informatie over de steekproefomvang behoudt, wat het onderscheidt van relatieve projecties.
• Exacte Contourafleidingen: Levering van algebraïsche uitdrukkingen voor de contouren van talrijke prestatie-metrieken, wat hun geometrische gedrag onthult (bijv. hoe de excentriciteit van MCC-contouren afhangt van de prevalentie).
• Discrete Metriekverdelingen: Het paper benadrukt dat prestatie-metrieken, hoewel ze vaak als continu worden behandeld, in empirische settings discrete waarden aannemen. Het paper visualiseert de resulterende "sprongen" en multimodale verdelingen van metriekwaarden veroorzaakt door de uitlijning van discrete ROC-punten met metriekcontouren.
• Onzekerheidskwantificering: Berekening van exacte posterior predictieve pmfs voor prestatie-metrieken onder beta-binomiale modellen, waarbij wordt aangetoond dat de onzekerheid aanzienlijk kan zijn, zelfs wanneer punt-schattingen duidelijk verschillen.

Resultaten en Observaties

• Onzekerheid versus Prestatiekloof: Visualisaties tonen aan dat voor kleine of ongebalanceerde datasets de verdeling van mogelijke metriekwaarden (de onzekerheid) vaak aanzienlijk overlapt tussen verschillende classifiers. Bijgevolg kan het verschil in empirische prestaties tussen twee modellen statistisch ononderscheidbaar zijn.
• Impact van Steekproefomvang: Naarmate het totaal aantal voorbeelden ($N$) toeneemt, worden de posterior predictieve verdelingen van metrieken smaller (de standaarddeviatie schaalt met $1/\sqrt{N}$), waardoor de onzekerheid afneemt. Echter, voor zeldzame klassen blijft de onzekerheid hoog, tenzij het absolute aantal voorbeelden voor die klasse voldoende is.
• Geometrie van Metrieken:
  • MCC: Contouren vormen concentrische ellipsen waarvan vorm afhangt van de prevalentie.
  • F1 en Threat Score: Contouren zijn rechte lijnen die buiten de ROC-ruimte snijden, met hellingen die afhankelijk zijn van de prevalentie.
  • Accuraatheid: Contouren zijn parallelle lijnen.
• Discretheidseffecten: Het paper belicht dat het toevoegen van één enkel voorbeeld aan een dataset de veelheid van punten die op een specifieke metriekcontour liggen kan veranderen, wat leidt tot niet-gladde veranderingen in de verdeling van metriekwaarden (bijv. de verdeling van MCC en Balanced Accuracy wordt vloeiender met één extra negatief voorbeeld, terwijl F1 minder wordt beïnvloed vanwege de specifieke lineaire relatie met $p$ en $n$).
• Klasse-imbalans: Het paper verduidelijkt dat hoewel er "gebalanceerde" metrieken bestaan, deze de onzekerheid niet inherent verminderen. Onzekerheid wordt gedreven door de absolute abundantie van voorbeelden, niet alleen door de balansratio.

Betekenis en Claims

Het paper claimt dat de primaire betekenis ligt in het vergroten van het bewustzijn over de aanzienlijke onzekerheid die inherent is aan prestatie-metriekschattingen afgeleid van empirische datasets.

• Matiging van Claims: De auteurs betogen dat claims over prestaties (bijv. "Model A is beter dan Model B" of "Metriek X is de beste") getemperd moeten worden door een begrip van de onzekerheid in de onderliggende verwarringsmatrices.
• Data boven Metrieken: Het paper stelt dat de oplossing voor hoge onzekerheid niet het selecteren van een "betere" metriek is, maar het verzamelen van meer representatieve data. Geen enkele metriek kan de onzekerheid verminderen die wordt veroorzaakt door eindige steekproeven.
• Praktisch Nut: Door het aanbieden van interactieve tools en visualisaties, beogen de auteurs praktijkgebruikers te helpen de empirische prestatiestatistieken in perspectief te plaatsen, waardoor de focus wordt gelegd op het verminderen van onzekerheid voordat men zich bezighoudt met debatten over de superioriteit van metrieken of de rangschikking van classifiers.
• Bescheidenheid: Het paper stelt expliciet dat het geen aandacht besteedt aan modeltransparantie, eerlijkheid of de representativiteit van de evaluatiedata (de aanname dat toekomstige data afkomstig is van hetzelfde proces als het verleden). De reikwijdte is strikt beperkt tot de statistische onzekerheid van prestatie-metrieken gegeven vaste evaluatiesets.

Concluderend dient het paper als een waarschuwende en educatieve bron, die de gemeenschap oproept te erkennen dat de "ruis" van statistische onzekerheid in discrete verwarringsmatrices de "signalen" van prestatieverschillen tussen classifiers gemakkelijk kan overstemmen.