A Review of the Receiver Operating Characteristic Curve and a Proof About the Area Beneath It

Dit artikel formaliseert de probabilistische interpretatie van het Area Under the ROC Curve (AUC) als de waarschijnlijkheid dat een classifier een willekeurige positieve instantie hoger rangschikt dan een willekeurige negatieve instantie, biedt een grens voor de fout wanneer onderliggende hypothesen niet worden voldaan, en biedt een beknopte literatuuroverzicht van ROC-curves.

De kern

Stel je voor dat je een portier bent bij een exclusieve club. Jouw taak is om te beslissen wie er binnenkomt (de "Positieven") en wie er buiten blijft (de "Negatieven"). Je hebt een speciale scanner die elke persoon een score geeft tussen 0 en 100, die aangeeft hoe zeker je bent dat ze bij de club horen.

Dit artikel gaat over een specifiek hulpmiddel om te meten hoe goed je vaardigheden als portier zijn: de ROC-curve.

Het grote idee: de score van een "perfecte gok"

De belangrijkste bewering van het artikel (het Proposition) is verrassend eenvoudig: Het oppervlak onder de ROC-curve is eigenlijk gewoon de waarschijnlijkheid dat je scanner, bij een willekeurige vergelijking, een "Clublid" correct boven een "Niet-lid" zal plaatsen.

Stel je het voor als een spelletje "Wie is het?":

1. Je kiest één persoon die wel lid is (een Positieve).
2. Je kiest één persoon die geen lid is (een Negatieve).
3. Je kijkt naar hun scannerscores.
4. Als de score van het lid hoger is dan die van de niet-lid, win je een punt.

Als je dit spel een miljoen keer zou spelen, is het percentage keren dat je wint exact hetzelfde als het "Oppervlak onder de Curve" (AUC). Als je AUC 0,9 is, betekent dit dat je een kans van 90% hebt om een willekeurig lid correct hoger te rangschikken dan een willekeurig niet-lid.

De hapering: het "Gelijkspel"-probleem

Het artikel wijst op een cruciale regel om deze wiskunde perfect te laten werken. De regel is: Je scanner mag nooit exact dezelfde score geven aan een lid en een niet-lid.

De auteur noemt dit de "Hypothese".

• De ideale wereld: Twee personen (één goed, één slecht) krijgen nooit exact hetzelfde getal.
• De realiteit: Soms krijgen een lid en een niet-lid allebei een score van 50.

Als dit "Gelijkspel" voorkomt, wordt de wiskunde rommelig. Het artikel bewijst dat als gelijkspelen optreden, het "Oppervlak onder de Curve" iets hoger kan zijn dan je werkelijke winpercentage in het gokspel. De auteur biedt echter een vangnet: zelfs in het slechtst mogelijke scenario met gelijkspelen, kan het verschil tussen het berekende oppervlak en je werkelijke winpercentage nooit meer dan 50% bedragen. (Hoewel het in werkelijkheid meestal veel kleiner is).

Hoe ze het bewezen

De auteur gokt niet zomaar; ze gebruiken zware wiskunde (maattheorie) om dit verband te bewijzen.

1. Ze definiëren de "True Positive Rate" (hoeveel leden je vangt) en de "False Positive Rate" (hoeveel niet-leden je binnenlaat) bij elke mogelijke scoredrempel.
2. Ze tekenen de lijn die deze punten verbindt (de ROC-curve).
3. Ze berekenen het oppervlak onder die lijn.
4. Ze tonen stap voor stap aan dat dit oppervlak wiskundig identiek is aan de waarschijnlijkheid van het hierboven beschreven "Gokspel", op voorwaarde dat er geen gelijkspelen zijn.

Een blik op de geschiedenis

Het artikel maakt ook een reis terug in de tijd. Het merkt op dat dit idee decennia geleden voor het eerst werd gesuggereerd door onderzoekers zoals Green, Swets en anderen (zoals Peterson, Birdsall en Fox).

• Toen: Deze vroege onderzoekers gingen ervan uit dat hun data perfect glad en continu was (zoals stromend water), wat de wiskunde makkelijk maakte maar geen rekening hield met echte "sprongen" of gelijkspelen uit de praktijk.
• Nu: Dit artikel werkt dat oude idee bij. Het zegt: "Hé, we hoeven niet aan te nemen dat de data perfect glad is. We kunnen omgaan met de rommelige, echte data waar gelijkspelen voorkomen, en we kunnen je precies vertellen hoeveel die rommeligheid je score verstoort."

De conclusie

Dit artikel is een wiskundige "gezondheidscheck". Het bevestigt dat de populaire "Oppervlak onder de Curve"-metriek inderdaad een geldige manier is om te meten hoe goed een classifier twee groepen scheidt. Het geeft ons ook een precies waarschuwingslabel: Als je classifier exact dezelfde score geeft aan een goede en een slechte persoon, is de metriek niet perfect nauwkeurig, maar zal ze ook niet wild verkeerd zijn.

Het is een rigoureus bewijs dat een complex statistisch diagram omzet in een eenvoudig, intuïtief concept: Het oppervlak onder de curve is gewoon de kans dat je systeem de juiste persoon boven de verkeerde persoon kiest.

Technische samenvatting

1. Probleemstelling

Het artikel behandelt een fundamentele bewering in machine learning en statistiek met betrekking tot de Receiver Operating Characteristic (ROC)-curve. Specifiek onderzoekt het de propositie dat het Oppervlak Onder de Curve (AUC) van een binaire classifier equivalent is aan de waarschijnlijkheid dat de classifier een willekeurig gekozen positieve observatie correct hoger zal rangschikken dan een willekeurig gekozen negatieve observatie (vaak aangeduid als $P(f(x) > f(y))$ waarbij $x \in P$ en $y \in P^c$).

Hoewel deze equivalentie in de praktijk breed wordt aanvaard, merkt de auteur op dat:

1. Historische bewijzen (bijvoorbeeld Green en Swets, Peterson et al.) vaak steunen op sterke aannames, zoals de absolute continuïteit van waarschijnlijkheidsverdelingen en de differentieerbaarheid van de ROC-curve.
2. De voorwaarden waaronder deze equivalentie strikt geldt, met name in discrete of eindige contexten, niet altijd rigoureus zijn gedefinieerd.
3. Wanneer de classifier dezelfde score toekent aan een positief en een negatief geval (gelijkstand), de standaardinterpretatie van AUC als een waarschijnlijkheid van strikte dominantie kan falen.

2. Methodologie

De auteur maakt gebruik van maattheorie en Lebesgue-Stieltjes-integratie om een rigoureus wiskundig bewijs van de propositie te leveren. De methodologie omvat:

• Formele Definities: De classifier $f$ wordt gedefinieerd als een functie die een eindige verzameling observaties $\Omega$ afbeeldt op $[0, 1]$. De True Positive Rate ($T_f$) en False Positive Rate ($F_f$) worden gedefinieerd als conditionele maten.
• Constructie van de ROC-curve: De ROC-curve wordt niet geconstrueerd als een gladde functie, maar als een reeks punten verbonden door lijnsegmenten (trapeziumbenadering) gebaseerd op de springdiscontinuïteiten van $T_f$ en $F_f$.
• Integraalvoorstelling: Het oppervlak $A$ wordt uitgedrukt als een Lebesgue-Stieltjes-integraal:
  $$A = \int \bar{T}_f \, d(-F_f)$$
  waarbij $\bar{T}_f$ de "gebalanceerde" versie van de True Positive Rate-functie voorstelt.
• Analyse van de Waarschijnlijkheidsruimte: Het probleem wordt herschreven in de productruimte $\Omega \times \Omega$ met het productmaat $\mu \otimes \mu$. De waarschijnlijkheid van correcte rangschikking wordt gedefinieerd als de maat van de verzameling $E = \{(\omega_1, \omega_2) : f(\omega_1) > f(\omega_2)\}$ geconditioneerd op $P \times P^c$.
• Hypothese-toetsing: De auteur introduceert een specifieke hypothese: $f(P) \cap f(P^c) = \emptyset$. Dit betekent dat de classifier nooit dezelfde score toekent aan een positief en een negatief geval (geen gelijkstand tussen klassen).

3. Belangrijkste Bijdragen

A. Rigoureus Bewijs van de Propositie (Stelling 2)

Het artikel levert een formeel bewijs dat als de classifier voldoet aan de hypothese (geen gelijkstand tussen positieve en negatieve klassen), dan geldt:
$$\text{AUC} = P(f(x) > f(y) \mid x \in P, y \in P^c)$$
Het bewijs maakt gebruik van de eigenschappen van push-forward maten en de Radon-Nikodym-afgeleide om aan te tonen dat de integraal van de True Positive Rate tegenover de differentiaal van de False Positive Rate gelijk is aan de waarschijnlijkheid van strikte dominantie.

B. Identificatie van de "Gelijkstand"-Voorwaarde

De auteur demonstreert dat de gelijkheid niet meer geldt als de hypothese wordt geschonden (d.w.z. als $f(P) \cap f(P^c) \neq \emptyset$).

• Tegenvoorbeeld: Er wordt een eenvoudig geval gegeven waarbij een classifier dezelfde waarde $c$ toekent aan één positief en één negatief geval. In dit scenario is de waarschijnlijkheid van strikte dominantie ($P$) 0, maar is de berekende AUC 0,5.
• Betekenis: Dit verduidelijkt dat de standaard AUC-interpretatie impliciet uitgaat van geen gelijkstand tussen klassen, of dat gelijkstand op een specifieke manier wordt behandeld (bijvoorbeeld door het middelen van rangen).

C. Kwantitatieve Ondergrens voor de Fout (Corollarium 3)

Wanneer de hypothese wordt geschonden, leidt het artikel een ondergrens af voor het verschil tussen de AUC ($A$) en de waarschijnlijkheid van correcte rangschikking ($P$):
$$0 \leq A - P \leq \frac{1}{4} \left( \mu(B|P) + \mu(B|P^c) \right)$$
Waarbij $B$ de verzameling observaties is die betrokken zijn bij gelijkstand (waar $f(P) \cap f(P^c) \neq \emptyset$).

• Het maximale mogelijke verschil is 1/2.
• Dit biedt een theoretische garantie voor de mate waarin de AUC de waarschijnlijkheid van correcte rangschikking kan overschatten in aanwezigheid van gelijkstand.

D. Historische Context en Kritiek

Het artikel bespreekt de historische argumenten van Green en Swets [2] en Peterson, Birdsall en Fox [4].

• Het benadrukt dat eerdere bewijzen vaak uitgingen van absolute continuïteit ten opzichte van het Lebesgue-maat en differentieerbaarheid van de ROC-curve.
• De auteur betoogt dat deze aannames onnodig zijn en vaak ongeldig voor moderne datawetenschaps-toepassingen die discrete data of willekeurige classifiers betrekken. Het nieuwe bewijs werkt voor algemene maatruimten zonder gladheid te vereisen.

4. Resultaten

1. Stelling 1: Stelt vast dat het oppervlak onder de ROC-curve exact gelijk is aan de Lebesgue-Stieltjes-integraal $\int \bar{T}_f \, d(-F_f)$.
2. Stelling 2: Bewijst dat onder de voorwaarde $f(P) \cap f(P^c) = \emptyset$, de integraal gelijk is aan de waarschijnlijkheid van correcte rangschikking.
3. Corollarium 3: Stelt vast dat het verschil tussen AUC en de waarschijnlijkheid van correcte rangschikking wordt begrensd door de frequentie van gelijkstand tussen klassen, met een maximale fout van 0,5.
4. Historische Analyse: Bevestigt dat hoewel historische claims intuïtief correct waren voor continue Gaussische verdelingen, ze steunden op sterkere aannames dan noodzakelijk voor de algemene propositie.

5. Betekenis

• Theoretische Rigor: Het artikel overbrugt de kloof tussen het intuïtieve begrip van AUC in machine learning en rigoureuze maattheoretische wiskunde. Het valideert de interpretatie "AUC = Waarschijnlijkheid van Rangschikking" voor discrete en eindige datasets, mits gelijkstand wordt meegewogen.
• Praktische Implicaties: Het waarschuwt datawetenschappers dat als een classifier veel gelijkstand produceert tussen positieve en negatieve klassen, de AUC de onderscheidingsvermogen van de classifier aanzienlijk kan overschatten.
• Generalisatie: Door aannames van absolute continuïteit en differentieerbaarheid te verwijderen, zijn de resultaten van toepassing op een bredere reeks classifiers, waaronder die welke werken met discrete data of niet-gladde beslissingsgrenzen, wat veel voorkomt in modern machine learning.
• Kwantificering van Fouten: De afgeleide ondergrens (Corollarium 3) biedt een manier om de potentiële discrepantie tussen de AUC-maatstaf en de werkelijke rangschikkingsprestatie te kwantificeren wanneer gelijkstand bestaat.

Samenvattend biedt het artikel van Redolfi de ontbrekende wiskundige formalisering voor een standaardmaatstaf in binaire classificatie, verduidelijkt het de precieze voorwaarden waaronder het Oppervlak Onder de ROC-curve de waarschijnlijkheid van correcte rangschikking vertegenwoordigt, en kwantificeert het de fout wanneer aan die voorwaarden niet wordt voldaan.