Partial VOROS: A Cost-aware Performance Metric for Binary Classifiers with Precision and Capacity Constraints

Probleemstelling

In hoog-risico toepassingen, zoals waarschuwingssystemen voor gehospitaliseerde patiënten, zijn traditionele evaluatiemethoden voor binaire classifiers (zoals de ROC-curve en het Area Under the Curve - AUC) vaak ontoereikend. Deze methoden negeren drie kritieke operationele beperkingen die essentieel zijn voor een succesvolle implementatie:

1. Asymmetrische kosten: De kosten van een vals-positief resultaat (onnodige alarmen die personeelstijd kosten) en een vals-negatief resultaat (een patiënt die verslechtert zonder waarschuwing) verschillen sterk en zijn contextafhankelijk.
2. Precisie-beperkingen: Om "alarmvermoeidheid" (alarm fatigue) te voorkomen, moet het systeem een minimum precisie (het percentage juiste alarmen onder alle alarmen) garanderen. Als de precisie te laag is, negeren klinisch personeel de waarschuwingen.
3. Capaciteitsbeperkingen: Het personeel heeft een beperkte capaciteit om op alarmen te reageren. Er moet een maximum aantal voorspelde positieven (alarmen) worden ingesteld dat het systeem kan verwerken.

Bestaande methoden zoals de VOROS (Volume Over the ROC Surface) van Ratigan en Cowen (2025) houden wel rekening met kosten, maar niet met de harde beperkingen op precisie en capaciteit.

Methodologie

De auteurs introduceren Partial VOROS (PV), een nieuwe prestatiemetriek die de ROC-analyse uitbreidt naar een 3D-ruimte (ROC-oppervlak) en deze beperkt tot een "haalbaar gebied" (feasible region) dat voldoet aan de operationele constraints.

1. Geometrie van het Haalbare Gebied:
De auteurs definiëren het ROC-ruimte (waar de x-as de False Positive Rate en de y-as de True Positive Rate is) en beperken deze tot een polygoonvormig gebied door twee lijnen:

• Minimale Precisie-lijn ($\ell_\alpha$): Een lijn die afhangt van de vereiste minimale precisie $\alpha$ en de prevalentie van de positieve klasse. Classificatoren onder deze lijn worden uitgesloten.
• Maximale Capaciteitslijn ($\ell_\kappa$): Een lijn die afhangt van het maximale aantal toegestane alarmen $\kappa$. Classificatoren die meer positieven voorspellen dan $\kappa$, worden uitgesloten.

Afhankelijk van de waarden van $\alpha$ en $\kappa$ vormt dit gebied een driehoek, een vierhoek of een grotere driehoek binnen het eenheidsvierkant van de ROC-ruimte.

2. Definitie van Partial VOROS:

• Gedeeltelijk Oppervlak van Minderwaardige Classificatoren: Voor een gegeven kostenparameter $t$ (die de verhouding tussen de kosten van vals-positief en vals-negatief bepaalt) wordt het oppervlak berekend binnen het haalbare gebied dat "minder goed" is dan een specifiek punt op de ROC-curve.
• Integratie over Kostenverdeling: In plaats van een enkel punt te kiezen, integreert de methode dit gedeeltelijke oppervlak over een gewenste kansverdeling $p(t)$ van de kostenparameter.
• Normalisatie: Het resultaat wordt genormaliseerd door te delen door het totale oppervlak van het haalbare gebied, zodat de metriek een waarde tussen 0 en 1 heeft (waarbij 1 de beste mogelijke prestatie is).

De formule voor Partial VOROS ($PV$) is:
$$PV(F) = \frac{1}{A^*} \int_{0}^{1} p(t) \max_{\tau} (A^*_t(F_\tau)) dt$$
Waarbij $A^*$ het totale oppervlak van het haalbare gebied is, $p(t)$ de kostenverdeling is, en $A^*_t$ het gedeeltelijke oppervlak van minderwaardige classificatoren is voor een drempelwaarde $\tau$.

3. Berekeningscomplexiteit:
De auteurs bieden een efficiënt algoritme dat gebruikmaakt van de convexe omhulling (convex hull) van de ROC-curve. De complexiteit is lineair met het aantal punten op de convexe omhulling binnen het haalbare gebied ($O(n_{\alpha\kappa})$), wat maakt dat de metriek praktisch toepasbaar is.

Belangrijkste Bijdragen

1. Formele Definitie van het Haalbare Gebied: De auteurs formaliseren hoe precisie- en capaciteitsbeperkingen de ROC-ruimte reduceren tot een polygoon, en analyseren de meetkunde van dit gebied onder verschillende scenario's.
2. Partial VOROS Metriek: Introductie van een nieuwe, kostenbewuste metriek die specifiek ontworpen is om classifiers te rangschikken binnen operationele constraints, in tegenstelling tot traditionele AUC of zelfs de onbeperkte VOROS.
3. Geometrische Analyse: Het leveren van expliciete formules voor het berekenen van het oppervlak van minderwaardige classificatoren binnen de verschillende polygoonvormen (driehoek, vierhoek, etc.).
4. Open Source Implementatie: De auteurs hebben een Python-codebase en een gebruikershandleiding beschikbaar gesteld om de berekening van PV voor andere onderzoekers mogelijk te maken.

Resultaten

De methode werd getest op twee grote medische datasets: MIMIC-IV en eICU, met als taak het voorspellen van sterftekans (mortaliteit) op basis van vitale tekenen en laboratoriumwaarden.

• Re-analyse van Bestaande Scores: Bij het evalueren van bestaande Early Warning Scores (NEWS, NEWS2, Rothman Index) bleek dat er geen enkele "beste" score is. Welke score het beste presteert, hangt sterk af van de specifieke eisen aan precisie ($\alpha$) en capaciteit ($\kappa$). Partial VOROS kan deze nuances in kaart brengen waar andere metrieken dat niet kunnen.
• Modelselectie: In experimenten waarbij modellen werden geselecteerd op basis van verschillende strategieën (maximale recall, maximale pAUC, maximale VOROS, en maximale PV), presteerde de Partial VOROS-strategie consistent het beste of gelijkwaardig aan de besten in termen van de verwachte kosten op de testset.
  • In een minder strenge scenario (lage precisie-eis, hoge capaciteit) leverde PV de laagste kosten op.
  • In een streng scenario (hoge precisie-eis, lage capaciteit) bleek dat strategieën die de constraints negeerden (zoals de originele VOROS) modellen selecteerden die op de testset de kostenbeperkingen schonden of slechtere prestaties leverden.
• Robuustheid: De resultaten tonen aan dat het selecteren van een model op basis van PV leidt tot betere generalisatie naar nieuwe data, omdat de selectie direct is afgestemd op de operationele realiteit (kosten en beperkingen).

Betekenis en Conclusie

De paper biedt een cruciale stap voorwaarts in het evalueren van machine learning-modellen voor kritieke toepassingen. Het benadrukt dat het optimaliseren van een algemene metriek zoals AUC vaak leidt tot modellen die in de praktijk niet bruikbaar zijn vanwege alarmvermoeidheid of personeelscapaciteit.

Partial VOROS biedt een wiskundig onderbouwde, kostenbewuste manier om modellen te vergelijken en te selecteren die niet alleen accuraat zijn, maar ook operationeel haalbaar. Het stelt stakeholders in staat om trade-offs tussen kosten, precisie en capaciteit expliciet te maken en te optimaliseren, wat essentieel is voor de veilige en effectieve implementatie van AI in de gezondheidszorg en andere hoog-risico domeinen. De methode is niet beperkt tot de gezondheidszorg en is toepasbaar op elk domein waar binaire classificatie wordt gebruikt met strikte operationele beperkingen (bijv. fraudedetectie, credit scoring).