🤖 machine learning

Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support: A Multi-Domain Benchmark

Dit artikel presenteert een uitgebreide multi-domein benchmark die aantoont dat het combineren van klasse-conditionele (Mondriaanse) conformale voorspelling met kostenbeheerste onthouding effectief de ernstige onderdekking van zeldzame minderheidsklassen oplost en de verwachte beslissingskosten minimaliseert in hoogwaardige, ongebalanceerde besluitvormingssystemen.

Oorspronkelijke auteurs: Manpreet Singh, Akshatha Srikantha, Shyamal Lakhanpal

Gepubliceerd 2026-07-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Manpreet Singh, Akshatha Srikantha, Shyamal Lakhanpal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat jij de kapitein bent van een ruimteschip dat door een dicht, mistig asteroïdengestel navigeert. De computer van je schip is briljant in het opsporen van de duizenden onschadelijke, zwevende rotsen (de "meerderheidsklasse"), maar het blijft de zeldzame, gevaarlijke asteroïden missen die het schip kunnen vernietigen (de "minderheidsklasse"). In de wereld van kunstmatige intelligentie is dit een bekend probleem genaamd "imbalanced data" (ongebalanceerde data). Wanneer een computer leert van een dataset waarin de ene uitkomst 99 keer voorkomt en de andere slechts één keer, wordt de computer lui en begint hij telkens de algemene uitkomst te raden om slim te lijken. Dit is gevaarlijk in banen met hoge inzet, zoals het opsporen van creditcardfraude, het diagnosticeren van zeldzame ziekten of het voorspellen van defecten aan fabrieksapparatuur, waarbij het missen van het zeldzame evenement een fortuin of zelfs levens kan kosten.

Om dit op te lossen, gebruiken wetenschappers een vangnet genaamd "Conformal Prediction". Denk hierbij aan een slimme vangrail die niet alleen een enkel "ja" of "nee" antwoord geeft, maar in plaats daarvan zegt: "Ik ben voor 90% zeker dat het antwoord in deze groep zit." Als de computer zelfverzekerd is, heeft de groep één item. Als de computer twijfelt, kan de groep twee items bevatten, of zelfs leeg zijn, wat een signaal afgeeft van: "Ik heb geen idee, vraag alstublieft aan een mens!" De grote vraag waar onderzoekers naar hebben gevraagd is: werkt dit vangnet even goed voor de zeldzame, gevaarlijke asteroïden, of beschermt het alleen de saaie, algemene rotsen?

Dit artikel, getiteld "Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support", duikt diep in dat exacte probleem. De auteurs, Manpreet Singh, Akshata Srikantha en Shyamal Lakhanpal, voerden een massaal experiment uit over 15 verschillende real-world datasets en testten 7 verschillende soorten AI-modellen. Ze ontdekten dat de standaardversie van dit vangnet (genaamd "Marginal Conformal Prediction") bij de zeldzame gevallen spectaculair faalt. In hun tests, terwijl het systeem in totaal 90% veiligheid beloofde, ving het de zeldzame, gevaarlijke gebeurtenissen in de slechtste gevallen minder dan 1% van de tijd. Het was als een vangrail die het trottoir beschermt maar de rand van de klif volledig open laat staan.

De belangrijkste bevinding van het artikel is dat een specifieke upgrade genaamd "Mondrian Conformal Prediction" dit kapotte vangnet repareert. In plaats van één gigantisch vangnet voor alles te gebruiken, bouwt Mondrian CP aparte, op maat gemaakte netten voor de algemene rotsen en de zeldzame asteroïden. De resultaten waren spectaculair: deze methode herstelde de veiligheidsdekking voor de zeldzame gebeurtenissen naar een solide 92,2% gemiddeld, een enorme verbetering van 61,7 procentpunt ten opzichte van de standaardmethode.

Maar het artikel stopt niet bij het simpelweg vangen van de zeldzame gebeurtenissen; het bepaalt ook wanneer het de moeite waard is om een mens erbij te betalen om in te grijpen. De auteurs introduceerden een "cost-controlled abstention" regel (kostenbeheerste onthouding). Stel je voor dat de AI een student is die een toets maakt. Als de student onzeker is, kan hij ervoor kiezen om zich te "onthouden" (het antwoord leeg te laten) en het aan een docent te laten nakijken, maar de docent brengt een vergoeding in rekening voor zijn tijd. Het artikel berekende het exacte "break-even" punt: als de vergoeding voor de docent laag genoeg is, is het wiskundig gezien goedkoper om de AI de moeilijke vragen te laten overslaan en ze naar een mens te sturen, dan het risico te lopen op een fout antwoord dat een fortuin kost. Ze bewezen dat door hun verbeterde Mondrian-methode te combineren met deze slimme "overslaan en vragen"-regel, de totale kosten van het nemen van beslissingen aanzienlijk daalden vergeleken met standaardmethoden.

Kortom, het artikel betoogt dat voor beslissingen met hoge inzet waarbij zeldzame gebeurtenissen betrokken zijn, de oude "one-size-fits-all" vangnetten gevaarlijk zijn. In plaats daarvan hebben we op maat gemaakte netten nodig voor zeldzame gevallen en een slim systeem dat precies weet wanneer het moet zeggen: "Ik weet het niet, laat een mens dit afhandelen," om geld te besparen en rampen te voorkomen. De auteurs testten dit over duizenden scenario's en vonden dat deze aanpak niet alleen een goed idee is, maar een statistisch bewezen noodzaak is om zeldzame, kostbare fouten in toom te houden.

Technische Samenvatting: Kostgevoelige Conformal Predictie en Human-in-the-Loop Onthouding voor Imbalanced High-Stakes Besluitvormingsondersteuning

Probleemstelling
Beslissingssystemen met hoge inzet in domeinen zoals kredietwaardigheid, fraude detectie, gezondheidszorg en industriële veiligheid opereren onder strikte klassenimbalans en asymmetrische foutkosten. In deze contexten overstijgt de kost van een fout negatief (bijv. het missen van een frauduleuze transactie of een ernstige ziekte) vaak aanzienlijk de kost van een fout positief. Hoewel standaard classificatiemodellen puntvoorspellingen of betrouwbaarheidsscores leveren, falen ze vaak in het kwantificeren van werkelijke voorspellingsonzekerheid, wat leidt tot risicovolle geautomatiseerde beslissingen.

Conformal Predictie (CP) biedt een distributievrije raamwerk voor onzekerheidskwantificatie, waarbij wordt gegarandeerd dat de ware label binnen een voorspellingsverzameling ligt met een waarschijnlijkheid van ten minste $1-\alpha$ . Echter, standaard marginale conformal predictie biedt alleen validiteit gemiddeld over de gehele datadistributie. Op imbalanced datasets resulteert dit in een kritieke foutmodus: de voorspeller voldoet aan de globale dekkingstarget door de meerderheidsklasse te overdekken, terwijl de zeldzame, hoog-risico minderheidsklasse ernstig ondergedekt blijft. Empirisch bewijs in deze studie toont aan dat marginale CP de dekking van de minderheidsklasse kan laten dalen tot onder de 1% bij extreme imbalansratio's, waardoor zeldzame maar kritieke gevallen onbeschermd blijven.

Methodologie
De auteurs stellen een uitgebreid raamwerk voor dat Class-Conditional (Mondrian) Conformal Predictie integreert met Kost-Gecontroleerde Onthouding (Abstention).

Mondrian Conformal Predictie: Om de tekortkoming in minderheiddekking aan te pakken, splitst deze methode de kalibratieset in klasse-specifieke subsets ( $D^{(0)}_{cal}$ en $D^{(1)}_{cal}$ ). Onafhankelijke non-conformity kwantielen ( $q_0$ en $q_1$ ) worden voor elke klasse afzonderlijk berekend. Dit zorgt ervoor dat de dekkingstarget $P(Y \in \hat{C}(X) \mid Y=y) \geq 1-\alpha$ voor elke klasse afzonderlijk geldt, in plaats van enkel marginaal.
Kost-Gecontroleerd Onthoudingsmechanisme: Het systeem koppelt de output van voorspellingsverzamelingen aan acties op basis van een asymmetrische kostenmatrix ( $C_{FN}, C_{FP}$ $C_{F N}, C_{F P}$ ) en een menselijke beoordelingskost ( $C_{rev}$ $C_{r e v}$ ).
- Als de voorspellingsverzameling een singleton is (bijv. $\{0\}$ of $\{1\}$ ), voert het systeem de geautomatiseerde beslissing uit.
- Als de vo르게 voorspellingsverzameling ambigu is (multi-label $\{0, 1\}$ ) of leeg ( $\emptyset$ ), onthoudt het systeem zich en draagt het de instantie over aan een menselijke expert.
- Het raamwerk modelleert de verwachte kosten van uitstel, rekening houdend met de operationele kosten van beoordeling en potentiële menselijke foutpercentages ( $\epsilon_{hum}$ ).
Break-Even Analyse: De auteurs leiden een gesloten vorm drempelwaarde af ( $C^*_{rev}$ ) die de maximale beoordelingskost vertegenwoordigt waarbij het uitstellen van ambigue instanties naar mensen een lagere totale verwachte beslissingskost oplevert dan standaard puntvoorspellers of Bayes-optimale drempelwaarde-tuning.

Experimentele Benchmark
De studie voert een rigoureuze empirische evaluatie uit over:

15 Real-World Datasets: Afkomstig van OpenML, variërend van financiën en gezondheidszorg tot industriële veiligheid en milieumonitoring, met imbalansratio's van 2.3:1 tot 580:1.
7 Base Classifiers: Inclusief HistGradientBoosting, Logistic Regression, Random Forest, Extra Trees, Gradient Boosting, AdaBoost en Gaussian Naive Bayes.
3 Kalibratietechnieken: Uncalibrated, Platt Scaling en Isotonic Regression.
Schaal: 3.150 totale experimentele runs (10 willekeurige seeds per configuratie).

Belangrijkste Resultaten

Herstel van Minderheiddekking: Standaard marginale CP bereikte een gemiddelde minderheidsklasse-dekking van slechts 30,5%, wat op extreme datasets (bijv. aps_failure) vaak onder de 1% zakte. In tegen tegenstelling hiertoe herstelde Mondrian CP de validiteit van de dekking systematisch, met een gemiddelde minderheidsklasse-dekking van 92,2%. Dit vertegenwoordigt een gemiddelde verbetering van 61,7 procentpunt ten opzichte van marginale CP ( $p < 10^{-80}$ ).
Kostenreductie: Het koppelen van Mondrian CP aan kost-gecontroleerde onthouding verminderde de verwachte beslissingskosten per instantie aanzienlijk. Bij een gematigde menselijke beoordelingskost ( $C_{rev} = 0,5$ ) bereikte de voorgestelde methode een gemiddelde kost van 0,313, een reductie van 54,1% vergeleken met standaard puntclassificatie en een reductie van 38,6% vergeleken met Bayes-kost-getunede drempelwaarden.
Break-Even Drempelwaarden: De studie kwantificeerde dataset-specifieke break-even drempelwaarden voor menselijke beoordeling. Het toonde aan dat zelfs met ruizige menselijke beoordeling ( $\epsilon_{hum} > 0$ ), uitstel economisch voordelig blijft, mits de menselijke foutmarge onder ongeveer 18% blijft onder standaard operationele parameters.
Robuustheid: De herstel van dekking en de kostenvoordelen waren consistent over alle zeven base classifiers en drie kalibratiemethoden, wat het model-agnostische karakter van de aanpak bevestigt.

Betekenis en Claims
Het artikel claimt bruikbare principes te bieden voor het implementeren van distributievrije, kost-optimale onzekerheidskwantificatie in kennisgebaseerde beslissingsondersteunende systemen. De primaire bijdragen zijn:

Empirische Kwantificering: Het aantonen dat marginale CP fundamenteel ontoereikend is voor imbalanced high-stakes taken vanwege ernstige onderdekking van de minderheidsklasse.
Systematische Oplossing: Het bewijzen dat Mondrian CP de validiteit voor zeldzame klassen herstelt zonder complexe modelhertraining te vereisen.
Economisch Raamwerk: Het leggen van een formele link tussen de conformal set-valued outputs en financiële/klinische beslissingskosten, waarbij specifieke drempelwaarden worden afgeleid waar human-in-the-loop uitstel economisch superieur is aan geautomatiseerde tuning.
Implementatierichtlijnen: Het aanbieden van een vier-lagen systeemarchitectuur voor de integratie van deze methoden in enterprise-omgevingen, inclusief overwegingen voor menselijke capaciteitslimieten (wachtrijtheorie) en distributieverschuivingen.

De auteurs concluderen dat hoewel de methode steunt op tabulaire data en de aanname van uitwisselbaarheid (exchangeability) hanteert, het een robuuste, theoretisch gefundeerde aanpak biedt voor het beheren van onzekerheid en kosten in kritieke besluitvormingsscenario's waar zeldzame fouten onevenredige gevolgen hebben. Toekomstig werk wordt gesuggereerd voor online adaptieve inferentie, LLM-ondersteunde routering, fairness-aware extensies en multi-class generalisatie.

Meer zoals dit