🤖 machine learning

Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

Dit artikel introduceert een model-agnostische conformiteitsvoorspellingsmethode voor ordinale classificatie die de ranked probability score gebruikt als een nonconformiteitsmaatstaf om aaneengesloten, mediaan-gecentreerde voorspellingssets te genereren, waarmee de breedte van de set en de ernst van ordinale misdekking over diverse datasets heen effectief wordt gebalanceerd.

Oorspronkelijke auteurs: Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Gokken met een Veiligheidsnet

Stel je voor dat je een arts bent die probeert de leeftijd van een patiënt te raden, of een financieel analist die het risiconiveau van een bedrijf probeert te voorspellen. In deze situaties zijn de antwoorden niet zomaar willekeurige categorieën zoals "Rood", "Blauw" of "Groen". Ze hebben een natuurlijke volgorde: "Baby", "Kind", "Tiener", "Volwassene", "Oudere". Dit wordt Ordinale Classificatie genoemd.

Het probleem is dat zelfs de beste AI-modellen fouten maken. Soms raden ze "Tiener" terwijl de persoon eigenlijk een "Oudere" is. In sectoren met hoge inzet, zoals de medische wereld of de financiële sector, doet de grootte van die fout er toe. Raden "Volwassene" in plaats van "Oudere" is een kleine fout. Raden "Baby" in plaats van "Oudere" is een enorme, gevaarlijke fout.

Dit paper introduceert een nieuwe manier om een "veiligheidsnet" rond deze AI-voorspellingen te bouwen. In plaats van één enkel gokje te geven, geeft de AI een bereik van waarschijnlijke antwoorden (een predictieset). Het doel is om ervoor te zorgen dat het ware antwoord binnen dat bereik valt, terwijl we ook ervoor zorgen dat het bereik niet te breed wordt en niet belangrijke stappen in het midden overslaat.

Het Probleem met Oude Methoden: De "Gulzige" Aanpak

Voorheen probeerden de meeste methoden deze veiligheidsnetten te bouwen door te beginnen bij het "beste gokje" van de AI (het meest waarschijnlijke antwoord) en vervolgens naar buiten uit te breiden, als een gulzige eter die de grootste happen voedsel naast zich grijpt.

De Fout: Stel dat de AI naar een patiënt kijkt en denkt dat er 40% kans is op "Tiener", 35% kans op "Oudere" en een piepkleine kans op "Kind".

De Oude Manier: Het begint bij "Tiener" en grijpt "Kind" omdat dat de volgende grootste brok waarschijnlijkheid is. Het negeert "Oudere" even.
Het Resultaat: Het veiligheidsnet eindigt misschien als {Tiener, Kind}. Als de patiënt echter een "Oudere" is, faalt het veiligheidsnet volledig, en is de fout enorm (een sprong van Tiener naar Oudere). De oude methode geeft meer om de grootte van het net dan om de afstand van de fout.

De Nieuwe Oplossing: De "Gebalanceerde Weegschaal" (Ranked Probability Score)

De auteurs stellen een nieuwe methode voor met iets dat de Ranked Probability Score (RPS) wordt genoemd. Denk aan dit als een gebalanceerde weegschaal of een koorddanser.

In plaats van te beginnen bij het "meest waarschijnlijke" gokje en buren te grijpen, kijkt deze methode naar de volledige verdeling van mogelijkheden en bouwt het veiligheidsnet vanuit het midden (de mediaan) naar buiten toe.

Hoe het werkt:

Vind het Centrum: Het vindt het middelpunt van de onzekerheid van de AI.
Breid Evenredig Uit: Het voegt de volgende meest waarschijnlijke opties toe aan de linker- en rechterkant van het centrum, waarbij geprobeerd wordt om het "gewicht" van de voorspelling aan beide kanten te balanceren.
Het Resultaat: Het veiligheidsnet is altijd een aaneengesloten blok (geen gaten). Als de AI onzeker is, breidt het net uit om het middenveld te dekken.

De Analogie:
Stel je voor dat je de temperatuur probeert te raden.

Oude Methode (Mode-gecentreerd): Je gokt "21°C" (het meest waarschijnlijke). Je voegt "20°C" en "22°C" toe omdat ze dichtbij liggen. Maar als de werkelijke temperatuur eigenlijk "10°C" is (een koude klap), is je net {20, 21, 22} nutteloos. Je hebt de kou volledig gemist.
Nieuwe Methode (RPS/Mediaan-gecentreerd): Je kijkt naar het hele plaatje. Als de AI onzeker is tussen "Koud", "Mild" en "Warm", bouwt de nieuwe methode een net dat het volledige bereik van "Mild" tot "Warm" dekt om te voorkomen dat je de extremen mist. Het geeft prioriteit aan het minimaliseren van de afstand van de fout. Als je fout zit, wil je dat je er een beetje naast zit, niet een enorme afstand naast.

Waarom dit Belangrijk is: De "Contiguïteit" Regel

Bij ordinale problemen moet je veiligheidsnet een solide blok zijn. Je kunt niet een net hebben dat zegt: "Het is ofwel een Baby of een Oudere, maar zeker geen Kind." Dat slaat nergens op.

Het paper bewijst wiskundig dat hun nieuwe methode altijd een solide, ononderbroken blok van antwoorden produceert. Het heeft geen speciale aannames nodig dat de data "klokvormig" (unimodaal) is. Zelfs als de AI in de war is en denkt dat het antwoord twee heel verschillende dingen kan zijn (zoals "Baby" en "Oudere" met niets ertussenin), vult deze methode de gaten op om te zorgen dat het veiligheidsnet continu is.

Het "Snelheid" Voordeel

Meestal vereist het vinden van het perfecte veiligheidsnet veel computerkracht (zoals het proberen van elke mogelijke combinatie van getallen). De auteurs laten zien dat hun methode supersnel is. Het is als een afkorting waardoor je het perfecte net in één passage kunt berekenen, in plaats van door een doolhof te zoeken. Dit maakt het praktisch bruikbaar voor de echte wereld.

De Resultaten: Een Betere Balans

De auteurs hebben dit getest op afbeeldingen (zoals het schatten van leeftijd vanaf gezichten of het detecteren van de ernst van een ziekte in medische scans) en tabelgegevens (zoals kredietscores).

Efficiëntie: De nieuwe methode creëert veiligheidsnetten die redelijk klein zijn (efficiënt).
Veiligheid: Cruciaal is dat wanneer het veiligheidsnet wel faalt (het ware antwoord valt buiten het net), de fout veel kleiner is dan bij oude methoden.
- Oude Methode: "Ik gokde Tiener, maar je was een Oudere." (Grote fout).
- Nieuwe Methode: "Ik gokde Tiener, maar je was een Volwassene." (Kleine fout).

Samenvatting

Dit paper introduceert een slimmere manier voor AI om te zeggen: "Ik weet het niet 100% zeker, maar ik ben vrij zeker dat het antwoord in dit bereik ligt."

In plaats van blindelings de populairste gokjes te grijpen, bouwt het een gebalanceerd, aaneengesloten veiligheidsnet dat ervoor zorgt dat als de AI het fout heeft, het slechts een klein beetje fout is, en niet catastrofaal fout. Het is als een koorddanser die altijd zijn balans in het midden houdt, zodat hij nooit een grote, gevaarlijke stap van de rand af zet.

Technische Samenvatting: Betrouwbare Conformal Prediction voor Ordinale Classificatie met de Ranked Probability Score

Probleemstelling

Ordinale classificatie (OC) omvat het voorspellen van discrete labels met een natuurlijke lineaire volgorde (bijv. ziekte Ernst, leeftijdscategorieën, kredietwaardigheid). Hoewel er aanzienlijke vooruitgang is geboiden op het gebied van puntvoorspelling voor OC, blijft onzekerheidskwantificering (UQ) onderontwikkeld, met name in domeinen met een hoog risico zoals de medische wereld en de financiële sector. Standaard Conformal Prediction (CP) biedt distributievrije voorspellingssets met marginale dekkinggaranties, maar staat voor specifieke uitdagingen in de ordinale setting:

Contiguïteit: Voorspellingssets moeten aaneengesloten intervallen zijn (bijv. {kind, tiener, volwassene}) om de labelvolgorde te respecteren. Niet-aaneengesloten sets (bijv. {kind, oudere}) zijn semantisch onredelijk.
Ordinaal Risico: Wanneer een echt label buiten de voorspellingsset valt (misdekking), hangt de ernst van de fout af van de ordinale afstand. Een methode die de setgrootte minimaliseert (efficiëntie) kan sets produceren die, wanneer ze falen, het werkelijke label met een grote marge missen, wat leidt tot een catastrofale risico-inschatting.
Distributie-aannames: Bestaande methoden vertrouwen vaak op greed-zoekprocedures of dwingen unimodaliteit af (een enkele piek in de voorspellende distributie) om contiguïteit te waarborgen. Deze aannames houden mogelijk niet stand bij complexe data (bijv. bimodale distributies voortkomend uit onenigheid tussen experts) en kunnen leiden tot vertekende onzekerheidsschattingen.

Huidige benaderingen worstelen met het balanceren van set-efficiëntie met de minimalisatie van de magnitude van ordinale misdekking zonder sterke structurele biases op te leggen aan het onderliggende voorspellende model.

Methodologie

De auteurs stellen een model-agnostische CP-methode voor voor ordinale classificatie gebaseerd op de Ranked Probability Score (RPS).

Kernmechanisme:

Nonconformity Score: In plaats van modus-gecentreerde scores (zoals de Least Ambiguous Set-valued Classifier of Adaptive Prediction Sets), gebruikt de methode de RPS als de nonconformity-maatstaf. De RPS is een strikt passende scoring rule gedefinieerd over cumulatieve voorspellende distributies:
$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$
waarbij $F_X(k)$ de voorspelde cumulatieve distributiefunctie (CDF) is en $K$ het aantal klassen is.
Constructie van de Voorspellingsset: Voor een testinstantie $X_{n+1}$ en een misdekkingspercentage $\alpha$ , wordt de voorspellingsset gedefinieerd als:
$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$
waarbij $\hat{q}_{1-\alpha}$ het empirische $(1-\alpha)$ -kwantiel van de RPS-scores berekend op een kalibratieset is.

Theoretische Eigenschappen:
Het artikel stelt drie belangrijke eigenschappen vast voor RPS-gebaseerde conformale sets:

Marginale Dekking: De methode voldoet aan de standaard marginale dekking garantie ( $P(Y \in C(X)) \geq 1-\alpha$ ) onder de aanname van uitwisselbaarheid (exchangeability), ongeacht het onderliggende voorspellende model.
Contiguïteit en Mediaan-Centrering: In tegenstelling tot modus-gebaseerde benaderingen zijn RPS-gebaseerde sets bij constructie contigu (aaneengesloten). De RPS-scorefunctie is V-vormig rond de mediaan van de voorspellende distributie. Bijgevolg zijn de resulterende voorspellingssets contigue intervallen gecentreerd rond de mediaan, niet de modus. Dit geldt zelfs voor multimodale distributies waarbij de modus en mediaan verschillen.
Ordinaal Risico Optimaliteit: Onder een oracle conditionele dekking setting (waarbij de ware conditionele distributie bekend is), minimaliseren RPS-gebaseerde sets de verwachte $L_1$ -afstand (ordinaal risico) tussen het werkelijke label en de voorspellingsset. De methode optimaliseert voor de reductie van ordinaal risico in plaats van enkel voor set-cardinaliteit.

Computationele Efficiëntie:
De methode is computationeel efficiënt. Hoewel het naïef berekenen van de RPS voor alle $K$ labels $O(K^2)$ kost, demonstreren de auteurs een recursieve relatie waardoor alle scores in lineaire tijd $O(K)$ berekend kunnen worden. De totale complexiteit schaalt lineair met zowel het aantal kalibratiepunten als het aantal labels.

Belangrijkste Bijdragen

Nieuwe Nonconformity Maatstaf: Introductie van de Ranked Probability Score (RPS) als een passende, model-agnostische nonconformity maatstaf specifiek voor ordinale conformal prediction.
Theoretische Garanties: Bewijs dat RPS-gebaseerde sets voldoen aan marginale dekking, genest zijn met betrekking tot $\alpha$ , en inherent contigu en mediaan-gecentreerd zijn zonder de noodzaak van unimodaliteits-aannames.
Risico-optimalisatie: Demonstratie dat RPS-gebaseerde sets direct het ordinale risico (set-gebaseerde $L_1$ -fout) optimaliseren onder oracle conditionele dekking, in contrast met modus-gecentreerde methoden die de prioriteit geven aan set-efficiëntie.
Efficiëntie: Een implementatiealgoritme in lineaire tijd dat de greedy zoek- of binaire zoekprocedures vermijdt die vereist zijn door bestaande ordinale CP-methoden.
Empirische Validatie: Uitgebreide evaluatie op meerdere datasets met metrieken die zowel efficiëntie als ordinaal risico vangen: ordinale beelddatasets (BACH, RetinaMNIST, FGNet) en tabulaire datasets, vergeleken met baselines zoals min-CPS, COPOC (LAC/APS) en OCDF.

Experimentele Resultaten

De auteurs evalueerden de methode op meerdere datasets met behulp van metrieken die zowel efficiëntie als ordinaal risico meten:

Miscoverage Magnitude: Gemeten via Mean Absolute Miscoverage Magnitude (MAMM) en Worst-Case Absolute Miscoverage Magnitude (WAMM). RPS-gebaseerde sets behaalden consistent lagere MAMM en WAMM vergeleken met modus-gecentreerde methoden (min-CPS, COPOCL, COPOCA), wat aangeeft dat wanneer er fouten optreden, het werkelijke label dichter bij de voorspellingsset ligt.
Efficiëntie vs. Risico Trade-off: Gemeten via de Average Interval Score Loss (AISL), die zowel brede intervallen als grote misdekkingsafstanden bestraft. RPS-gebaseerde sets bereikten een gunstige balans, en presteerden vaak beter dan baselines in AISL.
Contiguïteit: Alle RPS-gebaseerde sets waren contigu (CV = 0), terwijl niet-ordinale baselines (LAC, APS) regelmatig de contiguïteit schonden.
Robuustheid: In gevallen met multimodale voorspellende distributies (bijv. bimodale expert-opinies), behield RPS een robuuste prestatie, terwijl modus-gecentreerde methoden de neiging hadden om de ordinale risico's te onderschatten door zich te concentreren op de enkele hoogste waarschijnlijkheidspiek.

Betekenis en Claims

Het artikel claimt dat RPS-gebaseerde conformal prediction een robuuste en veelzijdige oplossing biedt voor ordinale onzekerheidskwantificering. De primaire betekenis ligt in:

Getrouwe Onzekerheidsrepresentatie: Door bij ontwerp mediaan-gecentreerd en contigu te zijn, reflecteert het accuraat de volledige ordinale structuur en de bijbehorende risico's, met name in scenario's met scheve of multimodale distributies waar modus-gebaseerde benaderingen tekortschieten.
Toepasbaarheid in High-Stakes Domeinen: De methode minimaliseert de ernst van misdekking, een cruciale vereiste in domeinen zoals medische diagnose en financiële risicoanalyse, waar de kosten van een fout proportioneel zijn aan de ordinale afstand.
Practicaliteit: Het biedt een computationeel efficiënt, model-agnostisch kader dat niet afhankelijk is van specifieke architecturale beperkingen (zoals unimodaliteit) of dure zoekprocedures, waardoor het toepasbaar is op elke onderliggende probabilistische voorspeller.

De auteurs concluderen dat hoewel RPS-gebaseerde sets mogelijk niet altijd de kleinste mogelijke voorspellingssets opleveren (maximale efficiëntie), ze een superieure balans vinden tussen intervalbreedte en de magnitude van de ordinale misdekking, wat hen een betrouwbare keuze maakt voor real-world ordinale voorspellingsopdrachten. Voorgesteld toekomstig werk omvat het deconstrueren van onzekerheid in epistemische en aleatorische componenten binnen dit kader.