🤖 machine learning

Classifier Pooling for Modern Ordinal Classification

Deze paper introduceert een model-agnostische methode en een open-source Python-pakket voor ordinale classificatie die moderne machine learning-algoritmen toepasbaar maken en vaak superieure prestaties leveren, vooral bij kleine datasets of veel klassen.

Oorspronkelijke auteurs: Noam H. Rotenberg, Andreia V. Faria, Brian Caffo

Gepubliceerd 2026-03-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Noam H. Rotenberg, Andreia V. Faria, Brian Caffo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Probleemstelling: De "Trap" die niemand ziet

Stel je voor dat je een klaslokaal hebt met leerlingen.

Normale classificatie (zoals gewone machine learning) ziet leerlingen als losse individuen: "Jan is een A, Piet is een B, Sofie is een C". Het maakt voor het algoritme niet uit of A, B en C een volgorde hebben. Voor het is net zo goed als "Jan is een appel, Piet is een auto en Sofie is een banaan".
Orde-classificatie (wat dit artikel behandelt) ziet de leerlingen als een trap: "Jan staat op trede 1, Piet op trede 2, Sofie op trede 3". Het is cruciaal om te weten dat trede 2 dichter bij trede 3 ligt dan bij trede 1.

In de echte wereld (zoals bij medische diagnoses, klanttevredenheidsonderzoeken of het beoordelen van wijn) hebben we vaak te maken met deze "trappen". Een patiënt kan "licht ziek", "matig ziek" of "ernstig ziek" zijn. De stap van licht naar matig is niet hetzelfde als van matig naar ernstig, maar ze horen wel bij elkaar.

Het probleem is: de meeste moderne, slimme computerprogramma's (machine learning) zijn niet gemaakt voor trappen. Ze zijn gemaakt voor losse blokken. Als je ze dwingt om een trap te beklimmen, doen ze het vaak slecht, vooral als er weinig data is of als er heel veel treden zijn.

De Oplossing: Een "Zwembad van Slimme Hulpjes"

De auteurs van dit artikel (Noam Rotenberg en collega's van Johns Hopkins) hebben een nieuwe manier bedacht om deze slimme programma's toch op trappen te laten werken. Ze noemen het "Classifier Pooling" (een zwembad van classifiers).

Stel je voor dat je een moeilijke vraag hebt: "Hoe ziek is deze patiënt?"
In plaats van één groot, complex brein dat alles in één keer moet raden, bouwen ze een team van slimme hulpjes.

Het Team: Ze nemen een standaard slimme computer (bijvoorbeeld een programma dat goed is in het herkennen van gezichten) en vragen het niet direct om de ziektegraad te raden.
De Vragen: In plaats daarvan stellen ze een reeks ja/nee-vragen op de "trappen":
- Hulpje A: "Is de patiënt ernstiger dan 'licht ziek'?"
- Hulpje B: "Is de patiënt ernstiger dan 'matig ziek'?"
- Hulpje C: "Is de patiënt ernstiger dan 'ernstig ziek'?"
Het Samenvoegen (Pooling): Elk hulpje geeft een ja of nee (of een waarschijnlijkheid). Het systeem pakt al deze antwoorden en telt ze bij elkaar op (of trekt ze van elkaar af) om de uiteindelijke positie op de trap te bepalen.

Dit is als het bouwen van een ladder: je hebt niet één enorme ladder nodig, maar je bouwt hem op van kleine, makkelijke sporten die elk apart worden getest.

Twee Manieren om de Ladder te Bouwen

Het artikel beschrijft twee manieren om dit team te laten werken:

De "Verschil-methode" (Difference):
Dit werkt als het aftrekken van getallen. Als Hulpje A zegt "Ja, zwaarder dan licht" en Hulpje B zegt "Nee, niet zwaarder dan matig", dan weet je dat de patiënt op trede "matig" zit. Het is als het meten van de afstand tussen de sporten.
De "Boom-methode" (Tree-based):
Dit werkt als een keuzespel of een stroomdiagram. Je begint in het midden van de trap.
- Is de patiënt zwaarder dan het midden? Dan ga je naar de bovenste helft.
- Is hij lichter? Dan ga je naar de onderste helft.
- Je blijft zo door de boom "takken" tot je op de juiste trede landt. Dit is vaak slimmer omdat het de onzekerheid stap voor stap verkleint.

Wat hebben ze ontdekt?

De auteurs hebben dit getest op echte data, zoals:

De gezondheid van baby's (normaal, verdacht, ziek).
De kwaliteit van auto's (slecht, goed, uitstekend).
De kwaliteit van wijn.
Zelfs foto's van netvliezen om diabetes te detecteren.

De resultaten waren verrassend goed:

Beter dan de oude methoden: Deze nieuwe "zwembad-methode" deed het vaak beter dan de oude, traditionele statistische methoden.
Sterk bij weinig data: Als je niet heel veel voorbeelden hebt (wat vaak gebeurt in de geneeskunde), werkt deze methode veel beter dan gewone methoden.
Beter bij veel opties: Als er heel veel "trappen" zijn (bijvoorbeeld 10 verschillende ernstgraden), blijft deze methode stabiel, terwijl andere methoden in de war raken.
De "Negatieve Controle": Ze testten het ook op gewone cijfers (0 t/m 9) die geen volgorde hebben. Daar deed de methode het slechter. Dit bewijst dat de methode echt werkt door de volgorde te gebruiken, en niet zomaar door "slimmer" te zijn.

De Tool: Een Gratis Pakketje voor Iedereen

Het mooiste is dat de auteurs niet alleen een theorie hebben bedacht, maar ook gratis software hebben gemaakt (een Python-pakketje genaamd statlab).

Geen codeer-ervaring nodig: Het werkt met bijna elk bestaand slim programma dat je al kent (zoals die van het populaire scikit-learn).
Plug-and-play: Je neemt je bestaande model, stopt het in dit pakketje, en plotseling kan het ook trappen beklimmen in plaats van alleen blokken te herkennen.

Conclusie

Kortom: Dit artikel zegt dat we niet hoeven te wachten tot er nieuwe, super-complexe algoritmes worden bedacht voor ordelijke data. We kunnen bestaande, krachtige slimme programma's gewoon een beetje "herschikken" door ze in een team te zetten dat stap voor stap de volgorde bekijkt.

Het is alsof je een gewone auto (de bestaande classifier) niet hoeft te vervangen door een raceauto, maar je er gewoon een GPS op zet die je de juiste route (de volgorde) laat zien. Dit maakt het veel makkelijker voor artsen, onderzoekers en bedrijven om betere voorspellingen te doen op gebieden waar volgorde belangrijk is.

Probleemstelling

Orde-afhankelijke data (ordinal data) komt veel voor in klinische en andere domeinen (bijv. ziektestadiëring, Likert-schalen in enquêtes). Hoewel er traditionele methoden bestaan zoals geordende logit- en probit-modellen (uit de jaren '70), zijn deze vaak beperkt tot lineaire modellen en bieden ze geen integratie met krachtige, moderne machine-learning classifiers (zoals Support Vector Machines of Gradient Boosting).

Bestaande alternatieven voor het toepassen van moderne classifiers op ordinaal probleem vaak de volgende valkuilen:

Multiclasclassificatie zonder orde: Methodes zoals "One-vs-Rest" behandelen labels als onafhankelijke categorieën, waardoor de inherente rangorde (bijv. stadium 1 < stadium 2) wordt genegeerd.
Regressie: Het behandelen van ordinaal data als continue regressie is vaak onnauwkeurig, omdat de afstand tussen opeenvolgende klassen niet lineair hoeft te zijn (bijv. het verschil tussen stadium 1 en 2 is niet noodzakelijk gelijk aan stadium 2 en 3).

Er is een gebrek aan moderne, model-onafhankelijke software die het mogelijk maakt om krachtige machine-learning algoritmen toe te passen op ordinaal data.

Methodologie

De auteurs stellen een model-onafhankelijke (model-agnostic) aanpak voor die elke bestaande niet-ordinaal classifier kan gebruiken om ordinaal data te modelleren. De kern van de methode bestaat uit het trainen van een reeks binaire classifiers, elk gekoppeld aan een drempelwaarde (threshold) tussen twee opeenvolgende klassen.

Er worden twee specifieke inferentie-algoritmes gepresenteerd:

Cumulatieve Ordinale Classificatie (DifferenceOrdinalClassifier):
- Training: Er wordt een binaire classifier getraind voor elke drempel tussen aangrenzende klassen om te voorspellen of een steekproef boven die drempel ligt ( $P(Y > c)$ ).
- Inferentie: De kans dat een steekproef tot een specifieke klasse behoort, wordt berekend als het verschil tussen de voorspelde kansen van de twee aangrenzende drempels.
- Constraint: Een monotoonheidsconstraint wordt toegepast om ervoor te zorgen dat de kansen logisch consistent zijn (bijv. de kans op $> c_1$ moet hoger zijn dan de kans op $> c_2$ ).
Hiërarchische (Boom-gebaseerde) Ordinale Classificatie (TreeOrdinalClassifier):
- Training: Vergelijkbaar met de cumulatieve methode, maar de inferentie gebruikt een boom-achtige structuur.
- Inferentie: De kansberekening is conditioneel. De waarschijnlijkheid van een klasse wordt berekend door de voorspelde kansen van aangrenzende klassen iteratief te combineren, uitgaande van een "beste split-index" (de meest accurate classifier in de boom). Dit maakt gebruik van een wiskundige equivalentie (vergelijking 1 in het artikel) die de gezamenlijke kans decomposeert in conditionele kansen.

Software Implementatie:
De auteurs hebben een open-source Python-pakket genaamd statlab ontwikkeld. Dit pakket is compatibel met de scikit-learn-standaard en vereist dat een classifier drie functies heeft: fit, predict, en predict_proba. Het pakket bevat ook een BaseOrdinalClassifier voor classifiers zonder probabilistische output.

Belangrijkste Bijdragen

Algoritmen: Introductie van twee nieuwe, model-onafhankelijke methoden (cumulatief en hiërarchisch) die moderne classifiers toepassen op ordinaal data.
Software: Beschikbaarstelling van het statlab-pakket via PyPI, wat de implementatie en replicatie van deze methoden in de praktijk mogelijk maakt.
Hyperparameter Onderzoek: Een uitgebreide evaluatie van methoden om de "beste split-index" te kiezen (bijv. even splitsing, midden-index, of de index met de beste validatieprestaties).
Empirische Validatie: Uitgebreide tests op zes verschillende datasets, waaronder klinische data (foetale gezondheid, retina-radiomics) en openbare datasets (auto-kwaliteit, wijnkwaliteit, abalone-ringen).

Resultaten

De resultaten zijn gebaseerd op drie experimenten:

Experiment 1 (Prestatie over domeinen): De ordinale methoden presteerden in de meerderheid van de gevallen beter dan de oorspronkelijke niet-ordinaal classifiers en vaak beter dan traditionele geordende logit/probit-modellen.
- De boom-gebaseerde methode overtrof of evenaarde de traditionele modellen in 79% van de metrieken op de ordinaal datasets.
- Op de RetinaMNIST-dataset (klinisch) faalden traditionele modellen soms, terwijl de ordinale methoden consistent trainden.
- Belangrijke observatie: Op de MNIST-dataset (handgeschreven cijfers 0-9), die fungeerde als een "negatieve controle" (geen echte ordinaal relatie), presteerden de ordinale methoden slechter dan de standaard methoden. Dit bevestigt dat het afdwingen van orde op niet-ordinaal data de prestaties kan verslechteren.
Experiment 2 (Datasetgrootte en Aantal Klassen):
- Bij kleinere datasets of een groter aantal klassen daalden de prestaties van alle methoden.
- Echter, de daling in prestatie was kleiner voor de ordinale methoden (zowel cumulatief als boom-gebaseerd) dan voor de niet-ordinaal methoden. Dit suggereert dat deze methoden robuuster zijn bij beperkte data of complexe klasse-indelingen.
Experiment 3 (Keuze van Split-Index):
- Verschillende methoden om de "beste split-index" te kiezen werden vergeleken.
- De "midden-index" (middle index) leverde over het algemeen de beste resultaten op (maximale prestatie in 7/24 gevallen), gevolgd door de "beste classifier"-methode. De "even split"-methode presteerde het minst goed.

Betekenis en Conclusie

Dit werk vult een belangrijke lacune in het machine-learning landschap door een brug te slaan tussen krachtige moderne classifiers en de specifieke eisen van ordinaal data.

Praktische Toepassing: De methoden zijn bijzonder nuttig in situaties met beperkte data of veel klassen, waar traditionele methoden tekortschieten.
Flexibiliteit: Omdat de aanpak model-onafhankelijk is, kunnen onderzoekers de beste classifier voor hun specifieke dataset kiezen zonder de ordinale structuur te verliezen.
Open Science: Door het open-source pakket statlab beschikbaar te stellen, wordt de adoptie van deze geavanceerde methoden in de medische en wetenschappelijke gemeenschap gestimuleerd.

De auteurs concluderen dat hoewel de prestaties dataset-afhankelijk zijn, het gebruik van ordinale classificatie methoden vaak leidt tot betere resultaten (vooral gemeten in polychorische correlatie) en een betere benutting van de informatie die in de rangorde van de labels zit.