🤖 AI

How to evaluate clustering with ground truth?

Dit artikel beoordeelt veelvoorkomende externe validiteitsindices voor het evalueren van clustering met grondwaarheid, waarbij de centroid-index (CI) wordt aanbevolen vanwege de intuïtieve, verklaarbare resultaten op clusterniveau, terwijl ook de pair-set index (PSI) en clustering accuracy (ACC) worden uitgelicht als geschikte alternatieven voor punt-niveau of grootte-onbevooroordeelde beoordelingen.

Oorspronkelijke auteurs: Pasi Fränti

Gepubliceerd 2026-06-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pasi Fränti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een docent bent die een klas leerlingen probeert te beoordelen die de opdracht hebben gekregen om een stapel gemengde gekleurde blokjes in aparte dozen te sorteren.

In een standaardtest (classificatie) heeft de docent een antwoordmodel. Ze controleren dan alleen: "Zit dit rode blokje in de rode doos? Ja? Goed. Nee? Fout." Het is een simpele pass/fail.

Maar bij clustering heeft de docent geen antwoordmodel gegeven. De leerlingen hebben zelf besloten: "Laten we alle grote blokjes in één doos doen en kleine in een andere," of "Laten we groeperen op textuur." De docent weet niet welke groepering de "juiste" is, omdat de leerlingen de groepen zelf hebben bedacht.

Dit artikel, geschreven door Pasi Fränti, gaat over hoe een docent deze leerlingen kan beoordelen wanneer ze wél een geheime "Ground Truth" hebben (de perfecte, ideale manier waarop de blokjes hadden gesorteerd moeten worden). Het beoordeelt verschillende manieren om een score te berekenen om te zien hoe goed de leerlingen het hebben gedaan.

Hier is de uitsplitsing van de hoofdideeën uit het artikel met behulp van eenvoudige analogieën:

1. De drie manieren om te beoordelen

De auteur zegt dat er drie manieren zijn om een clustering-algoritme te beoordelen:

De "Grote Plaat" Test: Helpt deze sortering het eindproduct beter te laten werken? (bijv. Helpt het sorteren van stemopnames bij het identificeren van sprekers?) De auteur zegt dat dit vaak te vaag is. Soms werkt bijna elke sorteermethode "redelijk," waardoor het niet vertelt welk algoritme echt het beste is.
De "Interne" Test: Dit is als aan de leerlingen vragen: "Hoe netjes zijn jullie dozen?" zonder naar het antwoordmodel te kijken. Je controleert alleen of de blokjes in een doos wel op elkaar lijken. Dit is makkelijk te doen, maar het vertelt je niet of de leerlingen de blokjes daadwerkelijk correct hebben gesorteerd volgens de echte wereld.
De "Externe" Test (het focuspunt van het artikel): Dit is het vergelijken van de dozen van de leerlingen met de Ground Truth (het perfecte antwoordmodel). Dit is waar het artikel over gaat.

2. Het probleem met "Pairwise" beoordelaars

Het eerste type externe beoordelaar kijkt naar elk mogelijke paar blokjes.

De logica: "Als Blok A en Blok B in dezelfde doos zitten in het antwoordmodel, zouden ze ook in dezelfde doos moeten zitten in het resultaat van de leerling."
De fout: Er zijn miljoenen paren blokjes. De meeste paren zijn sowieso een andere kleur. Dus als een leerling gewoon alles in één reusachtige doos stopt, krijgt hij een hoge score omdat hij correct heeft geïdentificeerd dat de meeste paren verschillend zijn.
De oplossing: Het artikel vermeldt ARI (Adjusted Rand Index) en NMI (Normalized Mutual Information). Deze proberen de wiskunde te corrigeren zodat ze niet worden misleid door het enorme aantal paren. De auteur waarschuwt echter dat deze scores nog steeds misleidend kunnen zijn. Een score van 0,95 ziet er misschien geweldig uit, maar het vertelt je niet waarom het geweldig is of hoeveel fouten er daadwerkelijk zijn gemaakt. Het is alsof je een "95%" haalt voor een toets zonder te zien welke vragen je fout had.

3. De "Set-Matching" beoordelaars (De nieuwe aanpak)

In plaats van naar paren te kijken, kijken deze beoordelaars naar de groepen (clusters) als complete eenheden. Ze proberen de "Rode Doos" van de leerling te matchen met de "Rde Doos" van de docent, de "Blauwe Doos" met de "Blauwe Doos", enzovoort.

Het artikel bespreekt verschillende manieren om deze matching te doen:

Mapping: "Vind de beste match voor elke leerlingsdoos." (Eenrichtingsverkeer).
Pairing: "Match de dozen zodanig dat niet twee leerlingsdozen dezelfde docentdoos opeisen." (Tweerichtingsverkeer).

De meest populaire methode hier is Clustering Accuracy (ACC). Dit is als zeggen: "We hebben de dozen perfect gematcht. Nu kijken we hoeveel blokjes in de juiste doos zitten."

Voordelen: Het is zeer precies.
Nadelen: Het kan bevooroordeeld zijn. Als één doos 1.000 blokjes heeft en een andere slechts 1, dan domineert de grote doos de score. Als de leerling de kleine doos verpest maar de grote doos goed doet, ziet de score er nog steeds geweldig uit.

4. De favoriet van de auteur: De Centroid Index (CI)

De auteur raadt een specifieke maatstaf aan genaamd de Centroid Index (CI).

De analogie:
Stel je het "zwaartepunt" (centroid) van elke doos voor.

Als de "Rode Doos" van de docent gecentreerd is op de keukentafel, en de "Rode Doos" van de leerling is ook gecentreerd op de keukentafel, dan is dat een perfecte match.
Als de "Rode Doos" van de leerling gecentreerd is in de achtertuin, dan is dat een mismatch.

Waarom de auteur van CI houdt:

Het is uitlegbaar: Als de score 0 is, betekent dit dat het middelpunt van elke doos op de juiste plek staat. Als de score 7 is, betekent dit dat 7 dozen op de verkeerde plek staan.
Geen mysterieuze getallen: In tegen tegenstelling tot andere scores waarbij je je afvraagt: "Is 0,85 goed? Is 0,90 goed?", geeft CI een duidelijke telling van fouten. "Je hebt 7 clusters fout gedaan." Dat is het.
Het nadeel: Het telt alleen hoe vaak dozen verkeerd geplaatst zijn. Het geeft niet om het feit of een paar blokjes binnen de doos iets uit hun plek zijn. Het is een "macro" view, geen "micro" view.

5. Het eindoordeel (Aanbevelingen)

Het artikel concludeert met een eenvoudige gids voor iedereen die clustering wil evalueren:

Als je wilt weten "Hoeveel groepen heb ik fout gedaan?": Gebruik de Centroid Index (CI). Het is de meest eerlijke en gemakkelijk te begrijpen score. Het vertelt je precies hoeveel clusters op de verkeerde plek staan.
Als je wilt weten "Hoeveel individuele items staan op de verkeerde plek?": Gebruik Clustering Accuracy (ACC). Het is iets complexer, maar geeft een fijnmazige, punt-voor-punt score.
Als je een score wilt die elke groep gelijk behandelt (groot of klein): Gebruik PSI (Pair-set Index).
Vermijd: De ouderwetse Rand Index. De auteur zegt dat deze bevooroordeeld is en hoge scores geeft, zelfs als de clustering verschrikkelijk is.

Samenvattend:
Het artikel betoogt dat we moeten stoppen met het gebruiken van verwarrende wiskundige scores die er goed uitzien maar weinig betekenen. In plaats daarvan moeten we de Centroid Index gebruiken om te tellen hoeveel groepen verkeerd geplaatst zijn (zoals tellen hoeveel dozen in de verkeerde kamer staan), omdat dit een duidelijk, menselijk begrijpelijk antwoord geeft: "Je hebt 7 groepen fout gedaan." Als je meer detail nodig hebt, gebruik dan Clustering Accuracy, maar houd het bij de basis voor een heldere uitleg.

Technische Samenvatting: Evaluatie van Clustering met Ground Truth

Probleemstelling

Het evalueren van clustering-algoritmen vormt een fundamentele uitdaging die verschilt van classificatie. Bij classificatie kunnen voorspelde labels direct worden vergeleken met ground truth-labels. Bij clustering zijn clusterindices echter willekeurige getallen zonder inherente correspondentie met ground truth-labels, en kan het aantal clusters in de oplossing afwijken van de ground truth. Gevolgelijk zijn standaard nauwkeurigheidsmetrieken voor classificatie niet van toepassing.

Hoewel interne validatie (het optimaliseren van kostenfuncties zoals de som van de kwadraten van de afwijkingen) en prestaties op applicatieniveau bestaan, missen deze vaak een duidelijke interpreteerbaarheid of bieden ze geen diepgaande inzichten in het specifieke clusteringgedrag van het algoritme. Wanneer ground truth beschikbaar is, zijn externe validiteitsindexen vereist. De bestaande maten variëren echter aanzienlijk in hun bias, interpreteerbaarheid en geschiktheid voor verschillende clustering-scenario's (bijv. gebalanceerde versus ongebalanceerde clustergroottes).

Methodologie

Het artikel beoordeelt en categoriseert externe validiteitsindexen in twee primaire klassen: Paarsgewijze Maten en Set-Matching-gebaseerde Maten.

1. Paarsgewijze Maten

Deze maten evalueren de consistentie van puntenparen over twee clusteringen heen.

Rand Index (RI): Telt het percentage consistente paren (hetzelfde cluster of een verschillend cluster in beide oplossingen). Het wordt bekritiseerd omdat het wordt overspoeld door overeenkomsten bij paren in verschillende clusters, wat leidt tot hoge waarden voor bijna elke redelijke clustering.
Adjusted Rand Index (ARI): Normaliseert RI ten opzichte van de verwachtingen van willekeurige clustering. Hoewel nuttiger, blijft het bevooroordeeld ten gunste van de grootste clusters wanneer de groottes ongebalanceerd zijn.
Normalized Mutual Information (NMI): Een informatie-theoretische maatstaf die de gedeelde informatie tussen clusterparen kwantificeert. Het is equivalent aan verschillende andere indexen (AVIS, NVIS, AMI), maar staat bekend om de bias wanneer het aantal clusters groot is.

2. Set-Matching-gebaseerde Maten

Deze maten zoeken naar de best passende cluster in de ground truth voor elke cluster in de oplossing en berekenen de gelijkenis. De methodologie omvat drie ontwerpcomponenten:

Matching Strategie:
- Mapping: Eénrichtingsverkeer (bijv. Purity, F-Measure) of tweerichtingsverkeer (bijv. NVD, CI).
- Pairing: Voorkomt dat meerdere clusters naar hetzelfde doel mappen. Dit kan worden opgelost via Greedy Pairing (CH, CR) of Optimal Pairing met behulp van het Hongarije-algoritme (ACC, PSI).
Gelijkenis Metriek:
- Ruwe Intersectie: Het tellen van gedeelde punten $|A \cap G|$ (ACC, NVD, CH). Dit bevoordeelt grotere clusters.
- Set Gelijkenis: Het gebruik van Jaccard (CSI), Braun-Banquet (PSI) of Sorensen-Dice (FM) om te normaliseren voor clustergrootte.
- Centroid Matching: Het direct matchen van de zwaartepunten (centroids) (CI, CR, GCI).
Normalisatie:
- De meeste normaliseren door het totaal aantal punten ( $N$ ), zodat alle punten gelijk worden behandeld.
- Sommige (zoals CI) berekenen scores op clusterniveau (0 of 1 per cluster), waardoor een integer-gebaseerde foutentelling mogelijk is.

3. De Centroid Index (CI)

Het artikel legt speciale nadruk op de Centroid Index (CI). In tegen tegenstelling tot punten-niveau maten, is CI een cluster-niveau maatstaf. Het bepaalt het aantal ground truth-centroids dat geen corresponderend centroid heeft in het clusteringresultaat (orphan centroids).

Mechanisme: Het matcht clusters op basis van de dichtstbijzijnde centroids (of maximale overlap in gegeneraliseerde versies) en telt de mismatches.
Output: Een integer waarde in het bereik $[0, k]$ , waarbij $k$ het aantal clusters is. Een waarde van 0 geeft aan dat alle clusters correct zijn gelokaliseerd.

Belangrijkste Bijdragen en Resultaten

Het artikel biedt een uitgebreide review van externe indexen en benadrukt specifieke sterktes en zwaktes:

Interpreteerbaarheid: De auteurs stellen dat standaard metrieken zoals NMI en ARI waarden in $[0, 1]$ produceren die moeilijk intuïtief te interpreteren zijn (bijv. impliceert 0,90 een "goede" clustering?). In contrast hiermee biedt CI een verklaarbaar resultaat: het exacte aantal foutief opgeloste clusters.
Bias Analyse:
- NMI laat zien dat het misleidend hoge scores oplevert voor incorrecte clusteringen wanneer het aantal clusters groot is (bijv. $k=100$ ), zoals gedemonstreerd op de Birch2-dataset waar een incorrect resultaat een NMI van 0,96 kreeg.
- ARI is bevooroordeeld ten gunste van de overeenkomst van de grootste clusters in ongebalanceerde scenario's.
- Rand Index wordt als ongeschikt beschouwd vanwege de inherente bias, ongeacht clustergrootte of aantal.
Punten-niveau vs. Cluster-niveau: Het artikel maakt onderscheid tussen maten die punten-niveau afwijkingen vastleggen (ACC, PSI) en die cluster-niveau structurele fouten vastleggen (CI). CI kan fijne punten-niveau afwijkingen missen (bijv. lichte verschuivingen van de centroid), maar blinkt uit in het identificeren van grove structurele fouten (bijv. ontbrekende of samengevoegde clusters).
Implementatie: Het artikel verwijst naar beschikbare software-implementaties, inclus\n bij CBEVI voor C en een Python-bibliotheek voor ACC (die zowel pairing als matching varianten ondersteunt).

Betekenis en Aanbevelingen

Het artikel sluit af met specifieke aanbevelingen voor praktijkgebruikers die clustering evalueren met ground truth:

Primaire Aanbeveling (Cluster-niveau): Gebruik de Centroid Index (CI). Deze wordt aanbevolen vanwege de intuïtieve aard en de verklaarbare output (het aantal fouten). Het is bijzonder effectief voor het identificeren of de juiste clustering-structuur is gevonden.
Secundaire Aanbeveling (Punten-niveau): Indien verfijnde verschillen op punten-niveau vereist zijn, wordt Clustering Accuracy (ACC) aanbevolen. Deze is goed gedocumenteerd, gedragsmatig geanalyseerd en wordt ondersteund door toegankelijke software.
Alternatief voor Normalisatie: Als een genormaliseerde score vereist is die geen grotere clusters bevoordeelt, wordt de Pair-set Index (PSI) gesuggereerd.
Waarschuwingen:
- NMI en ARI kunnen worden gebruikt, maar vereisen bewustzijn van hun specifieke biases (NMI bij veel clusters, ARI bij ongebalanceerde groottes).
- Rand Index wordt expliciet niet aanbevolen.

De betekenis van dit werk ligt in de verschuiving van de focus van abstracte, moeilijk te interpreteren scores naar metrieken die heldere, actiegerichte inzichten bieden in de prestaties van clustering, waarbij specifiek de Centroid Index wordt gepleit als een robuuste, verklaarbare standaard voor evaluatie op cluster-niveau.