Technische Samenvatting: CLUBench: Een Clustering Benchmark

Probleemstelling

Clustering is een fundamentele taak binnen data science met een lange geschiedenis van algoritmische ontwikkeling, variërend van conventionele methoden tot op diep leren gebaseerde benaderingen. Ondanks deze vooruitgang ontbreekt het in het veld aan een systematische, grootschalige empirische evaluatie die conventionele algoritmen, deep clustering (DC)-methodes en opkomende strategieën gebaseerd op foundation models (FM) gezamenlijk in overweging neemt. Bestaande surveys vertrouwen vaak op kwalitatieve vergelijkingen of beperkte datasets, wat leidt tot vertekende conclusies en een gebrek aan richtlijnen voor algoritmekeuze en implementatie. Bovendien bestaat er geen uniforme, gebruiksvriendelijke toolbox om reproduceerbare benchmarking te ondersteunen over deze diverse paradigma's heen.

Methodologie

De auteurs introduceren CLUBench, een uitgebreide benchmark ontworpen om deze gaten op te vullen door middel van rigoureuze experimentele evaluatie en analyse.

• Reikwijdte en Schaal: De benchmark evalueert 24 clustering-algoritmen over 131 diverse datasets die drie modaliteiten bestrijken: tabulair, tekst en beeld. Dit resulteert in 178.815 experimenten.
• Categorieën Algoritmen:
  • Conventionele Clustering (CC): 14 algoritmen die zes categorieën bestrijken: partitie-gebaseerd (bijv. KMeans, KernelKMeans), hiërarchisch (bijv. AggClu, BIRCH), dichtheidsgebaseerd (bijv. DBSCAN, MeanShift), model-gebaseerd (GMM), subspace-gebaseerd (bijv. SSC, LRR, k-FSC) en graf-gebaseerd (bijv. SpeClu, AutoSC).
  • Deep Clustering (DC): 10 state-of-the-art methoden (2016–2025) gecategoriseerd op technisch paradigma: autoencoder-gebaseerd (DEC, IDEC), deep subspace (DSCN, EDESC), contrastive learning (ConClu, DMICC), informatietheorie (PICA, DIVC) en self-supervision (P2OT, LFSS).
• Experimenteel Protocol:
  • Hyperparameter Tuning: Algoritmen worden geëvalueerd onder zowel standaardinstellingen als best-geoptimaliseerde hyperparameterconfiguraties (HPC's) om robuustheid en prestatieplafonds te beoordelen.
  • Foundation Models: De studie integreert FM-gebaseerde strategieën en vergelijkt best presterende baselines die werken op vooraf getrainde embeddings (ResNet, CLIP, BERT, Llama3, OpenAI) met gespecialiseerde deep clustering-methoden. Voor tabulaire data wordt in-context learning met LLM's onderzocht.
  • Metingen: Prestaties worden gemeten met behulp van Clustering Accuracy (ACC), Normalized Mutual Information (NMI) en Adjusted Rand Index (ARI).
• Analytisch Kader:
  • Similariteitsanalyse: Prestatievectoren worden geconstrueerd voor algoritmen en datasets om gelijkenissen te analyseren met behulp van t-SNE.
  • Laag-rang Analyse: Singuliere Waarde Decompositie (SVD) wordt toegepast op prestatiematrices om laag-rang structuren te onderzoeken en de haalbaarheid van matrixcompletie voor prestatievoorspelling.
  • Modelselectie: Regressiemodellen (XGBoost, LightGBM, Random Forest) worden getraind om dataset-meta-features te koppelen aan prestatiematrices, met als doel algoritme- en hyperparameterselectie te automatiseren.
• Toolbox: Een uniforme Python-toolbox, compatibel met scikit-learn, omvat de broncode voor alle geëvalueerde methoden en biedt een consistente interface voor implementatie en uitbreiding.

Belangrijkste Resultaten

• Conventioneel versus Deep Clustering: In tegenstelling tot de verwachting dat diep leren superieure prestaties biedt, concludeert de studie dat alle geëvalueerde deep clustering-methoden geen significant voordeel vertonen ten opzichte van best presterende conventionele algoritmen (specifiek KMeans en Spectral Clustering/SpeClu) wat betreft gemiddelde prestaties over de 131 datasets.
• Invloed van Hyperparameters: Er is een aanzienlijk prestatiekloof tussen standaard en best-geoptimaliseerde configuraties voor zowel CC- als DC-methoden, wat de hoge gevoeligheid van clustering-algoritmen voor hyperparameterselectie benadrukt.
• Integratie van Foundation Models:
  • Beeld & Tekst: Het combineren van vooraf getrainde embeddings (bijv. van CLIP, ResNet, LLM's) met conventionele algoritmen (KMeans, SpeClu) levert effectieve en efficiënte clustering op, die vaak gespecialiseerde deep clustering-methoden evenaart of overtreft.
  • Tabulaire Data: Bestaande tabulaire foundation models tonen beperkingen in onbewaakte scenario's. Hoewel LLM's via in-context learning veelbelovend zijn op kleine datasets, presteren ze gemiddeld niet consequent beter dan traditionele methoden zoals SpeClu.
• Algoritme- en Datasetgelijkenis: Algoritmen met vergelijkbare methodologische ontwerpen (bijv. subspace-methoden) clusteren samen in de prestatieruimte, wat suggereert dat het testen van enkele representatieve methoden per cluster de bredere prestatielandschap kan benaderen.
• Laag-rang Structuur: Prestatiematrices vertonen een sterke laag-rang structuur (cumulatieve bijdrageratio >90% voor de eerste 60 singuliere waarden). Dit maakt betrouwbare voorspelling van algehele prestaties mogelijk vanuit onvolledige waarnemingen via matrixcompletie.
• Haalbaarheid van Modelselectie: Op regressie gebaseerde modelselectiestrategieën kunnen de relatie tussen dataset-meta-features en clustering-prestaties effectief benaderen, met resultaten die vergelijkbaar zijn met of beter zijn dan specifieke baselines.

Betekenis en Beweringen

Het paper beweert dat CLUBench een uitdagende en uitdagende benchmark biedt die de intrinsieke moeilijkheid van het clusteren van diverse real-world data blootlegt, zelfs in het tijdperk van dominante foundation models. De primaire bijdragen zijn:

1. Empirisch Bewijs: Het biedt een kwantitatieve evaluatie die aantoont dat, voor algemene clustering-taken, zorgvuldig afgestemde conventionele algoritmen vaak een hoger prestatieplafond bieden dan deep learning-methoden, met name op tabulaire data.
2. Praktische Richtlijnen: Het identificeert dat voor beeld- en teksttaken de combinatie van vooraf getrainde embeddings met conventionele clustering een sterke, efficiënte baseline vormt.
3. Onderzoeksrichting: Het benadrukt de noodzaak voor toekomstig onderzoek om zich te richten op automatische modelselectie, het ontwerp van deep clustering-frameworks die specifiek zijn toegesneden op tabulaire data, en de zorgvuldige rekening houding met potentiële datalekken bij evaluaties van foundation models.
4. Beschikbaarheid van Middelen: Door het bieden van een uniforme toolbox en het open-source maken van alle datasets en resultaten, streven de auteurs ernaar reproduceerbaar onderzoek en praktische implementatie in de clustering-gemeenschap te faciliteren.

De auteurs houden een bescheiden standpunt aan, waarbij zij opmerken dat hoewel hun bevindingen waardevolle inzichten bieden, clustering een niet-triviale problemen blijft, en dat de voorgestelde benchmark dient als fundament voor verder onderzoek in plaats van een definitieve oplossing voor algoritmekeuze.