Technische Samenvatting: Cluster LOCO: Feature Importance voor het Interpreteren van Clusters

Probleemstelling

Clustering is een fundamenteel hulpmiddel in ongesuperviseerd leren dat wordt gebruikt voor exploratieve analyse, datacompressie en wetenschappelijke ontdekking in disciplines variërend van sociale wetenschappen tot genomica. Naarmate datasets echter groter worden in omvang en complexiteit, zijn de betrouwbaarheid, controleerbaarheid en reproduceerbaarheid van clusteringoplossingen belangrijke zorgen geworden. Een primaire uitdaging is het gebrek aan robuuste methoden om te interpreteren waarom een specifieke clusteringstructuur is ontdekt.

Hoewel feature importance goed gevestigd is in gesuperviseerd leren (bijv. via permutatie-importance of SHAP-waarden), blijft het onderontwikkeld in clustering. Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën:

1. Intrinsiek interpreteerbare algoritmen: Deze beperken het clusteringmodel zelf (bijv. beslisboomgebaseerde clustering), wat de flexibiliteit en schaalbaarheid beperkt.
2. Post-hoc verklaringen: Deze zijn vaak gekoppeld aan specifieke algoritmen (bijv. K-means) of vertrouwen op interne validiteitsindices (bijv. silhouette scores) en stabiliteitsmetrieken die mogelijk de bijdrage van kenmerken aan de generaliseerbaarheid van de oplossing niet accuraat reflecteren.

Bovendien lijden veel workflows in velden zoals single-cell genomics vaak aan "double dipping", waarbij dezelfde data wordt gebruikt om clusters te definiëren en vervolgens om onderscheidende kenmerken (markergenen) te identificeren, wat de foutenpercentages (false discovery rates) opblaast. Er is behoefte aan een model-agnostisch, post-hoc framework dat de belangrijkheid van kenmerken kwantificeert op basis van hoeveel een kenmerk bijdraagt aan de stabiliteit en generaliseerbaarheid van de clusteringoplossing zelf, in plaats van alleen aan het vermogen om groepen achteraf te onderscheiden.

Methodologie: Cluster LOCO

De auteurs stellen Cluster LOCO (Leave-One-Covariate-Out) voor, een familie van model-agnostische feature importance scores voor clustering. De kernintuïtie is afgeleid van het gesuperviseerde leer-framework LOCO: als het verwijderen van een kenmerk de bekwaamheid om de clusteringoplossing te generaliseren naar gehouden data aanzienlijk verslechtert, wordt dat kenmerk als belangrijk beschouwd.

1. Kernconcept: Generaliseerbaarheid via Feature Occlusie

In tegen tegenstelling tot methoden die veranderingen in interne validiteitsindices meten (die vaak steunen op geometrische aannames zoals compactheid), meet Cluster LOCO de verandering in generaliseerbaarheidsfout.

• Generaliseerbaarheid: Gedefinieerd als het vermogen van clusterlabels die geleerd zijn op een trainingssubset, om accuraat voorspeld te worden op een gehouden kalibratieset met behulp van een transfer-classifier.
• Feature Occlusie: De belangrijkheid van een kenmerk wordt gekwantificeerd door de toename in generaliseerbaarheidsfout wanneer dat kenmerk wordt verwijderd (geoccludeerd) uit de dataset.

Het framework introduceert twee primaire algoritmen:

A. Cluster LOCO-Split

Deze methode vertrouwt op een standaard data-splitsingsbenadering:

1. Split: De data $X$ wordt verdeeld in een trainingset ($X_{tr}$) en een kalibratieset ($X_{cal}$).
2. Cluster: Een gekozen clusteringalgoritme $C_\theta$ wordt op beide sets toegepast om labels $z_{tr}$ en $z_{cal}$ te verkrijgen.
3. Train Transfer Classifiers:
   • Een basisclassifier $\hat{f}_{tr}$ wordt getraind op $(X_{tr}, z_{tr})$.
   • Een "zonder-kenmerk-$j$" classifier $\hat{f}_{-j}^{tr}$ wordt getraind op $(X_{tr, -j}, z_{tr})$.
4. Bereken Score: De importance score $\hat{\Delta}_j$ is het verschil in voorspellingsfout op de kalibratieset tussen het model dat getraind is zonder kenmerk $j$ en het model dat getraind is met alle kenmerken:
   $$\hat{\Delta}_j = \text{Error}(z_{cal}, \hat{f}_{-j}^{tr}(X_{cal, -j})) - \text{Error}(z_{cal}, \hat{f}_{tr}(X_{cal}))$$
   De foutmetriek kan de negatieve Adjusted Rand Index (ARI), Hamming-afstand, of multi-class hinge loss zijn.

B. Cluster LOCO-MP (Minipatch)

Om de computationele beperkingen en instabiliteit van data-splitting (vooral bij ongebalanceerde clusters of hoogdimensionele data) aan te pakken, introduceren de auteurs Cluster LOCO-MP. Deze methode maakt gebruik van minipatch-ensembles:

1. Minipatch Constructie: In plaats van een enkele split, genereert het algoritme $B$ willekeurige minipatches, waarbij elk een klein aantal observaties ($n \ll N$) en kenmerken ($m \ll M$) subsampleert.
2. Consensus Clustering: Elke minipatch wordt geclusterd, en labels worden uitgelijnd met een referentie-clustering (of via pairwise overlap) om een consensus labelset te creëren.
3. Ensemble Predictie:
   • LOO (Leave-One-Out): Een ensemble-voorspeller $\hat{H}$ middelt de voorspellingen van minipatches die de doelobservatie uitsluiten.
   • LOCO-LOO: Een ensemble-voorspeller $\hat{H}_{-j}$ middelt de voorspellingen van minipatches die zowel de doelobservatie als kenmerk $j$ uitsluiten.
4. Score Berekening: De importance score is het verschil in fout tussen $\hat{H}_{-j}$ en $\hat{H}$. Deze benadering gaat van nature goed om met gecorreleerde kenmerken omdat verschillende minipatches één kenmerk van een gecorreleerd paar kunnen bevatten maar niet het andere, wat de onderschatting van belangrijkheid voorkomt die gebruikelijk is bij single-split methoden.

C. Cluster LOCO-RAMPART

Voor hoogdimensionele toepassingen waar het identificeren van de top-$k$ kenmerken het doel is, integreert de auteurs Cluster LOCO-MP met het RAMPART-framework. Dit is een adaptieve procedure die iteratief kenmerken screent, waarbij de onderste helft van de gerangschikte kenmerken in elke ronde wordt weggegooid, waardoor de computationele middelen worden geconcentreerd op de meest veelbelovende kandidaten.

D. Extensies

Het framework ondersteunt cluster-specifieke important scores. Door fouten te aggregeren over specifieke clusters in plaats van de gehele dataset, kunnen gebruikers bepalen welke kenmerken de vorming van specifieke groepen drijven (bijv. specifieke celtypen), wat lokale interpreteerbaarheid biedt naast globale scores.

Belangrijkste Bijdragen

1. Model-Agnostisch Framework: Cluster LOCO is toepasbaar op elk clusteringalgoritme (bijv. K-means, Spectral Clustering, hiërarchische clustering) en vereist niet dat het clusteringmodel op een specifieke manier vanaf nul wordt hertraind; het vereist alleen het vermogen om data te clusteren en labels te voorspellen.
2. Generaliseerbaarheids-gebaseerde Metriek: Het verschuift de focus van interne geometrische validiteit naar de generaliseerbaarheid van de clusteringoplossing, wat een robuustere maat geeft voor de bijdrage van kenmerken.
3. Schaalbaarheid: De introductie van Cluster LOCO-MP stelt de methode in staat om te schalen naar grote, hoogdimensionele datasets via minipatch-ensembling, waardoor de computationele knelpunten van traditionele leave-one-out benaderingen worden overwonnen.
4. Adaptieve Screening: De integratie met RAMPART biedt een efficiënt pad voor feature selectie in ijle (sparse), hoogdimensionele regimes.

Resultaten

De auteurs hebben Cluster LOCO geëvalueerd tegen vijf baseline methoden: Prototype-Based Feature Importance (PBFI), Fuzzy C-Means SHAP, Permutation Feature Importance (PFI), Layer-Wise Relevance Propagation (LRP), en IMPACC.

Synthetische Simulaties

• Niet-lineaire Structuren: In een synthetische dataset met overlappende halve cirkels (niet-lineair scheidbaar), faalden standaardmethoden zoals K-means-gebaseerde PFI, SHAP en LRP om de ware signaal-kenmerken te identificeren, waarbij ze vaak hoge belangrijkheid toekenden aan ruis. Cluster LOCO-Split slaagde erin de correcte signaal-kenmerken en hun relatieve belangrijkheidvolgorde te herstellen.
• Hoogdimensionele Regimes: In simulaties met Gaussische mengsels, Gamma-mengsels en overlappende manen/cirkels met toenemende ruisdimensies ($p_{noise}$ tot 990), presteerden Cluster LOCO-MP en Cluster LOCO-RAMPART consequent beter dan bestaande methoden. Ze vertoonden een robuust herstel van de top-10 ware signaal-kenmerken, zelfs naarmate het aantal ruis-kenmerken toenam, terwijl methoden zoals FCM-SHAP en PFI een significante prestatieverslechtering lieten zien.

Real-World Toepassing: Single-Cell Transcriptomics

Het framework werd toegepast op een PBMC-dataset om genmarkers voor immuunceltypen te identificeren.

• Globale Belangrijkheid: Cluster LOCO-MP identificeerde een hoger aantal biologisch gevalideerde markergenen (bijv. FTL voor monocyten) vergeleken met K-means-gebaseerde methoden (PBVI, PFI), die er niet in slaagden bekende markers in hun top-rangschikkingen te identificeren.
• Cluster-specifieke Belangrijkheid: Bij het analyseren van specifieke celtypen (CD14+ monocyten, dendritische cellen, NK-cellen en CD34+ stamcellen), leverde Cluster LOCO-MP meer consistente en biologisch interpreteerbare rangschikkingen op dan LRP en standaard differentiële expressie analyse (DEG).
• Omgaan met Ambiguïteit: Voor moeilijk te clusteren populaties zoals CD34+ stamcellen, slaagde Cluster LOCO-MP erin bekende markers (PRSS57, EGFL7, CYTL1) in de top 10 te plaatsen, terwijl LRP en standaard DEG-analyse er niet in slaagden deze markers te identificeren, wat de capaciteit van de methode benadrukt om de onderliggende clusteringstructuur te reflecteren in plaats van alleen post-hoc statistische significantie.

Betekenis en Claims

Het artikel claimt dat Cluster LOCO een kritieke kloof in de interpreteerbaarheid van ongesuperviseerd leren aanpakt. Door een post-hoc, model-agnostische maat te bieden voor feature importance gebaseerd op generaliseerbaarheid, stelt het beoefenaars in staat om:

• Clusteringoplossingen te auditeren om te begrijpen welke kenmerken de ontdekte structuur drijven.
• De statistische valkuilen van "double dipping" in downstream analyses (bijv. marker gen ontdekking) te vermijden.
• Feature importance toe te passen op complexe, niet-lineaire en hoogdimensionele clustering-workflows zonder beperkt te worden door specifieke algoritmische aannames.

De auteurs positioneren Cluster LOCO niet als een vervanging voor zorgvuldige modelselectie, maar als een noodzakelijk instrument voor het valideren en interpreteren van de resultaten van gekozen clusteringmodellen, waardoor de betrouwbaarheid en reproduceerbaarheid van clustering-gestuurde wetenschappelijke ontdekking wordt vergroot. De methode is geïmplementeerd als een open-source Python-bibliotheek die compatibel is met standaard scikit-learn estimators.