Cluster Analysis with Resampling for Validation and Exploration (CARVE)

Sintesi Tecnica: CARVE (Cluster Analysis with Resampling for Validation and Exploration)

Problematica

Il clustering è una tecnica fondamentale di apprendimento non supervisionato utilizzata per partizionare i dati in gruppi simili in diversi campi scientifici, tra cui la genomica, la neuroscienza e le scienze sociali. Tuttavia, i risultati del clustering sono notoriamente sensibili alle scelte metodologiche, inclusi l'algoritmo specifico, i passaggi di pre-elaborazione e il numero di cluster ($k$). Piccole variazioni in queste scelte possono portare a raggruppamenti qualitativamente differenti, con conseguente mancanza di riproducibilità delle affermazioni scientifiche.

L'attuale stato dell'arte della validazione si affida pesantemente agli Indici di Validazione del Clustering (CVI) come Silhouette, Davies–Bouldin e Calinski–Harabasz. Questi indici riassumono la qualità del clustering tramite assunzioni geometriche (ad esempio, compattezza, forme sferiche e specifiche distribuzioni di densità). Gli autori sostengono che tali assunzioni falliscano frequentemente nella ricerca biomedica, dove i dati presentano spesso distribuzioni a code pesanti, alta dimensionalità e strutture non lineari. Di conseguenza, i CVI spesso non riescono a identificare soluzioni adeguate, portando a un sistematico eccesso o carenza di clustering (over- o under-clustering). Inoltre, le alternative esistenti basate sul ricampionamento (focalizzate su stabilità e generalizzabilità) sono disperse in strumenti specializzati e non unificati, mancando di un framework software coeso per un confronto sistematico.

Metodologia

Il documento introduce CARVE (Cluster Analysis with Resampling for Validation and Exploration), un framework unificato che valuta le soluzioni di clustering basandosi sulla stabilità e sulla generalizzabilità piuttosto che su assunzioni geometriche.

Algoritmo Core:
Per una griglia specificata dall'utente di algoritmi di clustering e iperparametri (incluso $k$), CARVE esegue $B$ iterazioni di ricampionamento:

1. Sottocampionamento (Subsampling): Vengono estratti due sottocampioni indipendenti ($P_1, P_2$) di dimensione $\lfloor \rho n \rfloor$, insieme a un set di test tenuto da parte ($P_{test}$).
2. Clustering: Il metodo di clustering candidato $f(\cdot, \theta)$ viene applicato a $P_1$, $P_2$ e $P_{test}$.
3. Metrica di Stabilità ($S^{(b)}$): Viene calcolato l'Adjusted Rand Index (ARI) tra i clustering di $P_1$ e $P_2 sulla loro intersezione. Questo misura la robustezza del raggruppamento sotto perturbazione dei dati.
4. Metrica di Generalizzabilità ($G^{(b)}$): Un classificatore (default: Random Forest) viene addestrato su $P_1$ utilizzando le sue etichette di cluster. Il classificatore predice le etichette per $P_{test}$, e viene calcolato l'ARI tra queste predizioni e il clustering effettivo di $P_{test}$. Ciò misura se la struttura appresa su un sottoinsieme si trasferisce ai dati tenuti da parte.
5. Aggregazione: Le metriche vengono aggregate attraverso le iterazioni per produrre medie, errori standard e intervalli di confidenza. Viene inoltre costruita una matrice di consenso dalle frequenze di co-clustering per derivare diagnostiche a livello di campione e di cluster (ad esempio, indice di Gini, cross-entropy, proporzione di cluster ambigui).

Regole di Selezione:
Per selezionare il $k$ e il metodo ottimali, CARVE impiega tre regole di selezione:

• Regola Max (Max Rule): Seleziona il $k$ che massimizza la metrica.
• Regola 1-SE (1-SE Rule): Seleziona il $k$ più grande il cui punteggio rientra entro un errore standard dal massimo (un principio derivato dall'apprendimento supervisionato).
• Regola del Quantile (Quantile Rule): Seleziona il $k$ più grande il cui punteggio rientra nel 95% centrale della distribuzione dei punteggi osservata al valore di $k$ massimizzante.

Diagnostica Multi-livello:
CARVE fornisce diagnostiche a tre granularità:

• Globale: Punteggi complessivi di stabilità e generalizzabilità su tutto il dataset.
• Cluster: Identificazione di quali specifici cluster siano stabili o ambigui.
• Campione: Identificazione di singoli campioni con appartenenza incerta (campioni dubbi).

Contributi Chiave

1. Framework Unificato: CARVE è il primo pacchetto open-source (disponibile in Python e R) che valuta congiuntamente molteplici algoritmi di clustering e iperparametri utilizzando sia metriche di stabilità che di generalizzabilità all'interno di un unico workflow.
2. Validazione Model-Agnostic: Affidandosi al ricampionamento piuttosto che ad assunzioni geometriche, CARVE è robusto rispetto a dati non sferici, a code pesanti e ad alta dimensionalità comuni nella genomica.
3. Selezione Principiata: Il documento propone e valida l'uso della regola 1-SE applicata alle metriche di stabilità come strategia di selezione predefinita, che spesso supera la semplice massimizzazione o la selezione basata su CVI.
4. Implementazione Software: CARVE offre un'API Python compatibile con scikit-learn e un'interfaccia R compatibile con i workflow Seurat e SingleCellExperiment, facilitando l'integrazione in pipeline esistenti.

Risultati

Gli autori hanno valutato CARVE su sei benchmark sintetici e due casi studio biomedici reali.

Benchmark Sintetici:
Attraverso miscele gaussiane isotrope, miscele $t$ a code pesanti, miscele con feature di disturbo (nuisance features) e manifold non lineari (Swiss rolls, cerchi, lune), CARVE ha recuperato costantemente clustering quasi ottimali dove i classici CVI degradavano significativamente.

• Nelle impostazioni a code pesanti e non lineari, i CVI (particolarmente Gap statistic, Calinski–Harabasz e Davies–Bouldin) spesso non riuscivano a identificare il vero $k$ o selezionavano soluzioni con basso ARI rispetto alla ground truth.
• La metrica di stabilità di CARVE con la regola 1-SE è stata la performer più costante in tutti i compiti.

Casi Studio:

1. scRNA-seq basata su droplet (Klein et al.): CARVE ha identificato una soluzione a 4 cluster corrispondente a quattro distinti stadi di differenziazione di cellule staminali embrionali di topo. Al contrario, i CVI (Silhouette, CH, DB) hanno selezionato una soluzione a 2 cluster che collassava distinti stadi biologici, perdendo la progressione trascrizionale continua.
2. Citometria di massa (Levine et al.): CARVE ha selezionato una soluzione a 10 cluster che ha recuperato strutture di popolazione del midollo osseo più fini (separando cellule CD4+ T, CD8+ T e NK). I CVI hanno selezionato una soluzione a 7 cluster che fondeva queste popolazioni distinte. La soluzione selezionata da CARVE ha raggiunto un ARI significativamente più alto rispetto a tutte le soluzioni selezionate dai CVI rispetto alle etichette manuali riportate.

Significatività e Affermazioni

Il documento sostiene che CARVE affronti una lacuna critica nella riproducibilità dell'apprendimento non supervisionato. Spostandosi dalle assunzioni geometriche verso la stabilità e la generalizzabilità basate sul ricampionamento, CARVE fornisce una base più affidabile per la scoperta scientifica in dati biomedici complessi.

Gli autori sottolineano che, sebbene la stabilità sia una condizione necessaria per scoperte basate sui dati affidabili, non è sufficiente da sola; la generalizzabilità è necessaria per garantire che le intuizioni si estendano oltre il campione specifico. La diagnostica multi-livello di CARVE consente ai ricercatori non solo di selezionare un modello, ma anche di identificare quali specifici cluster o campioni siano robusti e quali siano dubbi, prevenendo così l'interpretazione errata di artefatti come segnali biologici. Il documento conclude che CARVE offre un percorso pratico verso il miglioramento della fiducia e della replicabilità dei risultati del clustering nella biologia computazionale e oltre.