Cluster Analysis with Resampling for Validation and Exploration (CARVE)

Resumo Técnico: CARVE (Cluster Analysis with Resampling for Validation and Exploration)

Problema

O agrupamento (clustering) é uma técnica fundamental de aprendizado não supervisionado usada para particionar dados em grupos semelhantes em diversos campos científicos, incluindo genômica, neurociência e ciências sociais. No entanto, os resultados do agrupamento são notoriamente sensíveis às escolhas metodológicas, incluindo o algoritmo específico, etapas de pré-processamento e o número de clusters ($k$). Pequenas variações nessas escolhas podem levar a agrupamentos qualitativamente diferentes, resultando em afirmações científicas não reprodutíveis.

A validação de estado da arte atual depende fortemente de Índices de Validação de Agrupamento (CVIs) como Silhouette, Davies–Bouldin e Calinski–Harabasz. Esses índices resumem a qualidade do agrupamento via suposições geométricas (ex: compactação, formas esféricas e distribuições de densidade específicas). Os autores argumentam que essas suposições frequentemente falham na pesquisa biomédica, onde os dados costumam apresentar distribuições de cauda pesada, alta dimensionalidade e estruturas não lineares. Consequentemente, os CVIs frequentemente falham em identificar soluções adequadas, levando ao sobreagrupamento ou subagrupamento sistemático. Além disso, as alternativas existentes baseadas em reamostragem (focadas em estabilidade e generalização) estão dispersas em ferramentas especializadas e não unificadas, carecendo de um framework de software coeso para comparação sistemática.

Metodologia

O artigo introduz o CARVE (Cluster Analysis with Resampling for Validation and Exploration), um framework unificado que avalia soluções de agrupamento com base em estabilidade e generalização, em vez de suposições geométricas.

Algoritmo Central:
Para uma grade especificada pelo usuário de algoritmos de agrupamento e hiperparâmetros (incluindo $k$), o CARVE realiza $B$ iterações de reamostragem:

1. Subamostragem: Dois subconjuntos independentes ($P_1, P_2$) de tamanho $\lfloor \rho n \rfloor$ são extraídos, juntamente com um conjunto de teste retido ($P_{test}$).
2. Agrupamento: O método de agrupamento candidato $f(\cdot, \theta)$ é aplicado a $P_1$, $P_2$ e $P_{test}$.
3. Métrica de Estabilidade ($S^{(b)}$): O Índice Rand Ajustado (ARI) é computado entre os agrupamentos de $P_1$ e $P_2$ em sua interseção. Isso mede a robustez do agrupamento sob perturbação de dados.
4. Métrica de Generalização ($G^{(b)}$): Um classificador (padrão: Random Forest) é treinado em $P_1$ usando seus rótulos de cluster. O classificador prevê os rótulos para $P_{test}$, e o ARI entre essas previsões e o agrupamento real de $P_{test}$ é computado. Isso mede se a estrutura aprendida em um subconjunto se transfere para dados retidos.
5. Agregação: As métricas são agregadas através das iterações para produzir médias, erros padrão e intervalos de confiança. Uma matriz de consenso também é construída a partir das frequências de co-agrupamento para derivar diagnósticos ao nível de amostra e de cluster (ex: índice Gini, entropia cruzada, proporção de clusters ambíguos).

Regras de Seleção:
Para selecionar o $k$ e o método ideais, o CARVE emprega três regras de seleção:

• Regra de Maximização (Max Rule): Seleciona o $k$ que maximiza a métrica.
• Regra 1-SE: Seleciona o maior $k$ cujo escore está dentro de um erro padrão de uma unidade do máximo (um princípio emprestado do aprendizado supervisionado).
• Regra de Quantil (Quantile Rule): Seleciona o maior $k$ cujo escore está dentro dos 95% centrais da distribuição de escores observada no $k$ maximizador.

Diagnósticos de Múltiplos Níveis:
O CARVE fornece diagnósticos em três granularidades:

• Global: Escores gerais de estabilidade e generalização em todo o conjunto de dados.
• Cluster: Identificação de quais clusters específicos são estáveis ou ambíguos.
• Amostra: Identificação de amostras individuais com pertencimento incerto (amostras duvidosas).

Principais Contribuições

1. Framework Unificado: O CARVE é o primeiro pacote de código aberto (disponível em Python e R) para avaliar conjuntamente múltiplos algoritmos de agrupamento e hiperparâmetros usando tanto métricas de estabilidade quanto de generalização dentro de um único fluxo de trabalho.
2. Validação Independente de Modelo: Ao depender de reamostragem em vez de suposições geométricas, o CARVE é robusto a dados não esféricos, de cauda pesada e de alta dimensionalidade comuns em genômica.
3. Seleção Principiada: O artigo propõe e valida o uso da regra 1-SE aplicada a métricas de estabilidade como uma estratégia de seleção padrão, que frequentemente supera a simples maximização ou a seleção baseada em CVI.
4. Implementação de Software: O CARVE oferece uma API Python compatível com scikit-learn e uma interface R compatível com fluxos de trabalho Seurat e SingleCellExperiment, facilitando a integração em pipelines existentes.

Resultados

Os autores avaliaram o CARVE em seis benchmarks sintéticos e dois estudos de caso biomédicos do mundo real.

Benchmarks Sintéticos:
Através de misturas Gaussianas isotrópicas, misturas $t$ de cauda pesada, misturas com características de ruído (nuisance features) e variedades não lineares (Swiss rolls, círculos, luas), o CARVE recuperou consistentemente agrupamentos próximos do ideal onde os CVIs clássicos degradaram significativamente.

• Em configurações de cauda pesada e não lineares, os CVIs (particularmente Gap statistic, Calinski–Harabasz e Davies–Bouldin) frequentemente falharam em identificar o verdadeiro $k$ ou selecionaram soluções com baixo ARI em relação à verdade fundamental (ground truth).
• A métrica de estabilidade do CARVE com a regra 1-SE foi o desempenho mais consistente em todas as tarefas.

Estudos de Caso:

1. scRNA-seq baseado em gotas (Klein et al.): O CARVE identificou uma solução de 4 clusters correspondente a quatro estágios distintos de diferenciação de células estaminais embrionárias de camundongo. Em contraste, os CVIs (Silhouette, CH, DB) selecionaram uma solução de 2 clusters que colapsou estágios biológicos distintos, perdendo a progressão transcricional contínua.
2. Citometria de Massa (Levine et al.): O CARVE selecionou uma solução de 10 clusters que recuperou estruturas populacionais de medula óssea refinadas (separando células T CD4+, T CD8+ e células NK). Os CVIs selecionaram uma solução de 7 clusters que fundiu essas populações distintas. A solução selecionada pelo CARVE alcançou um ARI significativamente maior contra os rótulos manuais reportados comparado a todas as soluções selecionadas por CVIs.

Significância e Alegações

O artigo afirma que o CARVE aborda uma lacuna crítica na reprodutibilidade do aprendizado não supervisionado. Ao se afastar de suposições geométricas e mover-se para a estabilidade e generalização baseadas em reamostragem, o CARVE fornece uma base mais confiável para a descoberta científica em dados biomédicos complexos.

Os autores enfatizam que, embora a estabilidade seja uma condição necessária para descobertas baseadas em dados confiáveis, ela não é suficiente por si só; a generalização é necessária para garantir que os insights se estendam além da amostra específica. Os diagnósticos de múltiplos níveis do CARVE permitem não apenas selecionar um modelo, mas também identificar quais clusters ou amostras específicas são robustos e quais são duvidosos, prevenindo assim a interpretação errônea de artefatos como sinal biológico. O artigo conclui que o CARVE oferece um caminho prático para melhorar a confiança e a replicabilidade dos resultados de agrupamento em biologia computacional e além.