Resumo Técnico: Cluster LOCO: Importância de Atributos para Interpretação de Clusters

Declaração do Problema

O agrupamento (clustering) é uma ferramenta fundamental no aprendizado não supervisionado usado para análise exploratória, compressão de dados e descoberta científica em diversas disciplinas, que vão desde as ciências sociais até a genômica. No entanto, à medida que os conjuntos de dados crescem em tamanho e complexidade, a confiabilidade, a auditabilidade e a reprodutibilidade das soluções de agrupamento tornaram-se preocupações significativas. Um desafio primordial é a falta de métodos robustos para interpretar por que uma estrutura de agrupamento específica foi descoberta.

Embora a importância de atributos (feature importance) seja bem estabelecida no aprendizado supervisionado (por exemplo, via importância por permutação ou valores SHAP), ela permanece subdesenvolvida no agrupamento. As abordagens existentes geralmente se dividem em duas categorias:

1. Algoritmos intrinsecamente interpretáveis: Estes restringem o próprio modelo de agrupamento (por exemplo, agrupamento baseado em árvores de decisão), limitando a flexibilidade e a escalabilidade.
2. Explicações post-hoc: Estas são frequentemente ligadas a algorit時には específicos (por exemplo, K-means) ou dependem de índices de validade interna (por exemplo, escores de silhueta) e métricas de estabilidade que podem não refletir com precisão a contribuição dos atributos para a generalizabilidade da solução.

Além disso, fluxos de trabalho comuns em campos como a genômica de célula única (single-cell genomics) frequentemente sofrem de "double dipping" (duplo uso), onde os mesmos dados são usados para definir clusters e, em seguida, para identificar atributos distintivos (genes marcadores), inflando as taxas de falsos positivos. Há uma necessidade de um framework post-hoc e agnóstico ao modelo que quantifique a importância dos atributos com base no quanto um atributo contribui para a estabilidade e generalizabilidade da própria solução de agrupamento, em vez de apenas sua capacidade de distinguir grupos a posteriori.

Metodologia: Cluster LOCO

Os autores propõem o Cluster LOCO (Leave-One-Covariate-Out), uma família de escores de importância de atributos agnósticos ao modelo para agrupamento. A intuição central deriva do framework LOCO de aprendizado supervisionado: se a remoção de um atributo degrada significativamente a capacidade de generalizar a solução de agrupamento para dados não observados (held-out data), esse atributo é considerado importante.

O framework mede a importância através da Oclusão de Atributos: a importância de um atributo é quantificada pelo aumento no erro de generalizabilidade quando esse atributo é removido (ocluído) do conjunto de dados.

1. Conceito Central: Generalizabilidade via Oclusão de Atributos

Ao contrário de métodos que medem mudanças em índices de validade interna (que frequentemente dependem de suposições geométricas como compacidade), o Cluster LOCO mede a mudança no erro de generalizabilidade.

• Generalizabilidade: Definida como a capacidade de prever rótulos de clusters aprendidos em um subconjunto de treinamento em um subconjunto de calibração mantido à parte, utilizando um classificador de transferência.
• Oclusão de Atributo: A importância de um atributo é quantificada pelo aumento no erro de generalizabilidade quando esse atributo é removido (ocluído) do conjunto de dados.

O framework introduz dois algoritmos principais:

A. Cluster LOCO-Split

Este método baseia-se em uma abordagem padrão de divisão de dados:

1. Divisão (Split): Os dados $X$ são divididos em um conjunto de treinamento ($X_{tr}$) e um conjunto de calibração ($X_{cal}$).
2. Agrupamento (Cluster): Um algoritmo de agrupamento escolhido $C_\theta$ é aplicado a ambos os conjuntos para obter os rótulos $z_{tr}$ e $z_{cal}$.
3. Treinamento de Classificadores de Transferência:
   • Um classificador base $\hat{f}_{tr}$ é treinado em $(X_{tr}, z_{tr})$.
   • Um classificador "sem o atributo-$j$" $\hat{f}_{-j}^{tr}$ é treinado em $(X_{tr, -j}, z_{tr})$.
4. Cálculo do Score: O escore de importância $\hat{\Delta}_j$ é a diferença no erro de predição no conjunto de calibração entre o modelo treinado sem o atributo $j$ e o modelo treinado com todos os atributos:
   $$\hat{\Delta}_j = \text{Erro}(z_{cal}, \hat{f}_{-j}^{tr}(X_{cal, -j})) - \text{Erro}(z_{cal}, \hat{f}_{tr}(X_{cal}))$$
   A métrica de erro pode ser o índice Rand Ajustado (ARI) negativo, distância de Hamming ou perda de hinge multiclasse.

B. Cluster LOCO-MP (Minipatch)

Para abordar as limitações computacionais e a instabilidade da divisão de dados (especialmente com clusters desbalanceados ou dados de alta dimensão), os autores introduzem o Cluster LOCO-MP. Este método utiliza ensembles de minipatches:

1. Construção de Minipatches: Em vez de uma única divisão, o algoritmo gera $B$ minipatches aleatórios, cada um subamostrando um pequeno número de observações ($n \ll N$) e atributos ($m \ll M$).
2. Agrupamento de Consenso: Cada minipatch é agrupado, e os rótulos são alinhados a um agrupamento de referência (ou via sobreposição de pares) para criar um conjunto de rótulos de consenso.
3. Predição de Ensemble:
   • LOO (Leave-One-Out): Um preditor de ensemble $\hat{H}$ faz a média das predições de minipatches que excluem a observação alvo.
   • LOCO-LOO: Um preditor de ensemble $\hat{H}_{-j}$ faz a média dos minipatches que excluem tanto a observação alvo quanto o atributo $j$.
4. Cálculo do Score: O escore de importância é a diferença no erro entre $\hat{H}_{-j}$ e $\hat{H}$. Esta abordagem lida naturalmente com atributos correlacionados, pois diferentes minipatches podem incluir um atributo de um par correlacionado mas não o outro, evitando a subestimação da importância comum em métodos de divisão única.

C. Cluster LOCO-RAMPART

Para aplicações de alta dimensão onde o objetivo é identificar os top-$k$ atributos, os autores integram o Cluster LOCO-MP com o framework RAMPART. Este é um procedimento adaptativo que filtra iterativamente os atributos, descartando a metade inferior dos atributos classificados em cada rodada, concentrando assim os recursos computacionais nos candidatos mais promissores.

D. Extensões

O framework suporta escores de importância específicos por cluster. Ao agregar erros sobre clusters específicos em vez de todo o conjunto de dados, os usuários podem determinar quais atributos impulsionam a formação de grupos específicos (por exemplo, tipos celulares específicos), oferecendo interpretabilidade local junto com escores globais.

Contribuições Principais

1. Framework Agnóstico ao Modelo: O Cluster LOCO é aplicável a qualquer algoritmo de agrupamento (ex: K-means, Spectral Clustering, agrupamento hierárquico) e não exige o retreinamento do modelo de agrupamento de uma forma específica; ele apenas requer a capacidade de agrupar dados e prever rótulos.
2. Métrica Baseada em Generalizabilidade: Ele desloca o foco da validade geométrica interna para a generalizabilidade da solução de agrupamento, fornecendo uma medida mais robusta da contribuição dos atributos.
3. Escalabilidade: A introdução do Cluster LOCO-MP permite que o método escale para grandes conjuntos de dados de alta dimensão através do ensemble de minipatches, superando os gargalos computacionais das abordagens tradicionais de leave-one-out.
4. Triagem Adaptativa: A integração com o RAMPART fornece um caminho eficiente para a seleção de atributos em regimes esparsos e de alta dimensão.

Resultados

Os autores avaliaram o Cluster LOCO contra cinco métodos de base: PBFI (Prototype-Based Feature Importance), Fuzzy C-Means SHAP, PFI (Permutation Feature Importance), LRP (Layer-Wise Relevance Propagation) e IMPACC.

Simulações Sintéticas

• Estruturas Não Lineares: Em um conjunto de dados sintético com semicírculos entrelaçados (não linearmente separáveis), métodos padrão como K-means-based PFI, SHAP e LRP falharam em identificar os atributos de sinal reais, atribuindo alta importância ao ruído. O Cluster LOCO-Split recuperou com sucesso os atributos de sinal corretos e sua ordenação relativa de importância.
• Regimes de Alta Dimensão: Em simulações com misturas Gaussianas, misturas Gamma e luas/círculos entrelaçados com dimensões de ruído crescentes ($p_{noise}$ até 990), o Cluster LOCO-MP e o Cluster LOCO-RAMPART superaram consistentemente os métodos existentes. Eles demonstraram uma recuperação robusta dos 10 principais atributos de sinal reais mesmo com o aumento do número de atributos de ruído, enquanto métodos como FCM-SHAP e PFI mostraram degradação significativa de desempenho.

Aplicação no Mundo Real: Transcriptômica de Célula Única

O framework foi aplicado a um conjunto de dados de células mononucleares do sangue periférico (PBMC) para identificar genes marcadores para tipos de células imunes.

• Importância Global: O Cluster LOCO-MP identificou um número maior de genes marcadores biologicamente validados (ex: FTL para monócitos) comparado a métodos baseados em K-means (PBFI, PVI), que falharam em identificar marcadores conhecidos em seus rankings superiores.
• Importância Específica por Cluster: Ao analisar tipos celulares específicos (monócitos CD14+, células dendríticas, células NK e células-tronco CD34+), o Cluster LOCO-MP forneceu rankings mais consistentes e biologicamente interpretáveis do que o LRP e a análise padrão de expressão diferencial (DEG).
• Lidando com Ambiguidade: Para populações difíceis de agrupar, como células-tronco CD34+, o Cluster LOCO-MP conseguiu classificar marcadores conhecidos (PRSS57, EGFL7, CYTL1) no top 10, enquanto o LRP e a análise DEG padrão falharam em identificar esses marcadores, destacando a capacidade do método de refletir a estrutura de agrupamento subjacente em vez de apenas a significância estatística post-hoc.

Significância e Alegações

O artigo afirma que o Cluster LOCO aborda uma lacuna crítica na interpretabilidade do aprendizado não supervisionado. Ao fornecer uma medida de importância de atributos post-hoc e agóstica ao modelo baseada em generalizabilidade, ele permite que os profissionais possam:

• Auditar soluções de agrupamento para entender quais atributos impulsionam a estrutura descoberta.
• Evitar os problemas estatísticos de "double dipping" em análises subsequentes (ex: descoberta de genes marcadores).
• Aplicar a importância de atributos a fluxos de trabalho de agrupamento complexos, não lineares e de alta dimensão sem serem limitados por suposições algorítmicas específicas.

Os autores posicionam o Cluster LOCO não como um substituto para a seleção cuidadosa de modelos, mas como uma ferramenta necessária para validar e interpretar os resultados dos modelos de agrupamento escolhidos, aumentando assim a confiabilidade e a reprodutibilidade da descoberta científica impulsionada pelo agrupamento. O método está implementado como uma biblioteca Python de código aberto compatível com estimadores padrão do scikit-learn.