DR-SNE: Density-Regularized Stochastic Neighbor Embedding

Resumo Técnico: DR-SNE (Embedding de Vizinhos Estocásticos Regularizado por Densidade)

Enunciação do Problema
Métodos padrão de redução de dimensionalidade, particularmente o t-SNE e suas variantes, são formulados como problemas geométricos destinados a preservar relações de vizinhança local. Embora eficazes na manutenção da estrutura condicional (semelhanças locais), esses métodos ignoram implicitamente a distribuição da massa de probabilidade em todo o conjunto de dados. Consequentemente, eles frequentemente introduzem distorções severas na densidade dos dados, expandindo regiões esparsas e comprimindo as densas. Isso leva a embeddings que representam erroneamente a distribuição subjacente dos dados, produzindo tamanhos de clusters e relações espaciais enganosos. Abordagens existentes que consideram a densidade, como DensMAP e DenSNE, tentam mitigar isso impondo consistência nas escalas de vizinhança local (por exemplo, raios ou larguras de banda). No entanto, o artigo argumenta que esses proxies baseados em escala estão apenas indiretamente relacionados à densidade de amostragem local e podem ser sensíveis à escala do embedding e às definições de vizinhança.

Metodologia
Os autores propõem o DR-SNE (Embedding de Vizinhos Estocásticos Regularizado por Densidade), uma reformulação da redução de dimensionalidade como o alinhamento conjunto de dois componentes:

1. Estrutura Condicional: Captura de relações locais (padrão em SNE/t-SNE).
2. Estrutura de Densidade Relativa: Captura da variação da massa de probabilidade por meio de estatísticas de densidade local.

Teoricamente, isso se fundamenta na decomposição da divergência de Kullback–Leibler (KL) entre distribuições conjuntas em componentes condicionais e marginais. O SNE padrão otimiza apenas o termo condicional, fixando as distribuições marginais como uniformes. O DR-SNE introduz um objetivo complementar para alinhar a densidade marginal.

Implementação Algorítmica:

• Estimativa de Densidade: Densidades locais nos espaços de alta dimensão ($X$) e baixa dimensão ($Z$) são estimadas usando distâncias de $k$-vizinhos mais próximos ($k$-NN).
• Normalização: Essas estimativas de densidade ($\rho$) são normalizadas para uma média unitária para garantir invariância de escala.
• Função Objetivo: A perda total $L$ combina a divergência KL esparsa padrão ($L_{KL}$) com um termo de regularização de densidade ($L_{dens}$):
  $$L = L_{KL} + \lambda L_{dens}$$
  onde $L_{dens}$ minimiza a diferença quadrada entre as estimativas de log-densidade normalizadas:
  $$L_{dens} = \frac{1}{n} \sum_{i=1}^{n} \left( \log \tilde{\rho}^{high}_i - \log \tilde{\rho}^{low}_i \right)^2$$
• Otimização: O método utiliza uma fase de aquecimento com exagero inicial, seguida por otimização via Adam com clipping de gradiente. O parâmetro $\lambda$ controla o compromisso entre fidelidade da vizinhança e preservação de densidade.

Principais Contribuições

1. Reformulação Teórica: O artigo enquadra explicitamente a redução de dimensionalidade como o alinhamento conjunto da estrutura condicional e da densidade marginal, identificando a negligência do termo marginal como a causa raiz da distorção de densidade nos métodos padrão.
2. Alinhamento Direto de Densidade: Diferentemente de trabalhos anteriores que dependem de proxies baseados em escala, o DR-SNE alinha diretamente as estimativas de log-densidade normalizadas. Isso fornece um mecanismo invariante de escala para preservar variações relativas de densidade.
3. Nova Métrica de Avaliação: Os autores introduzem a Correlação de Densidade (DC), definida como a correlação entre as estimativas de log-densidade normalizadas nos espaços original e de embedding, para avaliar quantitativamente a preservação de densidade.
4. Validação Empírica: Experimentos extensivos demonstram que o DR-SNE alcança preservação de densidade superior em comparação com t-SNE, UMAP, PaCMAP, DensMAP e DenSNE, mantendo ao mesmo tempo fidelidade de vizinhança competitiva.

Resultados

• Preservação de Densidade: Em diversos conjuntos de dados (Digits, Fashion-MNIST, MNIST, PBMC, Shuttle e espirais sintéticas), o DR-SNE consistentemente alcança as maiores pontuações de Correlação de Densidade. Por exemplo, no conjunto de dados MNIST, o DR-SNE alcançou um DC de 0,991, comparado a 0,987 para o DensMAP e 0,118 para o t-SNE padrão.
• Compromisso entre Topologia e Densidade: Estudos de ablação revelam uma fronteira de Pareto clara. O aumento de $\lambda$ melhora a correlação de densidade monotonicamente, mas degrada gradualmente a confiabilidade (estrutura local). Notavelmente, pequenos valores não nulos de $\lambda$ frequentemente melhoram tanto a preservação de densidade quanto a estrutura local, atuando como um estabilizador.
• Desempenho a Montante: Em tarefas de detecção de anomalias (usando kNN, LOF, Isolation Forest e detectores baseados em centróide), o DR-SNE produz ganhos, particularmente em regimes orientados por densidade (por exemplo, Shuttle, Tireoide) onde anomalias correspondem a regiões de baixa densidade. Ele mostra robustez entre diferentes detectores em comparação com métodos que se destacam apenas com funções de pontuação específicas.
• Custo Computacional: O DR-SNE mantém a complexidade de tempo $O(n^2)$ por iteração do t-SNE padrão devido às interações pares densas, embora os autores observem que técnicas de aceleração existentes (por exemplo, Barnes-Hut) poderiam ser aplicadas.

Significado e Alegações
O artigo alega que o DR-SNE oferece uma "extensão simples e principiante" ao framework de vizinhos estocásticos que aborda uma limitação fundamental de ferramentas de visualização amplamente utilizadas. Ao incorporar explicitamente informações de densidade, o DR-SNE fornece uma representação mais fiel da distribuição subjacente dos dados, particularmente em conjuntos de dados híbridos contendo tanto clusters discretos quanto variações contínuas (por exemplo, dados de RNA-seq de células únicas).

Os autores enfatizam que seu trabalho sugere que a redução de dimensionalidade deve ser vista não meramente como um problema geométrico, mas como o alinhamento de componentes complementares da distribuição de dados. Eles argumentam que, embora métodos focados em geometria permaneçam preferíveis para configurações puramente clusterizadas ou dominadas por variedades, embeddings que preservam densidade são críticos para análise estatística, detecção de anomalias e tarefas onde a densidade relativa dos pontos de dados carrega informações significativas. O método fornece um compromisso controlável, permitindo que os praticantes ajustem o embedding com base no regime estrutural específico de seus dados.