🤖 machine learning

Why Can't I See My Clusters? A Precision-Recall Approach to Dimensionality Reduction Validation

Este artigo introduz métricas de precisão e revocação para avaliar a fase de relação da redução de dimensionalidade, permitindo que os usuários diagnostiquem por que as estruturas de agrupamento esperadas falham em aparecer em projeções e, assim, orientando um ajuste de hiperparâmetros e detecção de artefatos mais eficientes.

Autores originais: Diede P. M. van der Hoorn, Alessio Arleo, Fernando V. Paulovich

Publicado 2026-08-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Diede P. M. van der Hoorn, Alessio Arleo, Fernando V. Paulovich

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar compreender uma cidade vasta e invisível olhando para um único mapa plano. A cidade possui milhões de ruas, edifícios e conexões, mas o seu mapa só consegue mostrar duas dimensões. Esta é a dificuldade diária dos cientistas que trabalham com dados complexos. Eles frequentemente utilizam uma técnica de redução de dimensionalidade para esmagar informações de alta dimensão — onde cada ponto de dados pode ter centenas de características — em uma imagem simples de duas dimensões que os humanos realmente consigam ver. O objetivo é geralmente identificar padrões, como grupos de itens semelhantes se agrupando. Mas, às vezes, o mapa falha. Os grupos esperados não aparecem, ou parecem misturados e fragmentados. Quando isso acontece, os pesquisadores são deixados com uma pergunta frustrante: os dados em si são bagunçados e não estruturados, ou o método usado para criar o mapa simplesmente falhou em mostrar a verdade?

Durante anos, as ferramentas disponíveis para responder a esta questão foram limitadas. Métodos existentes podiam dizer o quão bem um mapa preservava distâncias ou o quão organizados pareciam os agrupamentos, mas não conseguiam explicar o porquê de um grupo estar ausente. Eles tratavam todo o processo como uma caixa preta, não oferecendo uma forma de distinguir entre um mapa ruim e um território bagunçado. Uma equipe de pesquisadores introduziu agora uma nova maneira de olhar para este problema. Em vez de julgar a imagem final, eles decidiram inspecionar a planta usada para desenhá-la. Ao separar o processo de modelagem de relações do ato de desenhar o mapa, eles criaram uma forma de medir se a verdadeira estrutura dos dados foi capturada antes mesmo da imagem final ser feita.

Os pesquisadores focaram em dois métodos populares para a criação destes mapas, conhecidos como t-SNE e UMAP. Ambos funcionam primeiro construindo uma rede de conexões entre os pontos de dados com base em quão semelhantes eles são, e depois usando essa rede para posicionar os pontos em uma superfície plana. A equipe percebeu que, se o mapa final for confuso, o problema pode residir nessa rede inicial de conexões. Para testar isso, eles emprestaram dois conceitos do mundo da recuperação de informação, onde sistemas são julgados pela eficiência com que encontram informações relevantes. Eles adaptaram estas ideias em duas novas métricas: precisão e revocação (recall). Neste contexto, a precisão faz uma pergunta simples: "De todos os pontos que este método decidiu conectar, quantos realmente pertencem ao mesmo grupo?". Se a resposta for alta, as conexões são puras. A revocação faz o oposto: "De todos os pontos que deveriam estar conectados para formar um grupo, quantos o método realmente ligou?". Se a resposta for alta, o grupo está completo.

Ao aplicar estas duas medidas à rede de conexões antes do desenho do mapa, os pesquisadores puderam diagnosticar o problema com uma clareza surpreendente. Eles descobriram que, se a própria rede for falha, nenhum ajuste no mapa final irá corrigi-la. Por exemplo, num teste utilizando um conjunto de dados de fibras cerebrais, descobriram que as configurações padrão da ferramenta de mapeamento estavam criando uma rede onde os diferentes grupos mal se conectavam. As novas métricas mostraram que as conexões eram demasiado esparsas para formar agrupamentos sólidos, explicando por que o mapa final parecia fragmentado. Em outro cenário, descobriram que um grupo de pontos de dados estava sendo dividido no mapa final, não porque os dados estivessem quebrados, mas porque o processo de mapeamento acidentalmente os empurrou para longe. As métricas revelaram que as conexões subjacentes eram, na verdade, fortes e corretas, apontando o dedo diretamente para a fase de desenho, e não para os dados em si.

Esta abordagem também ajudou a resolver uma dor de cabeça comum para os cientistas: escolher as configurações certas para estas ferramentas. Estes métodos exigem que os usuários escolham um "tamanho de vizinhança", uma configuração que determina quantos vizinhos cada ponto considera ao construir sua rede. Muito pequeno, e os grupos se desfazem; muito grande, e tudo se funde em uma única massa. Os pesquisadores mostraram que, ao usar suas novas métias para escanear diferentes configurações, podiam encontrar o "ponto ideal" onde a rede melhor refletia os grupos reais nos dados, sem nunca precisar gerar o mapa visual final. Isso economiza tempo e remove a incerteza. Num teste com um conjunto de dados de gravações de atividade humana, eles usaram as métricas para perceber que as seis categorias rotuladas nos dados não formavam, de fato, seis grupos distintos na estrutura subjacente. As métricas revelaram que os dados naturalmente formavam apenas três grupos, um fato que estava oculto quando se olhava apenas para as imagens finais.

O trabalho sugere que a ausência de um agrupamento claro em uma visualização nem sempre é uma falha dos dados ou da ferramenta, mas frequentemente um descompasso entre ambos. Ao verificar a qualidade das relações primeiro, os cientistas podem agora distinguir se estão olhando para um mapa quebrado ou um território quebrado. Os pesquisadores demonstraram que estas novas medidas podem guiar o ajuste de parâmetros, revelar erros ocultos no processo de desenho e até mesmo revelar quando as categorias esperadas simplesmente não existem nos dados. Embora o método exija uma interpretação cuidadosa dos números, ele oferece uma camada de clareza necessária em um campo onde a intuição visual costuma ditar o caminho. Ele transforma o processo de dar sentido a dados complexos de um jogo de tentativa e erro em uma investigação mais confiável e passo a passo.

Resumo Técnico: Uma Abordagem de Precisão-Recall para Validação de Redução de Dimensionalidade

Declaração do Problema
A Redução de Dimensionalidade (DR) é amplamente empregada para visualizar dados de alta dimensão, frequentemente com a expectativa de que as projeções resultantes revelem estruturas de agrupamento específicas correspondentes a rótulos de classe conhecidos ou resultados de agrupamento prévios. No entanto, essas estruturas esperadas frequentemente falham em aparecer nas projeções. As métricas de qualidade de DR existentes, como estresse (stress), confiabilidade (trustworthiness) e continuidade (continuity), são majoritariamente não supervisionadas e avaliam a fidelidade geral da projeção ou a qualidade dos agrupamentos resultantes. Consequentemente, elas não conseguem explicar por que as estruturas esperadas estão ausentes. Além disso, métricas supervisionadas como o coeficiente de silhueta (silhouette score) ou a confiabilidade de rótulo (label-trustworthiness) falham em distinguir se a ausência de agrupamentos se deve a uma falta de estrutura inerente nos dados ou a uma falha na parametrização da técnica de DR. Embora existam ferramentas de Análise Visual para investigar esses problemas, o vasto espaço de hiperparâmetros de técnicas como t-SNE e UMAP torna o processo de ajuste e validação manuais demorado e tedioso.

Metodologia
Os autores propõem um novo framework de validação que aproveita uma decomposição recente do processo de DR em duas fases distintas: a fase de relacionamento (modelagem de relações de similaridade) e a fase de mapeamento (projeção dos dados no espaço visual). A hipótese central é que, se os relacionamentos modelados não capturarem a estrutura esperada, nenhum mapeamento subsequente poderá recuperá-la.

Para avaliar a fase de relacionamento, o artigo introduz duas métricas supervisionadas inspiradas na recuperação de informação: Precisão e Recall. Estas métricas utilizam um conjunto de referência de rótulos de classe para avaliar a qualidade dos relacionamentos modelados (representados como um grafo ponderado $G = (V, E, \Omega)$ ) antes que a fase de mapeamento seja executada.

Precisão: Mede a extensão em que um ponto de dado está conectado apenas a outros pontos que compartilham o mesmo rótulo. É calculada como a soma ponderada das arestas que conectam vértices com o mesmo rótulo (Verdadeiros Positivos) dividida pelo peso total de todas as arestas conectadas àquele vértice (Verdadeiros Positivos + Falsos Positivos). Uma alta precisão indica que os relacionamentos não conectam erroneamente classes diferentes.
Recall: Mede a extensão em que um ponto de dado está conectado a todos os outros pontos que compartilham o mesmo rótulo. Os autores propõem duas definições para Falsos Negativos (conexões perdidas):
- Estrita (Limite Superior): Arestas diretas perdidas para todos os vértices do mesmo rótulo.
- Relaxada (Limite Inferior): Conexões perdidas com vértices no mesmo componente conectado (existem caminhos através de vértices do mesmo rótulo).
- Um parâmetro $\alpha \in [0, 1]$ equilibra essas definições, permitindo que o usuário ajuste a métrica com base na coesão de agrupamento desejada.
F-Score: Uma média harmônica de precisão e recall é utilizada para fornecer uma métrica única de otimização, particularmente para o ajuste de hiperparâmetros como a perplexidade (t-SNE) ou o número de vizinhos (UMAP).

Os autores utilizam a Otimização Bayesiana para buscar valores de hiperparâmetros que maximizem o F-score global, identificando assim parâmetros de relacionamento que melhor refletem a estrutura de agrupamento esperada sem a necessidade de gerar a projeção visual final.

Principais Contribuições e Resultados
O artigo valida esta abordagem através de quatro cenários de uso envolvendo t-SNE e UMAP:

Impacto da Perplexidade no t-SNE: As métricas demonstram com sucesso que a perplexidade afeta significativamente o equilíbrio entre precisão e recall. Uma perplexidade baixa resulta em alta precisão, mas baixo recall (agrupamentos fragmentados), enquanto uma perplexidade alta aumenta o recall, mas diminui a precisão (fusão de classes distintas). O F-score ajuda a identificar uma faixa ideal onde os agrupamentos são simultaneamente coesos e separados.
Estimativa de Hiperparâmetros: Em um conjunto de dados de fibras com 8 classes, a perplexidade padrão (30) resultou em agrupamentos fragmentados. O método proposto identificou uma perplexidade mais alta (606) que conectou melhor as classes. Uma análise posterior revelou que diferentes classes exigiam diferentes valores de perplexidade para alcançar a conectividade, destacando propriedades estruturais específicas de cada conjunto de dados.
Detecção de Artefatos de Projeção: Utilizando UMAP em um conjunto de dados de tratos de fibras, os autores mostraram que, embora o grafo de relacionamento indicasse alto recall para uma classe específica (implicando que deveria ser um único componente conectado), a projeção visual mostrou que ela era dividida por outra classe. As métricas identificaram essa discrepância como um artefato de mapeamento, e não uma limitação dos dados. Inversamente, as métricas confirmaram que a proximidade de duas outras classes era uma característica genuína dos relacionamentos, e não um artefato.
Validação de Suposições de Rótulo-Agrupamento: Aplicado ao conjunto de dados de Reconhecimento de Atividade Humana (HAR), as métricas revelaram que os seis rótulos de classe não correspondiam a seis agrupamentos distintos no espaço de dados. Em vez disso, as pontuações de precisão e recall sugeriram uma estrutura de três agrupamentos. A reavaliação dos dados com estes novos rótulos de agrupamento (derivados via Modelagem de Mistura Gaussiana) melhorou significamente as pontuações de precisão, demonstrando a utilidade das métricas para verificar se os rótulos se alinham com a estrutura subjacente dos dados.

Significância e Alegações
Os autores alegam que sua abordagem oferece uma melhoria significativa na compreensão das falhas de DR ao desacoplar a avaliação dos relacionamentos modelados da projeção visual.

Capacidade Diagnóstica: Ao contrário das métricas existentes, estas ferramentas podem determinar se a ausência de agrupamentos é causada pelos próprios dados (os relacionamentos não suportam a estrutura) ou pela técnica/mapeamento de DR (os relacionamentos existem, mas são distorcidos na projeção).
Eficiência: Ao avaliar diretamente a fase de relacionamento, o método permite o ajuste de hiperparâmetros e a detecção de artefatos sem o custo computacional de gerar múltiplas projeções visuais.
Interpretabilidade: As métricas fornecem insights quantitativos intuitivos sobre a separação de agrupamentos (precisão) e coesão (recall), oferecendo uma explicação mais clara para "Por que não consigo ver meus agrupamentos?" em comparação com métricas abstratas como o estresse.
Limitações: Os autores observam que as métricas não consideram diretamente o agrupamento perceptivo ou as distorções específicas da fase de mapeamento, e que a interpretação dos parâmetros $\alpha$ e $\beta$ requer o julgamento do usuário com base nos objetivos analíticos. Eles também reconhecem que, embora a abordagem seja escalável em princípio, seu comportamento em conjuntos de dados muito grandes requer investigação adicional.

Em resumo, o artigo apresenta um framework para guiar o ajuste de hiperparâmetros, descobrir artefatos de projeção e validar a validade das estruturas de agrupamento esperadas, tornando o processo de DR mais rápido e confiável.

Resumo Técnico: Uma Abordagem de Precisão-Recall para Validação de Redução de Dimensionalidade

Mais como este