Na vasta paisagem da ciência de dados moderna, existe uma crença persistente de que quanto mais complexa é uma ferramenta, melhor ela deve ser em encontrar padrões ocultos. Essa ideia impulsionou o surgimento do agrupamento profundo (deep clustering), uma técnica que utiliza redes neurais poderosas para agrupar pontos de dados. Durante anos, pesquisadores assumiram que esses sistemas sofisticados, que aprendem a comprimir informações em novas formas simplificadas, são superiores aos métodos mais antigos e simples. O objetivo é sempre o mesmo: classificar uma mistura caótica de dados em grupos distintos, sejam eles clientes com hábitos semelhantes, genes com funções semelhantes ou pixels que formam um objeto reconhecível. A sabedoria predominante sugere que, para encontrar grupos que sejam irregulares em forma, variem muito em tamanho ou tenham diferentes níveis de densidade, deve-se usar esses sistemas avançados de aprendizado profundo.

No entanto, uma nova investigação desafia essa suposição de longa data. Os pesquisadores descobriram que a própria complexidade do agrupamento profundo pode estar obscurecendo uma verdade mais simples. Eles descobriram que esses sistemas avançados frequentemente falham em atingir seu próprio objetivo pretendido: identificar agrupamentos de qualquer forma, tamanho ou densidade. Em vez disso, eles tendem a recair nas mesmas limitações rígidas dos métodos mais antigos e simples, forçando os dados a formas esféricas organizadas que não refletem a realidade. O estudo revela que a solução não requer computadores mais poderosos ou redes mais profundas. Ao tratar um grupo de dados não como uma coleção de pontos individuais a serem comparados, mas como uma única distribuição de probabilidade, uma abordagem muito mais simples pode ter sucesso onde o aprendizado profundo falha. Esta abordagem, que se baseia em uma lógica matemática direta em vez de um treinamento complexo, pode descobrir a verdadeira estrutura dos dados sem a necessidade de aprender uma representação oculta primeiro.

Os pesquisadores começaram questionando a definição fundamental do que é, de fato, um agrupamento (cluster). Por décadas, a definição padrão tem sido encontrar grupos onde os pontos dentro deles são semelhantes entre si e diferentes dos pontos fora deles. Essa definição depende da medição da distância entre cada par de pontos. O problema, como apontam os autores, é que essa abordagem força o algoritmo a procurar grupos redondos e uniformemente espaçados, de forma muito semelhante a tentar encaixar um quadrado em um buraco redondo. Mesmo quando sistemas de aprendizado profundo são usados para transformar os dados em um novo espaço, eles frequentemente acabam recriando essas mesmas formas redondas e rígidas. O estudo testou isso alimentando sistemas de agrupamento profundo com dados que formavam formatos de crescente, grupos de tamanhos vastamente diferentes e agrupamentos com densidades variáveis. Os resultados foram claros: os métodos de aprendizado profundo, incluindo o famoso Deep Embedded Clustering e suas versões melhoradas, falharam em reconhecer essas estruturas complexas. Eles produziram resultados que não foram melhores do que os métodos básicos não profundos que deveriam superar.

A questão central reside em como esses sistemas são projetados. Eles tentam aprender uma nova maneira de ver os dados, uma "representação latente", esperando que essa nova visão torne os agrupamentos fáceis de separar. Os pesquisadores argumentam que esse processo de aprendizado é o gargalo. Os sistemas são treinados para minimizar a distância entre os pontos e um centro central, um método que inerentemente favorece formas arredondadas. Não importa o quanto os dados sejam transformados, o sistema não consegue escapar das restrições geométricas de seu próprio design. O estudo mostra que os modelos de aprendizado profundo não aprendem de fato uma representação que lhes permita ver as formas verdadeiras e irregulares dos dados. Em vez disso, eles permanecem presos em um ciclo de tentativa de forçar dados complexos em moldes esféricos simples.

Em contraste, os pesquisadores propõem uma maneira diferente de pensar o problema, que chamam de "Agrupamento-como-Distribuição" (Cluster-as-Distribution). Em vez de perguntar o quão semelhante um ponto é a outro, este método pergunta se um grupo de pontos se comporta como uma única distribuição estatística. Imagine uma nuvem de pontos de dados; em vez de medir a distância entre cada par de pontos, esta abordagem observa a forma e a dispersão de toda a nuvem como um todo. Ao usar uma ferramenta matemática que mede a similaridade entre essas nuvens inteiras, o método pode identificar grupos de qualquer forma, tamanho ou densidade sem a necessidade de aprender uma nova maneira de ver os dados. Esta abordagem não requer o treinamento de uma rede neural ou a busca por uma representação oculta. Ela simplesmente observa os dados como eles são e os agrupa com base na distribuição subjacente dos pontos.

A evidência para este método mais simples é convincente. Quando testado nos mesmos conjuntos de dados difíceis onde o aprendizado profundo falhou, esta abordagem baseada em distribuição identificou com sucesso as formas, tamanhos e densidades complexas. Funcionou em dados sintéticos projetados para enganar os algoritmos e também teve um desempenho excepcional em dados reais de alta dimensão, como imagens e dados biológicos de expressão gênica. Em muitos casos, superou significamente os métodos de aprendizado profundo. Por exemplo, em um conjunto de dados de expressão gênica de célula única com milhares de dimensões, os métodos de aprendizado profundo lutaram para encontrar qualquer estrutura significativa, enquanto o método baseado em distribuição encontrou grupos claros e precisos. Os pesquisadores descobriram que os métodos de aprendizado profundo não eram apenas ligeiramente piores; eles eram fundamentalmente incapazes de atingir o objetivo para o qual foram projetados porque ignoravam a informação distributiva inerente aos dados.

O estudo também examinou se o aprendizado profundo ainda poderia ter uma vantagem em espaços de alta dimensão, um argumento comum para seu uso. Os resultados mostraram que, mesmo nesses cenários complexos e de alta dimensão, o método baseado em distribuição manteve-se firme, muitas vezes superando as abordagens de aprendimento profundo. Os sistemas de aprendizado profundo não mostraram um avanço de desempenho; na verdade, frequentemente colapsaram, produzindo resultados que foram piores do que os métodos de linha de base mais simples. Os pesquisadores concluíram que a crença de que o aprendizado profundo é necessário para o agrupamento de dados complexos é um equívoco. A capacidade de encontrar formas e densidades arbitrárias não vem da complexidade do modelo, mas da definição correta do que é um agrupamento.

Este trabalho sugere uma mudança na forma como a área deve abordar o agrupamento. Os pesquisadores argumentam que o foco deve mudar de tentar aprender melhores representações para o uso da informação distributiva que já está presente nos dados. Eles propõem que a definição de agrupamento deve ser atualizada para refletir que um agrupamento é um conjunto de pontos extraídos de uma distribuição específica, em vez de apenas um conjunto de pontos semelhantes. Essa mudança de perspectiva permite um método que é não apenas mais preciso, mas também mais rápido e fácil de entender. O estudo demonstra que o objetivo pretendido do agrupamento profundo — encontrar grupos de qualquer forma, tamanho e densidade — pode ser alcançado agora, sem aprendizado profundo, simplesmente respeitando a natureza estatística dos dados. As descobertas desafiam a dependência da indústria em relação a redes neurais complexas para tarefas não supervisionadas e sugerem que, às vezes, a ferramenta mais eficaz é aquela que olha para os dados exatamente como eles são, sem tentar mudá-los primeiro.