En el vasto panorama de la ciencia de datos moderna, existe la creencia persistente de que cuanto más complejo es un instrumento, mejor debe ser para encontrar patrones ocultos. Esta idea ha impulsado el auge del agrupamiento profundo (deep clustering), una técnica que utiliza potentes redes neuronales para agrupar puntos de datos. Durante años, los investigadores han asumido que estos sistemas sofisticados, que aprenden a comprimir la información en formas nuevas y simplificadas, son superiores a los métodos más antiguos y sencillos. El objetivo es siempre el mismo: clasificar una mezcla caótica de datos en grupos distintos, ya sean clientes con hábitos similares, genes con funciones similares o píxeles que forman un objeto reconocible. La sabiduría predominante sugiere que, para encontrar grupos que sean irregulares en su forma, varíen mucho en tamaño o tengan diferentes niveles de densidad, se deben utilizar estos avanzados sistemas de aprendizaje profundo.

Sin embargo, una nueva investigación desafía esta creencia largamente sostenida. Los investigadores han descubierto que la propia complejidad del agrupamiento profundo puede estar ocultando una verdad más simple. Hallaron que estos sistemas avanzados a menudo no logran alcanzar su propio objetivo previsto: identificar cúmulos de cualquier forma, tamaño o densidad. En su lugar, tienden a recaer en las mismas limitaciones rígidas de los métodos más antiguos y simples, forzando los datos hacia formas esféricas y ordenadas que no reflejan la realidad. El estudio revela que la solución no requiere computadoras más potentes o redes más profundas. Al tratar un grupo de datos no como una colección de puntos individuales para ser comparados, sino como una única distribución de probabilidad, un enfoque mucho más simple puede tener éxito donde el aprendizaje profundo tiene dificultades. Este enfoque, que se basa en una lógica matemática directa en lugar de un entrenamiento complejo, puede descubrir la verdadera estructura de los datos sin necesidad de aprender primero una representación oculta.

Los investigadores comenzaron cuestionando la definición fundamental de lo que es realmente un cúmulo. Durante décadas, la definición estándar ha sido encontrar grupos donde los puntos en su interior sean similares entre sí y diferentes de los puntos exteriores. Esta definición depende de medir la distancia entre cada par de puntos. El problema, como señalan los autores, es que este enfoque obliga al algoritmo a buscar grupos redondos y uniformemente espaciados, de forma muy parecida a intentar encajar una pieza cuadrada en un agujero redondo. Incluso cuando se utilizan sistemas de aprendizaje profundo para transformar los datos en un nuevo espacio, a menudo terminan recreando estas mismas formas redondas y rígidas. El estudio probó esto alimentando los sistemas de agrupamiento profundo con datos que formaban formas de media luna, grupos de tamaños muy distintos y cúmulos con densidades variables. Los resultados fueron claros: los métodos de aprendizaje profundo, incluyendo el famoso Deep Embedded Clustering y sus versiones mejoradas, no lograron reconocer estas estructuras complejas. Produjeron resultados que no fueron mejores que los de los métodos básicos no profundos que supuestamente debían superar.

El problema central reside en cómo están diseñados estos sistemas. Intentan aprender una nueva forma de ver los datos, una "representación latente", con la esperanza de que esta nueva visión haga que los cúmulos sean fáciles de separar. Los investigadores argumentan que este proceso de aprendizaje es el cuello de botella. Los sistemas están entrenados para minimizar la distancia entre los puntos y un centro central, un método que favorece intrínsecamente las formas redondeadas. No importa cuánto se transformen los datos, el sistema no puede escapar de las restricciones geométricas de su propio diseño. El estudio muestra que los modelos de aprendizaje profundo no aprenden realmente una representación que les permita ver las formas verdaderas e irregulares de los datos. En cambio, permanecen atrapados en un ciclo de intentar forzar datos complejos en moldes esféricos simples.

En contraste, los investigadores proponen una forma diferente de abordar el problema, que llaman "Cúmulo como Distribución" (Cluster-as-Distribution). En lugar de preguntar qué tan similar es un punto a otro, este método pregunta si un grupo de puntos se comporta como una única distribución estadística. Imagine una nube de puntos de datos; en lugar de medir la distancia entre cada par de puntos, este enfoque observa la forma y la dispersión de toda la nube en su conjunto. Al utilizar una herramienta matemática que mide la similitud entre estas nubes completas, el método puede identificar grupos de cualquier forma, tamaño o densidad sin necesidad de aprender una nueva forma de ver los datos. Este enfoque no requiere el entrenamiento de una red neuronal ni la búsqueda de una representación oculta. Simplemente observa los datos tal como son y los agrupa basándose en la distribución subyacente de los puntos.

La evidencia de este método más simple es convincente. Cuando se probó en los mismos conjuntos de datos difíciles donde el aprendizaje profundo falló, este enfoque basado en la distribución identificó con éxito las formas, tamaños y densidades complejas. Funcionó con datos sintéticos diseñados para engañar a los algoritmos, y también tuvo un desempeño excepcional en datos reales de alta dimensión, como imágenes y datos biológicos de expresión génica. En muchos casos, superó significativamente a los métodos de aprendizaje profundo. Por ejemplo, en un conjunto de datos de expresión génica de célula única con miles de dimensiones, los métodos de aprendizaje profundo tuvieron dificultades para encontrar cualquier estructura significativa, mientras que el método basado en la distribución encontró grupos claros y precisos. Los investigadores descubrieron que los métodos de aprendizaje profundo no eran solo ligeramente peores; eran fundamentalmente incapaces de lograr el objetivo para el que fueron diseñados porque ignoraban la información de distribución inherente a los datos.

El estudio también examinó si el aprendizaje profundo podría seguir teniendo una ventaja en espacios de alta dimensión, un argumento común para su uso. Los resultados mostraron que, incluso en estos escenarios complejos y de alta dimensión, el método basado en la distribución se mantuvo firme, superando a menudo los enfoques de aprendizaje profundo. Los sistemas de aprendizaje profundo no mostraron un avance en el rendimiento; de hecho, a menudo colapsaron, produciendo resultados que eran peores que los de los métodos base más simples. Los investigadores concluyeron que la creencia de que el aprendizaje profundo es necesario para el agrupamiento de datos complejos es un error conceptual. La capacidad de encontrar formas y densidades arbitrarias no proviene de la complejidad del modelo, sino de la definición correcta de lo que es un cúmulo.

Este trabajo sugiere un cambio en la forma en que el campo debe abordar el agrupamiento. Los investigadores argumentan que el enfoque debe alejarse de intentar aprender mejores representaciones y dirigirse hacia el uso de la información de distribución que ya está presente en los datos. Proponen que la definición de agrupamiento debe actualizarse para reflejar que un cúmulo es un conjunto de puntos extraídos de una distribución específica, en lugar de ser solo un conjunto de puntos similares. Este cambio de perspectiva permite un método que no solo es más preciso, sino también más rápido y fácil de entender. El estudio demuestra que el objetivo previsto del agrupamiento profundo —encontrar grupos de cualquier forma, tamaño y densidad— puede lograrse ahora, sin aprendizaje profundo, simplemente respetando la naturaleza estadística de los datos. Los hallazgos desafían la dependencia de la industria en las redes neuronales complejas para tareas no supervisadas y sugieren que, a veces, la herramienta más eficaz es aquella que observa los datos exactamente como son, sin intentar cambiarlos primero.