Dans le vaste paysage de la science des données moderne, il existe une croyance persistante selon laquelle plus un outil est complexe, meilleur il est pour trouver des motifs cachés. Cette idée a alimenté l'essor du regroupement profond (deep clustering), une technique qui utilise de puissants réseaux de neurones pour regrouper des points de données. Pendant des années, les chercheurs ont supposé que ces systèmes sophistiqués, qui apprennent à compresser l'information en de nouvelles formes simplifiées, sont supérieurs aux méthodes plus anciennes et plus simples. L'objectif est toujours le même : trier un mélange chaotique de données en groupes distincts, qu'il s'agisse de clients ayant des habitudes similaires, de gènes ayant des fonctions similaires ou de pixels formant un objet reconnaissable. La sagesse dominante suggère que pour trouver des groupes de formes irrégulières, de tailles très variables ou de densités différentes, il faut utiliser ces systèmes d'apprentissage profond avancés.

Cependant, une nouvelle enquête remet en question cette supposition de longue date. Les chercheurs ont découvert que la complexité même du regroupement profond peut occulter une vérité plus simple. Ils ont constaté que ces systèmes avancés échouent souvent à atteindre leur propre objectif visé : identifier des grappes de n'importe quelle forme, taille ou densité. Au lieu de cela, ils ont tendance à retomber sur les mêmes limitations rigides que les méthodes les plus anciennes et les plus simples, forçant les données dans des formes sphériques nettes qui ne reflètent pas la réalité. L'étude révèle que la solution ne nécessite pas d'ordinateurs plus puissants ou de réseaux plus profonds. En traitant un groupe de données non pas comme une collection de points individuels à comparer, mais comme une distribution de probabilité unique, une approche beaucoup plus simple peut réussir là où l'apprentissage profond échoue. Cette approche, qui repose sur une logique mathématique directe plutôt que sur un entraînement complexe, peut découvrir la véritable structure des données sans avoir besoin d'apprendre une représentation cachée au préalable.

Les chercheurs ont commencé par remettre en question la définition fondamentale de ce qu'est réellement un groupe (cluster). Pendant des décennies, la définition standard a été de trouver des groupes où les points à l'intérieur sont similaires entre eux et différents des points à l'extérieur. Cette définition repose sur la mesure de la distance entre chaque paire de points. Le problème, comme le soulignent les auteurs, est que cette approche force l'algorithme à chercher des groupes ronds et uniformément espacés, un peu comme essayer de faire entrer un carré dans un trou rond. Même lorsque des systèmes d'apprentissage profond sont utilisés pour transformer les données dans un nouvel espace, ils finissent souvent par recréer ces mêmes formes rondes et rigides. L'étude a testé cela en injectant dans les systèmes de regroupement profond des données formant des formes de croissants, des groupes de tailles très différentes et des grappes avec des densités variables. Les résultats ont été clairs : les méthodes d'apprentissage profond, y compris le célèbre Deep Embedded Clustering et ses versions améliorées, n'ont pas réussi à reconnaître ces structures complexes. Elles ont produit des résultats qui n'étaient pas meilleurs que ceux des méthodes de base non profondes qu'elles étaient censées surpasser.

Le problème central réside dans la conception de ces systèmes. Ils tentent d'apprendre une nouvelle façon de voir les données, une « représentation latente », en espérant que cette nouvelle vue rendra les grappes faciles à séparer. Les chercheurs soutiennent que ce processus d'apprentissage est le goulot d'étranglement. Les systèmes sont entraînés pour minimiser la distance entre les points et un centre central, une méthode qui favorise intrinsèquement les formes rondes. Peu importe la façon dont les données sont transformées, le système ne peut échapper aux contraintes géométriques de sa propre conception. L'étude montre que les modèles d'apprentissage profond ne parviennent pas réellement à apprendre une représentation qui leur permettrait de voir les véritables formes irrégulières des données. Au lieu de cela, ils restent piégés dans un cycle de tentative de forcer des données complexes dans des moules sphériques simples.

En revanche, les chercheurs proposent une autre façon de concevoir le problème, qu'ils appellent « Cluster-as-Distribution » (le groupe en tant que distribution). Au lieu de demander à quel point un point est similaire à un autre, cette méthode demande si un groupe de points se comporte comme une distribution statistique unique. Imaginez un nuage de points de données ; plutôt que de mesurer la distance entre chaque paire de points, cette approche examine la forme et la dispersion de l'ensemble du nuage dans sa globalité. En utilisant un outil mathématique qui mesure la similitude entre ces nuages entiers, la méthode peut identifier des groupes de n'importe quelle forme, taille ou densité sans avoir besoin d'apprendre une nouvelle façon de voir les données. Cette approche ne nécessite pas l'entraînement d'un réseau neuronal ou la recherche d'une représentation cachée. Elle examine simplement les données telles qu'elles sont et les regroupe en fonction de la distribution sous-jacente des points.

Les preuves en faveur de cette méthode plus simple sont convaincantes. Testée sur les mêmes ensembles de données difficiles où l'apprentissage profond a échoué, cette approche basée sur la distribution a identifié avec succès les formes, tailles et densités complexes. Elle a fonctionné sur des données synthétiques conçues pour tromper les algorithmes, et elle a également obtenu des performances exceptionnelles sur des données réelles de haute dimension, telles que des images et des données biologiques de gènes. Dans de nombreux cas, elle a surpassé les méthodes d'apprentissage profond de manière significative. Par exemple, sur un ensemble de données d'expression génique de cellule unique possédant des milliers de dimensions, les méthodes d'apprentissage profond ont eu du mal à trouver une structure significative, tandis que la méthode basée sur la distribution a trouvé des groupes clairs et précis. Les chercheurs ont constaté que les méthodes d'apprentissage profond n'étaient pas seulement légèrement moins bonnes ; elles étaient fondamentalement incapables d'atteindre l'objectif pour lequel elles ont été conçues car elles ignoraient l'information distributionnelle inhérente aux données.

L'étude a également examiné si l'apprentissage profond pouvait toujours conserver un avantage dans les espaces de haute dimension, un argument courant pour son utilisation. Les résultats ont montré que même dans ces scénarios complexes et de haute dimension, la méthode basée sur la distribution se maintenait, surpassant souvent les approches d'apprentissage profond. Les systèmes d'apprentissage profond n'ont pas montré de percée de performance ; en fait, ils se sont souvent effondrés, produisant des résultats moins bons que les méthodes de référence les plus simples. Les chercheurs ont conclu que la croyance selon laquelle l'apprentissage profond est nécessaire pour le regroupement de données complexes est une méprise. La capacité à trouver des formes et des densités arbitraires ne provient pas de la complexité du modèle, mais de la définition correcte de ce qu'est un groupe.

Ce travail suggère un changement dans la manière dont le domaine doit aborder le regroupement. Les chercheurs soutiennent que l'accent devrait passer de la tentative d'apprendre de meilleures représentations vers l'utilisation de l'information distributionnelle déjà présente dans les données. Ils proposent que la définition du regroupement soit mise à jour pour refléter qu'un groupe est un ensemble de points tirés d'une distribution spécifique, plutôt que simplement un ensemble de points similaires. Ce changement de perspective permet une méthode qui est non seulement plus précise, mais aussi plus rapide et plus facile à comprendre. L'étude démontre que l'objectif prévu du regroupement profond — trouver des groupes de n'importe quelle forme, taille et densité — peut être atteint désormais, sans apprentissage profond, en respectant simplement la nature statistique des données. Les conclusions remettent en question la dépendance de l'industrie envers les réseaux neuronaux complexes pour les tâches non supervisées et suggèrent que, parfois, l'outil le plus efficace est celui qui regarde les données exactement telles qu'elles sont, sans essayer de les changer d'abord.