In het uitgestrekte landschap van de moderne data science bestaat een hardnekkig geloof dat hoe complexer een instrument is, hoe beter het moet zijn in het vinden van verborgen patronen. Dit idee heeft de opkomst van deep clustering gedreven, een techniek die krachtige neurale netwerken gebruikt om datapunten bij elkaar te groeperen. Jarenlang hebben onderzoekers ervan uitgegaan dat deze geavanceerde systemen, die leren informatie te comprimeren tot nieuwe, vereenvoudigde vormen, superieur zijn aan oudere, eenvoudigere methoden. Het doel is altijd hetzelfde: om een chaotische mix van data te sorteren in duidelijke groepen, of dat nu klanten met vergelijkbare gewoonten zijn, genen met vergelijkbare functies, of pixels die een herkenbaar object vormen. De heersende wijsheid suggereert dat men deze geavanceerde deep learning-systemen moet gebruiken om groepen te vinden die onregelmatig van vorm zijn, sterk variëren in grootte of verschillende niveaus van dichtheid hebben.

Echter, een nieuw onderzoek daagt dit langgekoesterde uitgangspunt uit. Onderzoekers hebben ontdekt dat de complexiteit van deep clustering zelf de eenvoudigere waarheid kan verhullen. Ze ontdekten dat deze geavanceerde systemen vaak niet in staat zijn hun eigen beoogde doel te bereiken: het identificeren van clusters van elke vorm, grootte of dichtheid. In plaats daarvan neigen ze terug te vallen op dezelfde rigide beperkingen als de oudste, eenvoudigste methoden, waarbij ze data in nette, bolvormige vormen dwingen die de werkelijkheid niet weerspiegelen. De studie onthult dat de oplossing geen krachtigere computers of diepere netwerken vereist. Door een groep data niet te behandelen als een verzameling individuele punten die met elkaar vergeleken moeten worden, maar als een enkele waarschijnlijkheidsverdeling, kan een veel eenvoudigere aanpak slagen waar deep learning faalt. Deze aanpak, die steunt op eenvoudige wiskundige logica in plaats van complexe training, kan de ware structuur van data onthullen zonder eerst een verborgen representatie te hoeven leren.

De onderzoekers begonnen door de fundamentele definitie van wat een cluster eigenlijk is, in twijfel te trekken. Decennialang is de standaarddefinitie geweest om groepen te vinden waarbij de punten binnen de groep op elkaar lijken en verschillen van de punten buiten de groep. Deze definitie berust op het meten van de afstand tussen elk paar punten. Het probleem is, zoals de auteurs opmerken, dat deze aanpak het algoritme dwingt om te zoeken naar ronde, gelijkmatig verdeelde groepen, vergelijkbaar met het proberen te passen van een vierkante pen in een rond gat. Zelfs wanneer deep learning-systemen worden gebruikt om de data te transformeren naar een nieuwe ruimte, eindigen ze vaak met het reproduceren van dezezelfde ronde, rigide vormen. De studie testte dit door deep clustering-systemen data te voeden die halvemaanvormen vormden, groepen van zeer verschillende groottes en clusters met variërende dichtheden. De resultaten waren duidelijk: de deep learning-methoden, inclusief de beroemde Deep Embedded Clustering en de verbeterde versies daarvan, slaagden er niet in deze complexe structuren te herkennen. Ze produceerden resultaten die niet beter waren dan de basis, niet-diepe methoden die ze geacht werden te overtreffen.

De kern van het probleem ligt in de manier waarop deze systemen zijn ontworpen. Ze proberen een nieuwe manier te leren om de data te zien, een "latente representatie", in de hoop dat dit nieuwe perspectief de clusters gemakkelijk scheidbaar maakt. De onderzoekers stellen dat dit leerproces de flessenhals is. De systemen worden getraind om de afstand tussen punten en een centraal middelpunt te minimaliseren, een methode die inherent de voorkeur geeft aan ronde vormen. Ongeacht hoe de data wordt getransformeerd, het systeem kan niet ontsnappen aan de geometrische beperkingen van zijn eigen ontwerp. De studie laat zien dat de deep learning-modellen niet daadwerkelijk een representatie leren die hen in staat stelt de ware, onregelmatige vormen van de data te zien. In plaats daarvan blijven ze gevangen in een cyclus van het proberen te dwingen van complexe data in eenvoudige, bolvormige mallen.

In contrast hiermee stellen de onderzoekers een andere manier van denken voor, die zij "Cluster-as-Distribution" noemen. In plaats van te vragen hoe vergelijkbaar één punt is met een ander, vraagt deze methode zich af of een groep punten zich gedraagt als een enkele statistische verdeling. Stel je een wolk van datapunten voor; in plaats van de afstand tussen elk paar punten te meten, kijkt deze aanpak naar de vorm en spreiding van de gehele wolk als geheel. Door een wiskundig instrument te gebruiken dat de gelijkenis tussen deze gehele wolken meet, kan de methode groepen van elke vorm, grootte of dichtheid identificeren zonder een nieuwe manier van zien te hoeven leren. Deze aanpak vereist geen training van een neuraal netwerk of het vinden van een verborgen representatie. Het bekijkt de data simpelweg zoals deze is en groepeert deze op basis van de onderliggende verdeling van de punten.

Het bewijs voor deze eenvoudigere methode is overtuigend. Wanneer getest op dezelfde moeilijke datasets waar deep learning faalde, identificeerde deze distributie-gebaseerde aanpak succesvol de complexe vormen, groottes en dichtheden. Het werkte op synthetische data die ontworpen waren om de algoritmen te misleiden, en het presteerde ook uitzonderlijk goed op real-world, hoog-dimensionale data, zoals afbeeldingen en biologische genexpressie-data. In veel gevallen presteerde het de deep learning-methoden aanzienlijk beter. Bijvoorbeeld, op een dataset van single-cell genexpressie met duizenden dimensies, hadden de deep learning-methoden moeite om enige betekenisvolle structuur te vinden, terwijl de distributie-gebaseerde methode duidelijke, nauwkeurige groepen vond. De onderzoekers ontdekten dat de deep learning-methoden niet alleen iets slechter waren; ze waren fundamenteel niet in staat om het doel te bereiken waarvoor ze ontworpen waren, omdat ze de inherente distributie-informatie in de data negeerden.

De studie onderzocht ook of deep learning nog steeds een voordeel zou kunnen hebben in hoog-dimensionale ruimtes, een veelvoorkomend argument voor het gebruik ervan. De resultaten toonden aan dat zelfs in deze complexe, hoog-dimensionale scenario's, de distributie-gebaseerde methode standhield en vaak de deep learning-benaderingen overtrof. De deep learning-systemen vertoonden geen doorbraak in prestaties; ze stortten zelfs vaak in, waarbij ze resultaten produceerden die slechter waren dan de eenvoudigste baseline-methoden. De onderzoekers concludeerden dat het geloof dat deep learning noodzakelijk is voor het clusteren van complexe data een misconceptie is. Het vermogen om willekeurige vormen en dichtheden te vinden komt niet voort uit de complexiteit van het model, maar uit de juiste definitie van wat een cluster is.

Dit werk suggereert een verschuiving in hoe het vakgebied clustering zou moeten benaderen. De onderzoekers stellen dat de focus moet verschuiven van het proberen te leren van betere representaties naar het gebruiken van de distributie-informatie die al aanwezig is in de data. Ze stellen voor dat de definitie van clustering moet worden bijgewerkt om te weerspiegelen dat een cluster een verzameling punten is die afkomstig is uit een specifieke verdeling, in plaats van alleen een verzameling vergelijkbare punten. Deze verandering van perspectief maakt een methode mogelijk die niet alleen nauwkeuriger, maar ook sneller en gemakkelijker te begrijpen is. De studie demonstreert dat het beoogde doel van deep clustering — het vinden van groepen van elke vorm, grootte en dichtheid — nu bereikt kan worden zonder deep learning, door simpelweg de statistische aard van de data te respecteren. De bevindingen dagen de afhankelijkheid van de industrie van complexe neurale netwerken voor ongesuperviseerde taken uit en suggereren dat soms het meest effectieve instrument degene is die naar de data kijkt precies zoals zij is, zonder haar eerst te willen veranderen.