FloatSOM: GPU-Accelerated, Distributed, Topology-Flexible Self-Organizing Maps

1. Probleemstelling

Zelforganiserende kaarten (SOM's) zijn krachtige onbewaakte leermiddelen voor behoud van topologie, dimensiereductie en clustering. Echter, huidige implementaties staan voor drie kritieke beperkingen in het tijdperk van grote data:

• Geheugenbeperkingen: De meeste GPU-versnelde SOM's (bijv. XPySOM) vereisen dat de volledige dataset past binnen Video Random Access Memory (VRAM). Dit verhindert het trainen van SOM's op datasets die de GPU-geheugengrenzen overschrijden (Out-of-Memory).
• Stijve Topologieën: Klassieke SOM's vertrouwen op vaste regelmatige roosters (rechthoekig of hexagonaal). Deze leggen een sterke geometrische prior op die mogelijk niet overeenkomt met de intrinsieke geometrie van onregelmatige of complexe dataverdelingen. Bestaande grafiekgebaseerde of dynamische topologievarianten missen schaalbare, high-throughput GPU-implementaties.
• Gebrek aan Gedistribueerde Schaalbaarheid: Weinig oplossingen ondersteunen efficiënte gedistribueerde training over meerdere GPU's of knooppunten, met name binnen moderne Python-workflows. Bestaande gedistribueerde systemen vertrouwen vaak op CPU-uitvoering (bijv. GigaSOM) of missen ondersteuning voor schijf-gebaseerde streaming.

2. Methodologie

FloatSOM is een unificerend framework ontworpen om deze beperkingen aan te pakken via vier kernmethodologische componenten:

A. Rekenarchitectuur (Gedistribueerd & Out-of-Memory)

• Gedistribueerde Uitvoering: Gebouwd op Ray-actoren met NCCL voor synchrone all-reduce aggregatie. Het ondersteunt single-node multi-GPU en multi-node gedistribueerde training.
• Streaming & Spilling:
  • Schijf-gebaseerde Modus: Wanneer datasets het RAM-geheugen overschrijden, wordt data geshard naar werkplek-lokale schijfopslag, geladen in vastgepind hostgeheugen, en in chunks overgebracht naar GPU's.
  • RAM-Modus: Voor datasets die in RAM passen, wordt data vooraf geshard naar CPU-geheugen.
  • Topologie-chunking: Voor topologieën waarbij grafiek-afstandsmatrices de VRAM overschrijden, worden berekeningen getegeld en in begrende stukken geëvalueerd om geheugenoverloop te voorkomen.
• Optimalisatie: Gebruik van Just-In-Time (JIT) gecompileerde kernels voor de berekening van de Best Matching Unit (BMU) en gewichtsupdates, met overlappende data-overdracht en berekening via CUDA-streams.

B. Definitie van Topologie

FloatSOM gaat voorbij aan vaste roosters om dynamische, datagedreven topologieën te ondersteunen:

• Regelmatige Roosters: Ondersteunt standaard Rechthoekige en Hexagonale roosters (gebruikt als baselines).
• Minimum Spanning Tree (MST): Construeert een boom op basis van de huidige knooppunt-gewichtsgemetrie in de kenmerkruimte. De buurafstand wordt gedefinieerd door de grafiek-hopafstand langs de boom. De boom wordt periodiek herberekend naarmate de gewichten evolueren.
• Relative Neighborhood Graph (RNG): Construeert een grafiek waarbij randen bestaan tussen knooppunten als er geen ander knooppunt dichter bij beide ligt. In tegenstelling tot MST, staat RNG dichter, mesh-achtige lokale structuren toe, wat meer flexibiliteit biedt om complexe dataverdelingen weer te geven.

C. Steekproefstrategieën

Het framework evalueert drie steekproefbeleid om snelheid en nauwkeurigheid in evenwicht te brengen:

• Volledige Steekproef: Verwerkt de volledige dataset per iteratie (hoogste nauwkeurigheid).
• Willekeurige Steekproef: Subsampleert een vast percentage data per iteratie (hogere doorvoer).
• HDSSSOM: Een geleide adaptieve steekproefnemer die prioriteit geeft aan "moeilijke" of "verouderde" samples (geëvalueerd maar in deze studie minder effectief bevonden dan volledige steekproef).

D. Hyperparameter-optimalisatie

• Gebruik van Optuna voor multi-objectieve hyperparameter-tuning (optimalisatie van zowel trainings- als holdout Quantisatiefout).
• Afleiden van "afgestelde" configuraties door het aggregeren van top-presterende trials over verschillende zaden, waardoor robuuste standaardinstellingen voor verschillende topologieën worden gecreëerd.

3. Belangrijkste Bijdragen

1. FloatSOM Framework: De eerste SOM-implementatie die gedistribueerde multi-GPU-uitvoering, out-of-memory schijf-gebaseerde streaming en flexibele grafiekgebaseerde topologieën (MST, RNG) combineert in één op Python gebaseerd systeem.
2. Schaalbare Grafiektopologieën: Implementatie van MST- en RNG-topologieën die dynamisch aanpassen aan de geleerde knooppunt-geometrie, ondersteund door efficiënte GPU-algoritmen voor grafiekconstructie en invloedscaching.
3. Uitgebreide Benchmarking: Een rigoureuze evaluatie over 14 synthetische en real-world datasets, waarbij steekproefstrategieën, topologietypen en effecten van hyperparameter-tuning worden vergeleken.
4. Demonstratie van Massale Schaal: Succesvol getraind een SOM met 1.024 knooppunten op 1 miljard samples (50 kenmerken) in 6,16 minuten met gebruik van 8 GPU's over twee HPC-knooppunten, wat een ongekende schaalbaarheid demonstreert.

4. Belangrijkste Resultaten

A. Steekproefstrategie

• Volledig vs. Willekeurig: Volledige steekproef levert de beste Quantisatiefout (QE) op. Willekeurige steekproef is concurrerend voor datasets >10.000 samples, maar toont hogere variabiliteit in kleinere datasets.
• HDSSSOM: De adaptieve HDSSSOM-methode presteerde significant slechter dan volledige steekproef in de geteste configuraties.

B. Topologieprestaties

• RNG-bijdrage: De RNG-topologie presteerde consistent beter dan de standaard Hexagonale baseline, met de laagste Quantisatiefout (zowel training als holdout).
  • Redenering: De flexibele, mesh-achtige structuur van RNG past zich beter aan onregelmatige data-geometrieën aan dan vaste roosters.
• MST-prestaties: MST presteerde ook beter dan Hexagonale baselines, vooral in trainings-QE, zij het iets minder dan RNG.
• Statistische Significantie: Verbeteringen waren statistisch significant (bijv. $p < 10^{-9}$ voor RNG versus Hexagonaal op Gebalanceerde QE).

C. Hyperparameter-tuning

• Gestemd vs. Ongestemd: Het toepassen van door Optuna afgeleide hyperparameters verbeterde de QE significant voor alle topologieën in vergelijking met standaardinstellingen (bijv. ongestelde XPySOM-standaarden).
• Stabiliteit: Grafiekgebaseerde topologieën (MST, RNG) toonden een stabielere herwinning van hyperparameters over verschillende willekeurige zaden in vergelijking met vaste roosters, wat suggereert dat ze robuuster zijn tegen variaties in initialisatie.

D. Schaalbaarheid en Runtime

• Lineaire Schaalbaarheid: FloatSOM vertoonde bijna lineaire schaalbare efficiëntie naarmate het aantal GPU's toenam (1 tot 8 GPU's), vooral voor grote werklasten.
• Efficiëntie >100%: In sommige gevallen overschreed de efficiëntie 100% omdat multi-GPU-opstellingen data in RAM hielden (waardoor schijf-I/O werd vermeden), terwijl single-GPU-baselines werden gedwongen tot langzamere schijf-gebaseerde uitvoering.
• Topologiekosten: Hoewel RNG de beste nauwkeurigheid biedt, is het rekenkundig duurder dan Hexagonaal (ongeveer 27x trager in tests voor schaalbaarheid van roostergrootte). MST biedt een middenweg.

5. Betekenis en Implicaties

• Praktische Implementatie: FloatSOM maakt SOM-analyse mogelijk op datasets die voorheen te groot waren voor GPU-geheugen, en overbrugt zo de kloof tussen theoretische SOM-capaciteiten en industriële data.
• Topologie-flexibiliteit: De resultaten daag het dogma uit dat vaste roosters optimaal zijn. De studie toont aan dat op RNG gebaseerde SOM's, in combinatie met topologie-bewuste hyperparameter-tuning, een superieure representatie bieden van complexe, hoogdimensionale data.
• Implementatiestrategie: De auteurs adviseren:
  • Gebruik van RNG-topologie met afgestelde hyperparameters voor optimale nauwkeurigheid.
  • Gebruik van Volledige Steekproef voor stabiliteit in kleinere datasets, en Willekeurige Steekproef voor doorvoer in massale datasets (>10k samples).
  • Benutting van multi-GPU-clusters om data in RAM te houden, waardoor de prestatieboete van schijf-I/O wordt vermeden.

Concluderend vertegenwoordigt FloatSOM een aanzienlijke vooruitgang in SOM-technologie, en transformeert het van een tool beperkt door geheugen en stijve geometrie naar een schaalbare, flexibele en hoogpresterende oplossing voor moderne big data-uitdagingen.