FloatSOM: GPU-Accelerated, Distributed, Topology-Flexible Self-Organizing Maps

1. Enunciato del Problema

Le Mappe Auto-Organizzanti (SOM) sono potenti strumenti di apprendimento non supervisionato per la preservazione della topologia, la riduzione della dimensionalità e il clustering. Tuttavia, le implementazioni attuali affrontano tre limitazioni critiche nell'era dei dati su larga scala:

• Vincoli di Memoria: La maggior parte delle SOM accelerate su GPU (ad es. XPySOM) richiede che l'intero dataset rientri nella Memoria ad Accesso Casuale Video (VRAM). Ciò impedisce l'addestramento di SOM su dataset che superano i limiti di memoria della GPU (Out-of-Memory).
• Topologie Rigide: Le SOM classiche si basano su reticoli regolari fissi (rettangolari o esagonali). Questi impongono un forte prior geometrico che potrebbe non corrispondere alla geometria intrinseca di distribuzioni di dati irregolari o complessi. Le varianti esistenti basate su grafi o a topologia dinamica mancano di implementazioni GPU scalabili e ad alta velocità di elaborazione.
• Mancanza di Scalabilità Distribuita: Poche soluzioni supportano un addestramento distribuito efficiente su più GPU o nodi, in particolare all'interno dei flussi di lavoro Python moderni. I sistemi distribuiti esistenti spesso si affidano all'esecuzione CPU (ad es. GigaSOM) o mancano di supporto per lo streaming basato su disco.

2. Metodologia

FloatSOM è un framework unificato progettato per affrontare queste limitazioni attraverso quattro componenti metodologici fondamentali:

A. Architettura di Calcolo (Distribuita e Out-of-Memory)

• Esecuzione Distribuita: Costruita su attori Ray con NCCL per l'aggregazione sincrona all-reduce. Supporta l'addestramento distribuito su più GPU in un singolo nodo e su più nodi.
• Streaming e Spilling:
  • Modalità Basata su Disco: Quando i dataset superano la RAM, i dati vengono frammentati (sharded) in storage locale su disco per i worker, caricati nella memoria host bloccata (pinned) e trasferiti alle GPU a blocchi.
  • Modalità RAM: Per i dataset che rientrano nella RAM, i dati vengono pre-frammentati nella memoria CPU.
  • Frammentazione della Topologia: Per topologie in cui le matrici delle distanze del grafo superano la VRAM, i calcoli vengono suddivisi in tasselli (tiled) e valutati in porzioni limitate per prevenire l'overflow di memoria.
• Ottimizzazione: Utilizza kernel compilati Just-In-Time (JIT) per il calcolo dell'Unità di Miglior Adattamento (BMU) e gli aggiornamenti dei pesi, con trasferimento dati e calcolo sovrapposti tramite stream CUDA.

B. Definizione della Topologia

FloatSOM supera i reticoli fissi per supportare topologie dinamiche guidate dai dati:

• Reti Regolari: Supporta griglie Rettangolari ed Esagonali standard (utilizzate come baseline).
• Albero di Copertura Minimo (MST): Costruisce un albero basato sulla geometria corrente dei pesi dei nodi nello spazio delle caratteristiche. La distanza di vicinato è definita dalla distanza di salto del grafo lungo l'albero. L'albero viene ricalcolato periodicamente man mano che i pesi evolvono.
• Grafo del Vicinato Relativo (RNG): Costruisce un grafo in cui gli archi esistono tra i nodi se nessun altro nodo è più vicino a entrambi. A differenza dell'MST, l'RNG consente strutture locali più dense e simili a una maglia, offrendo maggiore flessibilità per rappresentare distribuzioni di dati complesse.

C. Strategie di Campionamento

Il framework valuta tre politiche di campionamento per bilanciare velocità e accuratezza:

• Campionamento Completo: Elabora l'intero dataset per iterazione (massima accuratezza).
• Campionamento Casuale: Sottocampiona una proporzione fissa di dati per iterazione (maggiore throughput).
• HDSSSOM: Un campionatore adattivo guidato che dà priorità a campioni "difficili" o "obsoleti" (valutato ma trovato meno efficace del campionamento completo in questo studio).

D. Ottimizzazione degli Iperparametri

• Utilizza Optuna per il tuning multi-obiettivo degli iperparametri (ottimizzando sia l'errore di quantizzazione di addestramento che quello di holdout).
• Deriva configurazioni "ottimizzate" aggregando le prove migliori tra i diversi semi, creando impostazioni predefinite robuste per diverse topologie.

3. Contributi Chiave

1. Framework FloatSOM: La prima implementazione SOM a combinare esecuzione distribuita multi-GPU, streaming basato su disco out-of-memory e topologie flessibili basate su grafi (MST, RNG) in un singolo sistema basato su Python.
2. Topologie di Grafo Scalabili: Implementazione di topologie MST e RNG che si adattano dinamicamente alla geometria appresa dei nodi, supportate da algoritmi GPU efficienti per la costruzione del grafo e la memorizzazione nella cache delle influenze.
3. Benchmarking Completo: Una valutazione rigorosa su 14 dataset sintetici e reali, confrontando strategie di campionamento, tipi di topologia ed effetti del tuning degli iperparametri.
4. Dimostrazione di Scala Massiva: Addestramento riuscito di una SOM da 1.024 nodi su 1 miliardo di campioni (50 caratteristiche) in 6,16 minuti utilizzando 8 GPU su due nodi HPC, dimostrando una scalabilità senza precedenti.

4. Risultati Chiave

A. Strategia di Campionamento

• Completo vs. Casuale: Il campionamento completo produce il miglior Errore di Quantizzazione (QE). Il campionamento casuale è competitivo per dataset >10.000 campioni ma mostra una variabilità maggiore nei dataset più piccoli.
• HDSSSOM: Il metodo adattivo HDSSSOM ha performance significativamente peggiori rispetto al campionamento completo nelle configurazioni testate.

B. Prestazioni della Topologia

• Superiorità dell'RNG: La topologia RNG ha costantemente superato la baseline Esagonale standard, ottenendo il più basso Errore di Quantizzazione (sia di addestramento che di holdout).
  • Motivazione: La struttura flessibile e simile a una maglia dell'RNG si adatta meglio alle geometrie di dati irregolari rispetto ai reticoli fissi.
• Prestazioni dell'MST: Anche l'MST ha superato le baseline Esagonali, in particolare nell'errore di quantizzazione di addestramento, sebbene leggermente meno dell'RNG.
• Significatività Statistica: I miglioramenti sono stati statisticamente significativi (ad es. $p < 10^{-9}$ per RNG vs Esagonale su QE Bilanciato).

C. Tuning degli Iperparametri

• Ottimizzato vs. Non Ottimizzato: L'applicazione di iperparametri derivati da Optuna ha migliorato significativamente il QE su tutte le topologie rispetto alle impostazioni predefinite (ad es. predefiniti non ottimizzati di XPySOM).
• Stabilità: Le topologie basate su grafi (MST, RNG) hanno mostrato un recupero degli iperparametri più stabile tra diversi semi casuali rispetto ai reticoli fissi, suggerendo che sono più robuste alle variazioni di inizializzazione.

D. Scalabilità e Tempo di Esecuzione

• Scalabilità Lineare: FloatSOM ha dimostrato un'efficienza di scalatura quasi lineare all'aumentare del numero di GPU (da 1 a 8 GPU), in particolare per carichi di lavoro elevati.
• Efficienza >100%: In alcuni casi, l'efficienza ha superato il 100% perché le configurazioni multi-GPU mantenevano i dati in RAM (evitando I/O su disco), mentre le baseline a singola GPU erano costrette a un'esecuzione più lenta basata su disco.
• Costo della Topologia: Sebbene l'RNG offra la migliore accuratezza, è computazionalmente più costoso dell'Esagonale (circa 27 volte più lento nei test di scalatura della dimensione della griglia). L'MST offre una via di mezzo.

5. Significato e Implicazioni

• Deploy Pratico: FloatSOM abilita l'analisi SOM su dataset precedentemente troppo grandi per la memoria GPU, colmando il divario tra le capacità teoriche delle SOM e i dati su scala industriale.
• Flessibilità della Topologia: I risultati mettono in discussione il dogma secondo cui i reticoli fissi sono ottimali. Lo studio dimostra che le SOM basate su RNG, se combinate con un tuning degli iperparametri consapevole della topologia, forniscono una rappresentazione superiore di dati complessi e ad alta dimensionalità.
• Strategia di Deploy: Gli autori raccomandano:
  • Utilizzare la topologia RNG con iperparametri ottimizzati per la massima accuratezza.
  • Utilizzare il Campionamento Completo per la stabilità nei dataset più piccoli e il Campionamento Casuale per il throughput nei dataset massivi (>10k campioni).
  • Sfruttare i cluster multi-GPU per mantenere i dati in RAM, evitando la penalità prestazionale dell'I/O su disco.

In conclusione, FloatSOM rappresenta un avanzamento significativo nella tecnologia SOM, trasformandola da uno strumento limitato dalla memoria e dalla geometria rigida in una soluzione scalabile, flessibile e ad alte prestazioni per le moderne sfide dei big data.