FloatSOM: GPU-Accelerated, Distributed, Topology-Flexible Self-Organizing Maps

1. Declaração do Problema

Os Mapas Auto-Organizáveis (SOMs) são ferramentas poderosas de aprendizado não supervisionado para preservação de topologia, redução de dimensionalidade e agrupamento. No entanto, as implementações atuais enfrentam três limitações críticas na era dos dados em grande escala:

• Restrições de Memória: A maioria dos SOMs acelerados por GPU (por exemplo, XPySOM) exige que todo o conjunto de dados caiba na Memória de Acesso Aleatório de Vídeo (VRAM). Isso impede o treinamento de SOMs em conjuntos de dados que excedem os limites de memória da GPU (Fora da Memória).
• Topologias Rígidas: Os SOMs clássicos dependem de lattices regulares fixos (retangulares ou hexagonais). Estes impõem um prior geométrico forte que pode não corresponder à geometria intrínseca de distribuições de dados irregulares ou complexas. Variantes existentes baseadas em grafos ou com topologia dinâmica carecem de implementações escaláveis e de alto rendimento em GPU.
• Falta de Escalonamento Distribuído: Poucas soluções suportam treinamento distribuído eficiente entre múltiplas GPUs ou nós, particularmente dentro de fluxos de trabalho modernos em Python. Sistemas distribuídos existentes frequentemente dependem de execução em CPU (por exemplo, GigaSOM) ou carecem de suporte para streaming baseado em disco.

2. Metodologia

O FloatSOM é um framework unificado projetado para abordar essas limitações através de quatro componentes metodológicos centrais:

A. Arquitetura de Computação (Distribuída e Fora da Memória)

• Execução Distribuída: Construído sobre atores Ray com NCCL para agregação síncrona all-reduce. Suporta treinamento distribuído multi-GPU em nó único e multi-nó.
• Streaming e Vazamento (Spilling):
  • Modo Baseado em Disco: Quando os conjuntos de dados excedem a RAM, os dados são fragmentados para armazenamento local em disco dos workers, carregados na memória hospedeira fixada (pinned) e transferidos para as GPUs em blocos.
  • Modo RAM: Para conjuntos de dados que cabem na RAM, os dados são pré-fragmentados para a memória da CPU.
  • Fragmentação de Topologia: Para topologias onde as matrizes de distância de grafo excedem a VRAM, os cálculos são divididos em blocos (tiling) e avaliados em partes delimitadas para evitar estouro de memória.
• Otimização: Utiliza kernels compilados Just-In-Time (JIT) para cálculo da Unidade de Melhor Correspondência (BMU) e atualizações de pesos, com sobreposição de transferência de dados e computação via streams CUDA.

B. Definição de Topologia

O FloatSOM avança além de lattices fixos para suportar topologias dinâmicas e orientadas por dados:

• Lattices Regulares: Suporta grades Retangulares e Hexagonais padrão (usadas como baselines).
• Árvore de Expansão Mínima (MST): Constrói uma árvore baseada na geometria atual dos pesos dos nós no espaço de características. A distância de vizinhança é definida pela distância de saltos no grafo ao longo da árvore. A árvore é recalculada periodicamente conforme os pesos evoluem.
• Grafo de Vizinhança Relativa (RNG): Constrói um grafo onde arestas existem entre nós se nenhum outro nó estiver mais próximo de ambos. Diferente da MST, o RNG permite estruturas locais mais densas e semelhantes a malhas, oferecendo maior flexibilidade para representar distribuições de dados complexas.

C. Estratégias de Amostragem

O framework avalia três políticas de amostragem para equilibrar velocidade e precisão:

• Amostragem Completa: Processa todo o conjunto de dados por iteração (maior precisão).
• Amostragem Aleatória: Subamostra uma proporção fixa de dados por iteração (maior rendimento).
• HDSSSOM: Um amostrador adaptativo guiado que prioriza amostras "difíceis" ou "desatualizadas" (avaliado e considerado menos eficaz que a amostragem completa neste estudo).

D. Otimização de Hiperparâmetros

• Utiliza Optuna para ajuste de hiperparâmetros multi-objetivo (otimizando tanto o Erro de Quantização de treinamento quanto de validação).
• Deriva configurações "ajustadas" agregando as melhores tentativas entre diferentes sementes, criando configurações padrão robustas para diferentes topologias.

3. Contribuições Principais

1. Framework FloatSOM: A primeira implementação de SOM a combinar execução distribuída multi-GPU, streaming baseado em disco fora da memória e topologias flexíveis baseadas em grafos (MST, RNG) em um único sistema baseado em Python.
2. Topologias de Grafo Escaláveis: Implementação de topologias MST e RNG que se adaptam dinamicamente à geometria dos nós aprendida, suportadas por algoritmos eficientes em GPU para construção de grafos e cache de influência.
3. Avaliação Abrangente: Uma avaliação rigorosa em 14 conjuntos de dados sintéticos e do mundo real, comparando estratégias de amostragem, tipos de topologia e efeitos do ajuste de hiperparâmetros.
4. Demonstração de Escala Massiva: Treinamento bem-sucedido de um SOM de 1.024 nós em 1 bilhão de amostras (50 características) em 6,16 minutos usando 8 GPUs em dois nós de HPC, demonstrando escalabilidade sem precedentes.

4. Resultados Principais

A. Estratégia de Amostragem

• Completa vs. Aleatória: A amostragem completa produz o melhor Erro de Quantização (QE). A amostragem aleatória é competitiva para conjuntos de dados >10.000 amostras, mas mostra maior variabilidade em conjuntos de dados menores.
• HDSSSOM: O método adaptativo HDSSSOM performou significativamente pior que a amostragem completa nas configurações testadas.

B. Desempenho da Topologia

• Superioridade do RNG: A topologia RNG consistentemente superou a baseline Hexagonal padrão, alcançando o menor Erro de Quantização (tanto de treinamento quanto de validação).
  • Raciocínio: A estrutura flexível e semelhante a malha do RNG adapta-se melhor a geometrias de dados irregulares do que lattices fixos.
• Desempenho da MST: A MST também superou as baselines Hexagonais, particularmente no QE de treinamento, embora ligeiramente menos que o RNG.
• Significância Estatística: As melhorias foram estatisticamente significativas (por exemplo, $p < 10^{-9}$ para RNG vs. Hexagonal no QE Balanceado).

C. Ajuste de Hiperparâmetros

• Ajustado vs. Não Ajustado: A aplicação de hiperparâmetros derivados do Optuna melhorou significativamente o QE em todas as topologias em comparação com as configurações padrão (por exemplo, padrões não ajustados do XPySOM).
• Estabilidade: Topologias baseadas em grafos (MST, RNG) mostraram recuperação de hiperparâmetros mais estável entre diferentes sementes aleatórias em comparação com lattices fixos, sugerindo que são mais robustas a variações de inicialização.

D. Escalonamento e Tempo de Execução

• Escalonamento Linear: O FloatSOM demonstrou eficiência de escalonamento quase linear conforme o número de GPUs aumentou (1 a 8 GPUs), especialmente para cargas de trabalho grandes.
• Eficiência >100%: Em alguns casos, a eficiência excedeu 100% porque configurações multi-GPU mantiveram os dados na RAM (evitando I/O de disco), enquanto as baselines de GPU única foram forçadas para uma execução baseada em disco mais lenta.
• Custo da Topologia: Embora o RNG ofereça a melhor precisão, é computacionalmente mais caro que o Hexagonal (aproximadamente 27 vezes mais lento em testes de escalonamento de tamanho de grade). A MST oferece um meio-termo.

5. Significado e Implicações

• Implantação Prática: O FloatSOM permite a análise de SOM em conjuntos de dados anteriormente grandes demais para a memória da GPU, fechando a lacuna entre as capacidades teóricas dos SOMs e dados em escala industrial.
• Flexibilidade de Topologia: Os resultados desafiam o dogma de que lattices fixos são ótimos. O estudo demonstra que SOMs baseados em RNG, quando combinados com ajuste de hiperparâmetros consciente da topologia, fornecem representação superior de dados complexos e de alta dimensão.
• Estratégia de Implantação: Os autores recomendam:
  • Usar topologia RNG com hiperparâmetros ajustados para precisão ótima.
  • Usar Amostragem Completa para estabilidade em conjuntos de dados menores, e Amostragem Aleatória para rendimento em conjuntos de dados massivos (>10k amostras).
  • Aproveitar clusters multi-GPU para manter os dados na RAM, evitando a penalidade de desempenho do I/O de disco.

Em conclusão, o FloatSOM representa um avanço significativo na tecnologia SOM, transformando-a de uma ferramenta limitada por memória e geometria rígida em uma solução escalável, flexível e de alto desempenho para os desafios modernos de big data.