Resumo Técnico: SEDD – Deduplicação de Conjuntos de Dados Escalável e Eficiente com GPUs

1. Declaração do Problema

A deduplicação de conjuntos de dados em grande escala é uma etapa crítica de pré-processamento para o treinamento de Modelos de Linguagem de Grande Escala (LLMs), visando garantir a qualidade dos dados, reduzir o desperdício computacional e prevenir o sobreajuste. A abordagem padrão para detectar quase-duplicatas em corpora na escala da web é o Hashing Sensível à Localização (LSH) MinHash. No entanto, as implementações existentes enfrentam gargalos significativos ao escalar para conjuntos de dados com trilhões de tokens:

• Limitações de CPU: Implementações tradicionais baseadas em CPU (por exemplo, usando a biblioteca datasketch) sofrem com baixa paralelização e altos custos computacionais, tornando-as proibitamente lentas para conjuntos de dados massivos.
• Limitações de GPU: Embora frameworks acelerados por GPU, como o NVIDIA NeMo Curator, ofereçam melhorias, eles permanecem subótimos devido a ineficiências arquitetônicas. Especificamente, eles dependem de embaralhamento físico de dados (reparticionamento de dados para disco com base em IDs de bucket), o que incorre em alta latência de E/S e sobrecarga de comunicação. Além disso, suas estratégias de bucketização esparsa e modelos de execução sequencial frequentemente falham em saturar os recursos da GPU, levando ao subaproveitamento do paralelismo de hardware.

2. Metodologia

Os autores propõem o SEDD, um framework de deduplicação acelerado por GPU, de alto desempenho e ponta a ponta, otimizado para ambientes de cluster distribuídos. O SEDD aborda os gargalos identificados através de três inovações técnicas principais:

A. Hashing Computacionalmente Eficiente

O SEDD substitui funções de hash criptográficas ou não criptográficas padrão por um hash rolante Rabin-Karp para a geração de assinaturas MinHash.

• Mecanismo: Diferentemente da linha de base em CPU (SHA-1) ou da linha de base em GPU (MurmurHash3), que recalculam hashes para cada "shingle", o hash rolante permite que o valor de hash de um "shingle" seja derivado do "shingle" anterior usando algumas operações aritméticas (multiplicação, adição, divisão).
• Benefício: Isso permite a reutilização parcial de valores de hash entre "shingles" adjacentes, reduzindo significativamente o custo computacional da geração de assinaturas MinHash.

B. Pipeline de Dados Baseado em Streaming

O SEDD elimina a necessidade de embaralhamento físico de dados (escrevendo resultados intermediários em disco e reparticionando) empregando uma estratégia de extração baseada em streaming.

• Mecanismo: Em vez de mover fisicamente os dados para reorganizá-los por ID de bucket, o SEDD processa arquivos de hash intermediários sob demanda. Cada processo da GPU recebe um subconjunto de faixas ("bands") e varre o armazenamento para extrair assinaturas para buckets específicos.
• Double Buffering: O sistema utiliza double buffering para sobrepor comunicação (transferência de dados entre CPU e GPU) com computação (execução de kernel da GPU), ocultando efetivamente a latência de E/S.
• Estratégia de Comparação: Diferentemente das linhas de base que usam heurísticas baseadas em âncoras de $O(D)$ (comparando apenas um documento âncora contra outros em um bucket), o SEDD realiza comparações exaustivas $O(D^2)$ de todos os pares dentro de cada bucket. Isso é viabilizado por kernels CUDA personalizados altamente otimizados.

C. Otimização Consciente de Hardware

• Design de Kernel: O SEDD implementa kernels CUDA personalizados para a operação "count-match" (comparação de vetores de assinatura) usando um design em blocos inspirado em GEMM para melhorar a localidade de dados e o uso da memória compartilhada.
• Seleção de Parâmetros: O framework inclui um mecanismo automático de seleção de parâmetros que determina o número ideal de buckets ($K$) e lotes de processamento concorrentes com base na memória disponível de CPU/GPU e no tamanho do conjunto de dados. A contagem ideal de buckets é modelada como $K \propto \sqrt{N}$ para equilibrar a probabilidade de colisão contra a sobrecarga de gerenciamento de buffer.

3. Principais Contribuições

1. Framework GPU de Ponta a Ponta: O SEDD é apresentado como um framework completo que alcança até 7,8× de aceleração sobre a linha de base de GPU mais avançada (NVIDIA NeMo Curator) e 158× sobre linhas de base de CPU em um único nó com quatro GPUs.
2. LSH MinHash Otimizado: A introdução de funções de hash rolante reutilizáveis e kernels de GPU personalizados acelera a fase de geração de assinaturas em até 375× comparado às linhas de base de CPU.
3. Pipeline Eficiente em Comunicação: Ao substituir o embaralhamento físico por extração em streaming e double buffering, o SEDD reduz a sobrecarga total de comunicação para aproximadamente 20% da encontrada em frameworks existentes.
4. Escalabilidade: O framework processa com sucesso 1,2 trilhão de tokens em apenas 3 horas em um cluster V100 de 8 nós e 32 GPUs.

4. Resultados Experimentais

Os autores avaliaram o SEDD contra linhas de base de CPU (SlimPajama) e GPU (NeMo Curator) usando os conjuntos de dados RealNews e C4.

• Desempenho:
  • Em um conjunto de dados RealNews de 100 GB (30 milhões de documentos), o SEDD completou a deduplicação em 135,2 segundos, comparado a 21.361,4 segundos para a linha de base de CPU e 1.048,8 segundos para a linha de base de GPU.
  • A fase de geração de MinHash sozinha apresentou uma aceleração de 375× sobre a linha de base de CPU.
  • Experimentos de escalabilidade mostraram que o SEDD mantém pelo menos 7× de aceleração sobre a linha de base de GPU mesmo quando o número de GPUs aumenta para 32.
• Precisão:
  • Apesar das otimizações, o SEDD mantém alta fidelidade. Ao ser comparado com um oráculo "MinHash Exato" em conjuntos de dados menores, o SEDD alcançou uma similaridade de Jaccard de 0,956 (para 0,1 milhão de documentos) e 0,966 (para 1 milhão de documentos).
  • Comparado ao NeMo Curator em grandes conjuntos de dados, o SEDD identificou mais de 97% das quase-duplicatas encontradas pelo NeMo, enquanto descobria instâncias adicionais.
  • O treinamento subsequente de LLM (LLaMA 3.2-1B) em dados deduplicados pelo SEDD produziu desempenho comparável ao de dados deduplicados pelo NeMo em múltiplos benchmarks (HellaSwag, MMLU, ARC-Easy, WinoGrande), apesar de usar 10% menos tokens.
• Eficiência de Comunicação:
  • Em um ambiente de 4 GPUs, o SEDD reduziu a latência de comunicação de 187,7s (linha de base de GPU) para 35,7s e o volume de comunicação de 3,45 TB para 398,9 GB.

5. Significância

O artigo argumenta que o SEDD fornece uma solução prática e escalável para as demandas crescentes dos pipelines de dados modernos de LLM. Ao abordar as ineficiências arquitetônicas específicas dos frameworks de GPU existentes — nomeadamente o embaralhamento excessivo de dados e o baixo aproveitamento de recursos —, o SEDD permite o processamento eficiente de corpora com trilhões de tokens em horas, em vez de dias. Os autores enfatizam que essa eficiência é alcançada sem comprometer a precisão da detecção de duplicatas, garantindo que os conjuntos de dados resultantes permaneçam de alta qualidade para o treinamento de modelos de linguagem de última geração. O trabalho destaca que otimizações de sistema conscientes de hardware, como hashes rolantes e pipelines de streaming, são essenciais para desbloquear todo o potencial de clusters de GPU em tarefas de pré-processamento de dados.