Preserving Clusters in Error-Bounded Lossy Compression of Particle Data

1. O Problema

Em aplicações científicas de alto desempenho (HPC), como cosmologia, dinâmica molecular e dinâmica de fluidos, as simulações geram volumes massivos de dados de partículas (ex: trilhões de partículas). A compressão com perdas error-bounded (limitada por erro) é essencial para reduzir custos de armazenamento e I/O. No entanto, os compressores existentes (como SZ3, ZFP, Draco) garantem apenas limites de erro pontuais nas coordenadas das partículas.

O problema central identificado é que pequenas perturbações nas posições das partículas podem destruir a conectividade de clusters (agrupamentos). Em muitos fluxos de trabalho científicos, a estrutura de agrupamento é crítica:

• Cosmologia: Identificação de halos de matéria escura usando o algoritmo "Friends-of-Friends" (FoF).
• Dinâmica Molecular: Detecção de agregação de proteínas ou aglomerados iônicos.
• Fluidos: Identificação de estruturas coerentes.

Se a compressão alterar a distância entre duas partículas que estão próximas do limiar de ligação (linking length), ela pode falsamente fundir dois clusters distintos ou fragmentar um único cluster, comprometendo a validade científica dos dados. Soluções atuais exigem limites de erro extremamente rigorosos (quase sem perdas), o que reduz drasticamente a taxa de compressão, ou armazenam metadados de cluster separadamente, o que adiciona um custo de armazenamento significativo.

2. Metodologia Proposta

Os autores propõem uma técnica baseada em correção pós-compressão que preserva a membership de clusters de ligação única (single-linkage) sem violar o limite de erro global definido pelo usuário ($\xi$).

O método funciona em três etapas principais:

1. Identificação de Pares Vulneráveis:

   • Utiliza uma partição espacial baseada em células (cell-based partitioning) para identificar pares de partículas cujas distâncias originais estão na faixa crítica $(b - 2\sqrt{3}\xi, b + 2\sqrt{3}\xi]$, onde $b$ é o comprimento de ligação.
   • Apenas partículas pertencentes a esses "pares vulneráveis" são consideradas "editáveis".

2. Formulação de Otimização Restrita:

   • O problema é formulado como uma minimização de uma função de perda ($L$) que penaliza violações de conectividade (links quebrados ou falsamente criados).
   • A otimização é sujeita a restrições de caixa (box constraints), garantindo que as coordenadas corrigidas não se desviem das originais por mais do que o limite de erro $\xi$.
   • Para garantir robustez contra erros de quantização, a função de perda é "apertada" (tightened), criando uma margem de segurança.

3. Algoritmo de Descida de Gradiente Projetada (PGD):

   • Utiliza uma abordagem iterativa de Projected Gradient Descent (PGD) para refinar as posições das partículas editáveis.
   • Em cada iteração, o gradiente da função de perda é calculado e as posições são atualizadas, seguidas por uma projeção de volta para dentro das restrições de erro permitidas.
   • O processo continua até que a perda seja zero (conectividade restaurada) ou um limite de iterações seja atingido.

4. Codificação e Reconstrução:

   • As correções (deslocamentos) são registradas como "edições" (flags e valores compactos).
   • Essas edições são quantizadas e comprimidas sem perdas (usando Huffman + ZSTD) e armazenadas junto com os dados comprimidos pelo compressor base.
   • Na descompressão, as edições são aplicadas aos dados do compressor base para restaurar a conectividade exata.

3. Contribuições Chave

• Algoritmo de Correção Consciente de Cluster: Um método que identifica e corrige pares de partículas vulneráveis usando particionamento espacial e busca de vizinhança local, garantindo a preservação da estrutura de clusters.
• Formulação de Otimização: Uma formulação matemática que usa PGD para restaurar o grafo de conectividade original enquanto respeita estritamente os limites de erro do compressor base.
• Implementação Escalável e Acelerada por GPU: Uma implementação distribuída (MPI) e paralela que suporta tanto sistemas de nó único quanto clusters multi-nó. O uso de GPUs oferece aceleração significativa, tornando o processo viável para pipelines de simulação de alto rendimento.

4. Resultados e Avaliação

O método foi avaliado em conjuntos de dados de cosmologia (HACC), dinâmica molecular (EXAALT) e fluidos (FPM), comparado com compressores de ponta (SZ3, ZFP, Draco, LCP).

• Precisão de Cluster:
  • O método alcança um Coeficiente de Correlação de Matthews (MCC) próximo de 1.0 para a existência de links, indicando preservação quase perfeita dos clusters.
  • A função de massa de halos (HMF), métrica crítica em cosmologia, é preservada com muito maior fidelidade do que com compressores padrão, mesmo em taxas de compressão equivalentes.
• Eficiência de Armazenamento:
  • O overhead de armazenamento para as correções é baixo. Em muitos casos (especialmente onde a densidade de pares violados é baixa), a taxa de compressão total permanece competitiva ou até superior a métodos que tentam forçar limites de erro globais rigorosos.
  • O método permite usar limites de erro mais relaxados no compressor base, reduzindo o volume de dados, enquanto a correção restaura a integridade estrutural.
• Desempenho e Escalabilidade:
  • Aceleração GPU: A implementação em GPU alcançou um speedup de até 62x em comparação com a versão em CPU.
  • Escalabilidade Distribuída: O método escalou bem em até 1.024 ranks (GPUs) no supercomputador Perlmutter (NERSC), mantendo eficiência de weak scaling de ~72% e throughput agregado de ~62 GB/s.
  • O tempo de correção é dominado pela detecção de pares vulneráveis e não pelo número de iterações do PGD, tornando-o eficiente para a maioria dos casos de uso.

5. Significado e Impacto

Este trabalho resolve uma lacuna crítica na compressão de dados científicos: a garantia de que a topologia e a estrutura de agrupamento dos dados não são perdidas durante a redução de volume.

• Viabilidade Científica: Permite que cientistas utilizem compressão com perdas agressiva sem medo de corromper descobertas científicas baseadas em agrupamento (como a formação de halos no universo ou agregação de proteínas).
• Eficiência Operacional: Elimina a necessidade de armazenar grandes arrays de metadados de cluster ou de usar limites de erro quase sem perdas que desperdiçam espaço de armazenamento.
• Integração em HPC: A implementação escalável em GPU e MPI demonstra que a correção de clusters pode ser integrada em pipelines de simulação in-situ ou in-transit sem se tornar um gargalo computacional.

Em resumo, a técnica proposta oferece um equilíbrio ideal entre alta taxa de compressão e a preservação rigorosa de estruturas científicas críticas, sendo uma solução robusta para a era exascale.