Lossless compression of simulated radio interferometric visibilities

Resumo Técnico: Compressão Sem Perdas de Visibilidades de Interferometria de Rádio Simuladas

Definição do Problema
Os modernos observatórios de radioastronomia geram volumes vastos de dados de visibilidade, tipicamente armazenados como valores complexos de ponto flutuante de precisão simples de 3 de 32 bits. Um ônus significativo de armazenamento surge durante o processamento de dados, especificamente na calibração e deconvolução dependentes de direção, onde dados de modelo previstos para frente devem ser armazenados juntamente com as visibilidades observadas. Na autocalibração dependente de direção, o volume dessas colunas de modelo pode atingir dez vezes o tamanho dos dados observados originais. Técnicas de compressão com perda (como o Dysco) são eficazes para dados observados ruidosos ao explorar distribuições gaussianas, mas são inadequadas para dados de modelo. Aplicar compressão com perda baseada em quantização a dados de modelo sem ruído introduz ruído artificial, o que corrompe o processo de calibração onde os dados observados são ajustados contra esses modelos. Algoritmos genéricos existentes sem perda (ex: GZIP) falham em explorar a suavidade espectral e temporal dos dados de modelo de radioastronomia, resultando em razões de compressão subótimas.

Metodologia: Compressão de Sinal Simulado (Sisco)
Os autores apresentam o Sisco, um novo framework de compressão sem perda projetado especificamente para dados de modelo interferométrico previstos para frente e sem ruído. O método integra-se perfeitamente aos fluxos de trabalho baseados em Casacore e opera através de quatro estágios distintos:

1. Predição: O algoritmo realiza extrapolação polinomial bidimensional nas componentes real e imaginária dos valores de visibilidade através das dimensões de tempo e frequência. Ele testa vários ordens de extrapolação (de 0ª a 3ª ordem) e esquemas de média. A predição é computada usando aritmética de inteiros no mantissa e expoente dos valores de ponto flutuante para garantir precisão e reversibilidade.
2. Formação de Resíduo: O valor previsto é subtraído do valor real dos dados. Para garantir a reversibilidade exata, o algoritmo alinha o expoente do valor previsto com o valor dos dados antes de subtrair suas mantissas. Tratamento especial é aplicado para casos de NaN, infinito e overflow.
3. Agrupamento de Dados: Os resíduos resultantes são decompostos em componentes de sinal, mantissa e expoente. Eles são agrupados em cinco fluxos separados: um para expoentes, um para o sinal e o primeiro byte da mantissa, e três para os bytes restantes da mantissa. Este reordenamento garante que valores similares sejam adjacentes no fluxo de dados, melhorando significativamente a redução de entropia.
4. Compressão Deflate: Os fluxos agrupados são comprimidos independentemente usando a biblioteca libdeflate, que combina codificação de dicionário Lempel-Ziv 1 (LZ77) e codificação de Huffman.

A implementação é projetada para lidar com a ordenação padrão de Measurement Sets (tempo-lento, baseline-rápido) mantendo um pequeno buffer de passos de tempo anteriores, permitindo a compressão on-the-fly com overhead de memória mínimo. Ela suporta a combinação com Média Dependente de Baseline (BDA).

Principais Resultados
Os autores avaliaram o Sisco em diversos conjuntos de dados do LOFAR, MeerKAT e MWA, bem como ondas senoidais simuladas e ruído Gaussiano puro.

• Eficiência de Compressão: Para dados previstos para frente sem ruído, o Sisco alcança uma razão de compressão média reduzindo o volume de dados para 24% do tamanho original.
  • Configuração Ótima: Uma combinação de predição linear na direção do tempo e predição quadrática na direção da frequência yielded os melhores resultados gerais.
  • Variância do Conjunto de Dados: A eficiência de compressão variou conforme a suavidade do conjunto de dados. Dados suaves (ex: modelos previstos para frente do MeerKAT) comprimiram para 13%, enquanto dados menos previsíveis comprimiram para 38%.
  • Análise de Componentes: Os dados de expoente de 8 bits provaram ser altamente compressíveis (reduzindo para ~3–15% do tamanho original), enquanto a mantissa de 24 bits e o sinal foram o alvo principal dos algoritmos de predição.
• Dados Ruidosos: Quando aplicado a dados observados (ruidosos) ou ruído Gaussiano puro, os algoritmos de predição pioraram as razões de compressão (ex: ruído puro comprimiu para 84% vs. 92% com predição), confirmando que o Sisco é otimizado para sinais suaves e sem ruído.
• Desempenho: Em um processador AMD Ryzen 7 2700X comum, o Sisco alcançou um throughput de 534 MB/s para dados gerados e 340 MB/s para I/O de disco real no nível de deflate 9. O processo é limitado por I/O em SSDs modernos, mas limitado por CPU em armazenamentos mais lentos.
• Integração BDA: Combinar o Sisco com BDA resultou em uma redução de tamanho total de mais de um fator de 13 em relação aos dados brutos, com o Sisco fornecendo uma melhoria adicional de 2,7% sobre os dados de resolução total de BDA.

Significância e Alegações
O artigo afirma que o Sisco fornece uma solução sem perdas para o problema específico de armazenar dados de modelo previstos para frente, abordando uma lacuna deixada por técnicas com perda existentes que são incompatíveis com requisitos de calibração. Ao alcançar um fator de compressão médio superior a 4 (reduzindo para ~24%), o Sisco mitiga significativamente os custos de armazenamento e transporte associados à calibração de múltiplos estágios e à autocalibração dependente de direção, que são críticos para instalações atuais e futuras como o Square Kilometre Array (SKA).

Os autores enfatem que o método é transparente para os usuários; integrado como um gerenciador de armazenamento open-source dentro do Casacore, ele permite que pacotes de software como DP3 e WSClean escrevam dados comprimidos sem configuração manual. A descompressão é automática durante o acesso aos dados. Os autores notam modestamente que, embora a implementação atual seja baseada em CPU, o custo computacional é menor comparado às tarefas de calibração e imagem, e implementações futuras em GPU poderiam melhorar ainda mais a velocidade. Eles também discutem o potencial de estender o Sisco para um algoritmo com perda, mas observam que tal extensão exigiria uma abordagem fundamentalmente diferente de limites de erro em comparação com métodos existentes como o Dysco.