Requirement-Driven Lossy Compression of Weather and Climate Fields

Resumo Técnico: Compressão com Perda Orientada por Requisitos para Campos Meteorológicos e Climáticos

Definição do Problema
Os arquivos de dados meteorológicos e climáticos estão expandindo mais rápido do que a capacidade de armazenamento, o que torna necessária a compressão com perda (lossy). No entanto, a adoção operacional é dificultada pela falta de confiança; uma reconstrução só é utilizável se seu erro for limitado por requisitos de precisão explícitos e verificáveis por máquinas. O desafio de engenharia não é meramente minimizar a distorção em uma taxa fixa, mas maximizar a razão de compressão sujeita a restrições definidas por cientistas do domínio externo e verificadas por verificadores de referência que o compressor não controla. Este trabalho aborda cinco problemas distintos de compressão envolvendo dados atmosféricos operacionais, variando de campos de satélite com valores ausentes a grandes conjuntos de variáveis ERA5 com diversos requisitos de precisão por variável.

Metodologia
O autor propõe uma arquitetura unificada projetada para resolver problemas de compressão estruturalmente diferentes através de uma abordagem orientada por requisitos, em vez de heurísticas baseadas em dados.

1. Seleção de Codec via Análise de Requisitos: Em vez de selecionar um codec baseado nas estatísticas dos dados, o sistema analisa a estrutura do requisito de precisão (ex: limites absolutos vs. relativos, limites pontuais vs. de média, limites em derivadas). Com base nessa estrutura, ele seleciona entre quatro famílias de codecs:

   • Grade uniforme ancorada no zero: Para limites absolutos, fixando os valores em uma grade ancorada no zero para preservar zeros exatos (crucial para precipitação e limites de média).
   • Grade de razão logarítmica: Para limites relativos pontuais, transformando os dados via $\log_2|x|$ e aplicando uma grade uniforme.
   • Codec de transformada (SPERR/SZ3) com reparo opcional: Para campos suaves, estes são executados em configurações mais grosseiras do que sua garantia nominal. Se um limite pontual for violado, uma camada de correção repara pontos específicos.
   • Apenas camada de correção: Uma predição constante (zero) envolta em salvaguardas, servindo como uma linha de base para campos dominados por constantes.

2. Estágio de Entropia: Todas as famílias terminam em um estágio de entropia compartilhado que consiste na tokenização de valores distintos, um índice de bitmap para elevar tokens frequentes do fluxo literal, e compressão LZMA2 bruta. Valores ausentes (NaN) são tratados via um bitmap empacotado ou por arredondamento em ponto flutuante para que o NaN sobreviva às transformações como um token distinto.

3. Busca de Parâmetros com Verificador no Loop: O sistema emprega uma busca de um único parâmetro onde um parâmetro de "folga" $p$ escala a configuração nominal do codec selecionado. A busca começa em $p=1$, dobra até que o verificador de referência rejeite a reconstrução, e então faz uma bisseção para encontrar a configuração ideal. Para famílias que usam camadas de correção, a busca utiliza a razão máxima sobre as configurações avaliadas em vez da configuração mais frouxa admissível, pois a curva de razão é não monotônica.

4. Critério de Fidelidade: O autor introduz um critério para rejeitar reconstruções "admissíveis, mas degeneradas". Se um limite de erro médio exceder a própria variabilidade do campo, um codec pode reconstruir um campo constante (apagando os dados) enquanto tecnicamente satisfaz o limite. O sistema impõe uma restrição de que a reconstrução deve manter um número mínimo de valores distintos e manter um erro relativo ao desvio padrão ($\sigma$) do campo.

Resultados Principais
O sistema foi avaliado em cinco problemas (P1–P5) com zero violações contra os verificadores de referência:

• P1 (Vapor de Água de Satélite): Alcançou uma razão de compressão de ×47,44 em um campo com 69% de valores ausentes (NaN), superando baselines como SZ3 (×30,3) e SPERR (×20,1).
• P2 (Precipitação): Alcançou ×19,07 em um campo com zeros exatos e uma distribuição enviesada. Aqui, uma grade de razão logarítmica uniforme superou os codecs de transformada, que falharam em manter os limites nos dados ruidosos.
• P3 (Derivada de Umidade Específica): Alcançou ×83,88 ao restringir uma derivada longitudinal. O codec de transformada (SPERR) com uma camada de correção foi altamente eficaz porque os erros em campos suaves são espacialmente correlacionados, exigindo poucos reparos.
• P4 & P5 (Variáveis ERA5):
  • P4 (16 Variáveis de Nível de Pressão): Razão mediana de ×55,68 (vs. baseline ×46,14). Codecs de transformada dominaram (9/16 variáveis).
  • P5 (226 Variáveis de Nível Único): Razão mediana de ×50,76 (vs. baseline ×22,88). Grades uniformes dominaram (170/226 variáveis), particularmente para campos de superfície com excesso de zeros.
  • Impacto da Fidelidade: Sem o critério de fidelidade, 28 das 226 variáveis de nível único seriam reconstruídas como campos constantes com razões de até ×35.194. Aplicar o critério reduziu a razão máxima para ×6.530, mas garantiu que os dados não fossem apagados.

Significância e Alegações
O artigo alega três descobertas primárias que se generalizam além dos conjuntos de dados específicos:

1. Interação Requisito-Codec: A escolha ideal entre codificação de transformada e quantização uniforme é governada pela interação entre a regularidade do campo e o tipo de limite. Campos suaves sob limites pontuais favorecem a codificação de transformada, enquanto campos ruidosos ou com excesso de zeros sob limites de média favorecem grades ancoradas no zero.
2. Custo da Correção: Uma camada de correção garante a admissibilidade, mas sua eficiência depende da fração de pontos que precisam de reparo. É lucrativa para restrições de derivada em campos suaves (P3), mas ineficiente para restrições pontuais em campos ruidosos (P2).
3. Admissibilidade é Insuficiente: O artigo demonstra que satisfazer um requisito de precisão publicado não é um critério de aceitação suficiente se o limite permitir o apagamento da variabilidade do campo. O autor argumenta que os resultados de compressão orientados por requisitos devem ser reportados junto com uma declaração de fidelidade (ex: contagem de valores distintos e erro relativo) e que os codecs devem ser publicados como configurações reconstruíveis para garantir a verificação independente.

Observações Adicionais
O processo de avaliação revelou dois problemas significativos nas próprias definições dos problemas:

• Erro de Restrição de Derivada: O código de avaliação para P3 dividiu a derivada por $357,5^\circ$ em vez dos $2,5^\circ$ pretendidos, tornando o limite aproximadamente 143× mais frouxo do que o documentado. O autor reportou seus resultados contra a restrição implementada (mais frouxa), explicitando a discrepância.
• Limites de Erro Médio: Para 28 variáveis, o limite de erro médio publicado excedia a própria magnitude média do campo, tecnicamente permitindo uma reconstrução de campo constante. Isso destaca uma falha na forma como alguns requisitos são formulados para benchmarking.

O trabalho conclui que uma arquitetura única, impulsionada pela análise de requisitos e verificada por verificadores externos com guardas de fidelidade, pode resolver efetivamente diversos problemas de compressão atmosférica mantendo a integridade científica.