Research on compression technology of meteorological big data based on satellite communication

Resumo Técnico: Tecnologia de Compressão para Big Data Meteorológica Baseada em Comunicação via Satélite

Definição do Problema
O artigo aborda o gargalo crítico na transmissão de dados de previsão numérica de tempo (NWP) de alta resolução para embarcações em alto-mar via satélite. Embora os dados meteorológicos globais (ex: do ECMWF) ofereçam alta resolução espacial e temporal, seu volume é massivo (ex: ~15 GB por tempo de início para o ECMWF). Os sistemas de comunicação via satélite existentes utilizados em ambientes marítimos, especificamente o Beidou-3 e o Tiantong-1 da China, enfrentam limitações severas. As mensagens curtas do Beidou-3 são restritas a aproximadamente 14.000 bits (regional) ou 560 bits (global), enquanto o Tiantong-1, embora ofereça maior largura de banda (384 Kbps), sofre com alto consumo de energia e latência. Consequentemente, os métodos atuais de comunicação marítima podem suportar apenas trocas simples de dados, falhando em entregar os conjuntos de dados massivos necessários para previsões numéricas precisas no mar. O desafio central é comprimir esses conjuntos de dados significativamente sem perder as características meteorológicas essenciais necessárias para a análise do tempo.

Metodologia
Os autores propõem um algoritmo de compressão híbrido que combina técnicas de compressão com perda (lossy) e sem perda (lossless), especificamente adaptadas para dados de nuvem de pontos que representam campos meteorológicos (utilizando a Pressão ao Nível Médio do Mar, PRMSL, como o principal estudo de caso). O processo envolve quatro etapas principais:

1. Separação de Escala e Processamento de Dados:

   • Os dados originais de grade de alta resolução (0,125°) são decompostos em um esquema de aninhamento de grade de múltiplas camadas (G100, G200, G300) correspondentes a diferentes escalas de sistemas meteorológicos (sinótica e mesoescala).
   • Isso envolve a extração de autovalores centrais (MAX/MIN) das matrizes de grade incorporadas para representar a intensidade e a distribuição espacial do sistema meteorológico.

2. Compressão Primária com Perda (Codificação Octree de Plano de Redução de Dimensionalidade):

   • Para eliminar a redundância preservando as características centrais, os autores projetam um esquema de "codificação octree de plano de redução de dimensionalidade".
   • Os dados são estruturados em um octree de plano de dimensão reduzida onde cada nó representa um elemento de volume.
   • A codificação Morton é aplicada aos nós filhos da estrutura octree. Se um nó filho contém dados, ele é codificado como '1'; caso contrário, como '0'.
   • Nós com o código '00000000' (indicando ausência de dados em todas as oito direções) são removidos, realizando a desduplicação eficaz do conjunto de dados.
   • Fusão de Dados: Para abordar os "vazios de nuvem de pontos" criados por essa remoção, um método de fusão de dados é aplicado. Se uma grade contiver menos de dois pontos de dados após a compressão, ela é preenchida com dados da escala mais grosseira (DDLarge) para evitar erros na análise de isóbaras ou na detecção de limites de sistemas meteorológicos.

3. Compressão Secundária Sem Perda (Tabela Criptográfica Simétrica de Ponteiro de Matriz Tripla):

   • Para reduzir ainda mais o tamanho sem perda de dados, é aplicado um algoritmo de compressão sem perda baseado em uma "tabela criptográfica simétrica de ponteiro de matriz tripla".
   • Transformação de Pressão: Os valores de PRMSL (tipicamente 600–1400 hPa) são deslocados em -500, reduzindo o requisito de inteiro de 4 bits para 3 bits.
   • Fatiamento de Matriz: A grade global é fatiada em 32 regiões (45°×45°).
   • Codificação de Ponteiro: O algoritmo utiliza três níveis de matriz aninhados (G300, G200, G100). Em vez de transmitir valores brutos, o sistema transmite ponteiros (índices de linha/coluna) que referenciam a localização de valores não vazios dentro dessas matrizes.
   • O fluxo de dados é organizado como: Código da Região (QB) $\rightarrow$ ponteiros G300 $\rightarrow$ ponteiros G200 $\rightarrow$ ponteiros G100 $\rightarrow$ Valor real de PRMSL. Esta estrutura é criptografada usando uma tabela criptográfica simétrica para transmissão segura.

4. Transmissão:

   • Os dados comprimidos são transmitidos via satélite Tiantong-1 e são teoricamente conversíveis em mensagens curtas do Beidou-3.

Principais Contribuições

• Design de Algoritmo Híbrido: O artigo introduz um novo framework de compressão de dois estágios que integra compressão com perda consciente de escala (codificação octree) com compressão sem perda baseada em ponteiros.
• Preservação de Características Meteorológicas: Diferente da compressão genérica, o estágio com perda é explicitamente projetado para preservar as "características meteorológicas centrais" de diferentes escalas de sistemas meteorológicos, garantindo que os dados reconstruídos permaneçam cientificamente válidos para análise.
• Compatibilidade com Satélite: O algoritmo é especificamente otimizado para se ajustar às rigorosas restrições da comunicação via satélite marítima (mensagens curtas do Beidou-3 e largura de banda do Tiantong-1), permitindo a transmissão de dados de NWP que anteriormente eram impossíveis.
• Validação de Campo: O estudo inclui testes em tempo real no navio de pesquisa Yuezhanyuke No.2, validando o algoritmo sob condições oceânicas reais.

Resultados
O estudo utilizou dados de previsão numérica do ECMWF de julho a dezembro de 2021 para testes:

• Eficiência de Compressão:
  • Dados Originais: ~13,9 MB (para um único elemento, PRMSL, em uma região específica).
  • Após Compressão com Perda: Reduzido para ~29–31 KB (Taxa média de compressão com perda: 0,21%).
  • Após Compressão Sem Perda: Reduzido para ~1,6 KB (Taxa média de compressão sem perda: 5,28%).
  • Compressão Total: A taxa de compressão total alcançada é de aproximadamente 0,112‰ (um fator de redução de quase 10.000 vezes).
• Desempenho de Transmissão (Teste de Satélite Tiantong-1):
  • Dados Não Comprimidos: O tempo médio de transmissão foi de 578,2 segundos com interrupções e falhas frequentes.
  • Com Compressão com Perda: O tempo médio reduziu para 12,4 segundos.
  • Totalmente Comprimido: O tempo médio de transmissão caiu para 5,2 segundos com transmissão estável e sem falhas.
• Conversão para Beidou-3: O conjunto de dados regional comprimido (QB(2,7)) cabe em 1 mensagem curta do Beidou-3. Um conjunto de dados global único comprimido requer 32 mensagens, e um conjunto de dados global de 10 dias requer 1.664 mensagens.

Significância e Alegações
O artigo afirma que esta tecnologia resolve o gargalo de transmissão para big data meteorológica marinha. Ao reduzir um arquivo de 13,9 MB para menos de 1,7 KB, o algoritmo permite a entrega de produtos de previsão numérica de alta resolução para navios em áreas oceânicas remotas onde a largura de banda é limitada e instável.

• Tempestividade: A transmissão de um conjunto de dados regional leva apenas 5,2 segundos via Tiantong-1, ou pode ser enviada via mensagens curtas do Beidou-3 em minutos, atendendo às necessidades de tempo real da navegação oceânica.
• Confiabilidade: Testes de campo demonstraram que a transmissão de dados comprimidos é estável e confiável, ao contrário dos dados não comprimidos que falhavam frequentemente.
• Aplicação Prática: Os dados comprimidos podem ser descriptografados no navio usando a tabela criptográfica simétrica para restaurar os dados para análise, desenho gráfico e integração de sistemas.
• Propriedade Intelectual: Os autores observam que o algoritmo central e o esquema de otimização de transmissão são cobertos por duas patentes de invenção concedidas (CN116683915B na China e NL2037367 na Holanda), confirmando a novidade e a maturidade técnica do método proposto.