Research on compression technology of meteorological big data based on satellite communication

Resumen Técnico: Tecnología de Compresión para Big Data Meteorológico Basada en Comunicación Satelital

Planteamiento del Problema
El artículo aborda el cuello de botella crítico en la transmisión de datos de predicción numérica del tiempo (NWP, por sus siglas en inglés) de alta resolución a embarcaciones en alta mar a través de satélites. Aunque los datos meteorológicos globales (por ejemplo, de ECMWF) ofrecen una alta resolución espacial y temporal, su volumen es masivo (por ejemplo, ~15 GB por tiempo de inicio para ECMWF). Los sistemas de comunicación satelital existentes utilizados en entornos marítimos, específicamente el Beidou-3 y el Tiantong-1 de China, enfrentan limitaciones severas. Los mensajes cortos de Beidou-3 están restringidos a aproximadamente 14,000 bits (regionales) o 560 bits (globales), mientras que el Tiantong-1, aunque ofrece un mayor ancho de banda (384 Kbps), sufre de alto consumo de energía y latencia. En consecuencia, los métodos de comunicación marítima actuales solo pueden soportar intercambios de datos simples, fallando en la entrega de los conjuntos de datos masivos requeridos para un pronóstico numérico preciso en el mar. El desafío central es comprimir estos conjuntos de datos significativamente sin perder las características meteorológicas esenciales requeridas para el análisis del clima.

Metodología
Los autores proponen un algoritmo de compresión híbrido que combina técnicas de compresión con pérdida (lossy) y sin pérdida (lossless), diseñado específicamente para datos de nubes de puntos que representan campos meteorológicos (utilizando la Presión Media sobre el Nivel del Mar, PRMSL, como caso de estudio principal). El proceso consta de cuatro etapas principales:

1. Separación de Escalas y Procesamiento de Datos:

   • Los datos de la cuadrícula de alta resolución original (0.125°) se descomponen en un esquema de anidamiento de cuadrícula multicapa (G100, G200, G300) correspondiente a diferentes escalas de sistemas meteorológicos (sinóptica y mesoescala).
   • Esto implica la extracción de autovalores centrales (MAX/MIN) de las matrices de cuadrícula incrustadas para representar la intensidad y la distribución espacial del sistema meteorológico.

2. Compresión Primaria con Pérdida (Codificación de Árbol Octal de Plano de Reducción de Dimensionalidad):

   • Para eliminar la redundancia preservando las características centrales, los autores diseñan un esquema de "codificación de árbol octal de plano de reducción de dimensionalidad".
   • Los datos se estructuran en un árbol octal de plano de dimensión reducida donde cada nodo representa un elemento de volumen.
   • Se aplica la codificación Morton a los nodos hijos de la estructura del árbol octal. Si un nodo hijo contiene datos, se codifica como '1'; de lo contrario, como '0'.
   • Los nodos con un código de '00000000' (que indica la ausencia de datos en cualquiera de las ocho direcciones) se eliminan, de-duplicando efectivamente el conjunto de datos.
   • Fusión de Datos: Para abordar los "vacíos de nubes de puntos" creados por esta eliminación, se aplica un método de fusión de datos. Si una cuadrícula contiene menos de dos puntos de datos después de la compresión, se rellena con datos de la escala más gruesa (DDLarge) para evitar errores en el análisis isobárico o en la detección de límites de sistemas meteorológicos.

3. Compresión Secundaria Sin Pérdida (Tabla Criptográfica Simétrica de Punteros de Matriz Triple):

   • Para reducir aún más el tamaño sin pérdida de datos, se aplica un algoritmo de compresión sin pérdida basado en una "tabla criptográfica simétrica de punteros de matriz triple".
   • Transformación de Presión: Los valores de PRMSL (típicamente 600–1400 hPa) se desplazan en -500, reduciendo el requisito de enteros de 4 bits a 3 bits.
   • Segmentación de Matriz: La cuadrícula global se divide en 32 regiones (45°×45°).
   • Codificación de Punteros: El algoritmo utiliza tres niveles de matrices anidadas (G300, G200, G100). En lugar de transmitir valores brutos, el sistema transmite punteros (índices de fila/columna) que hacen referencia a la ubicación de los valores no vacíos dentro de estas matrices.
   • El flujo de datos se organiza como: Código de Región (QB) $\rightarrow$ punteros G300 $\rightarrow$ punteros G200 $\rightarrow$ punteros G100 $\rightarrow$ Valor real de PRMSL. Esta estructura se encripta mediante una tabla criptográfica simétrica para una transmisión segura.

4. Transmisión:

   • Los datos comprimidos se transmiten vía el satélite Tiantong-1 y son teóricamente convertibles en mensajes cortos de Beidou-3.

Contribuciones Clave

• Diseño de Algoritmo Híbrido: El artículo introduce un novedoso marco de compresión de dos etapas que integra la compresión con pérdida sensible a la escala (codificación de árbol octal) con la compresión sin pérdida basada en punteros.
• Preservación de Características Meteorológicas: A diferencia de la compresión genérica, la etapa con pérdida está diseñada explícitamente para preservar las "características meteorológicas centrales" de diferentes escalas de sistemas climáticos, asegurando que los datos reconstruidos sigan siendo científicamente válidos para el análisis.
• Compatibilidad Satelital: El algoritmo está optimizado específicamente para ajustarse a las estrictas restricciones de la comunicación satelital marítima (mensajes cortos Beidou-3 y ancho de banda de Tiantong-1), permitiendo la transmisión de datos NWP que anteriormente era imposible.
• Validación de Campo: El estudio incluye pruebas en el mundo real en el buque de investigación Yuezhanyuke No.2, validando el algoritmo bajo condiciones oceánicas reales.

Resultos
El estudio utilizó datos de predicción numérica de ECMWF de julio a diciembre de 2021 para las pruebas:

• Eficiencia de Compresión:
  • Datos Originales: ~13.9 MB (para un solo elemento, PRMSL, en una región específica).
  • Tras la Compresión con Pérdida: Reducido a ~29–31 KB (Tasa promedio de compresión con pérdida: 0.21%).
  • Tras la Compresión sin Pérdida: Reducido a ~1.6 KB (Tasa promedio de compresión sin pérdida: 5.28%).
  • Compresión Total: La tasa de compresión total alcanzada es aproximadamente de 0.112‰ (un factor de reducción de casi 10,000 veces).
• Desempeño de Transmisión (Prueba de Satélite Tiantong-1):
  • Datos No Comprimidos: El tiempo de transmisión promedio fue de 578.2 segundos con interrupciones y fallos frecuentes.
  • Con Compresión con Pérdida: El tiempo promedio se redujo a 12.4 segundos.
  • Totalmente Comprimido: El tiempo de transmisión promedio cayó a 5.2 segundos con una transmisión estable y libre de fallos.
• Conversión a Beidou-3: El conjunto de datos regional comprimido (QB(2,7)) cabe en 1 mensaje corto de Beidou-3. Un conjunto de datos global comprimido requiere 32 mensajes, y un conjunto de datos global de 10 días requiere 1,664 mensajes.

Significancia y Reivindicaciones
El artículo afirma que esta tecnología resuelve el cuello de botella de la transmisión de Big Data meteorológica marina. Al reducir un archivo de 13.9 MB a menos de 1.7 KB, el algoritmo permite la entrega de productos de pronóstico numérico de alta resolución a barcos en áreas oceánicas remotas donde el ancho de banda es limitado e inestable.

• Oportunidad (Timeliness): La transmisión de un conjunto de datos regional toma solo 5.2 segundos vía Tiantong-1, o puede enviarse mediante mensajes cortos de Beidou-3 en minutos, cumpliendo con las necesidades de tiempo real de la navegación oceánica.
• Fiabilidad: Las pruebas de campo demostraron que la transmisión de datos comprimidos es estable y confiable, a diferencia de los datos no comprimidos que fallaban frecuentemente.
• Aplicación Práctica: Los datos comprimidos pueden desencriptarse en el barco utilizando la tabla criptográfica simétrica para restaurar los datos para su análisis, dibujo gráfico e integración de sistemas.
• Propiedad Intelectual: Los autores señalan que el algoritmo central y el esquema de optimización de transmisión están cubiertos por dos patentes de invención concedidas (CN116683915B en China y NL2037367 en los Países Bajos), confirmando la novedad y la madurez técnica del método propuesto.