Research on compression technology of meteorological big data based on satellite communication

Sintesi Tecnica: Tecnologia di Compressione per i Big Data Meteorologici basata sulla Comunicazione Satellitare

Problematica
Il documento affronta il collo di bottiglia critico nella trasmissione di dati di previsione numerica del tempo (NWP) ad alta risoluzione alle navi oceaniche tramite satellite. Sebbene i dati meteorologici globali (ad esempio, da ECMWF) offrano una risoluzione spaziale e temporale elevata, il loro volume è massiccio (ad esempio, circa 15 GB per ogni tempo di inizio per ECMWF). I sistemi di comunicazione satellitare esistenti utilizzati in ambienti marittimi, specificamente il Beidou-3 e il Tiantong-1 della Cina, affrontano gravi limitazioni. I messaggi brevi del Beidou-3 sono limitati a circa 14.000 bit (regionali) o 560 bit (globali), mentre il Tiantong-1, pur offrendo una larghezza di banda maggiore (384 Kbps), soffre di un alto consumo di energia e latenza elevata. Di conseguenza, gli attuali metodi di comunicazione marittima possono supportare solo scambi di dati semplici, non riuscendo a fornire i massicci set di dati necessari per una previsione numerica accurata in mare. La sfida principale è comprimere questi dataset in modo significativo senza perdere le caratteristiche meteorologiche essenziali richieste per l'analisi del tempo.

Metodologia
Gli autori propongono un algoritmo di compressione ibrido che combina tecniche di compressione lossy (con perdita) e lossless (senza perdita), specificamente progettate per i dati di nuvole di punti che rappresentano i campi meteorologici (utilizzando la Pressione al Livello del Mare, PRMSL, come caso di studio principale). Il processo prevede quattro fasi principali:

1. Separazione delle Scale e Processamento dei Doti:

   • I dati della griglia ad alta risoluzione originale (0,125°) vengono decomposti in uno schema di annidamento di griglie multi-livello (G100, G200, G300) corrispondenti a diverse scale dei sistemi meteorologici (sinottica e mesoscala).
   • Ciò comporta l'estrazione degli autovettori core (MAX/MIN) dalle matrici di griglia incorporate per rappresentare l'intensità e la distribuzione spaziale del sistema meteorologico.

2. Compressione Lossy Primaria (Codifica Octree di Piano di Riduzione della Dimensionalità):

   • Per eliminare la ridondanza preservando al contempo le caratteristiche fondamentali, gli autori progettano uno schema di "codifica octree di piano di riduzione della dimensionalità".
   • I dati sono strutturati in un octree di piano a dimensionalità ridotta dove ogni nodo rappresenta un elemento di volume.
   • La codifica di Morton viene applicata ai nodi figli della struttura octree. Se un nodo figlio contiene dati, viene codificato come '1'; altrimenti, come '0'.
   • I nodi con un codice '00000000' (che indica l'assenza di dati in tutte e otto le direzioni) vengono rimossi, de-duplicando efficacemento il dataset.
   • Fusione dei Dati: Per affrontare i "vuoti nelle nuvole di punti" creati da questa rimozione, viene applicato un metodo di fusione dei dati. Se una griglia contiene meno di due punti dati dopo la compressione, viene riempita con i dati della scala più grossolana (DDLarge) per prevenire errori nell'analisi isobara o nella rilevazione dei confini dei sistemi meteorologici.

3. Compressione Lossless Secondaria (Tabella Crittografica Simmetrica a Puntatori di Matrice Tripla):

   • Per ridurre ulteriormente le dimensioni senza perdita di dati, viene applicato un algoritmo di compressione lossless basato su una "tabella crittografica simmetrica a puntatori di matrice tripla".
   • Trasformazione della Pressione: I valori PRMSL (tipicamente 600–1400 hPa) vengono traslati di -500, riducendo il requisito di interi da 4 bit a 3 bit.
   • Suddivisione della Matrice: La griglia globale è suddivisa in 32 regioni (45°×45°).
   • Codifica a Puntatori: L'algoritmo utilizza tre livelli di matrice annidati (G300, G200, G100). Invece di trasmettere i valori grezzi, il sistema trasmette i puntatori (indici riga/colonna) che fanno riferimento alla posizione dei valori non vuoti all'interno di queste matrici.
   • Il flusso di dati è organizzato come: Codice Regione (QB) $\rightarrow$ puntatori G300 $\rightarrow$ puntatori G200 $\rightarrow$ puntatori G100 $\rightarrow$ Valore effettivo PRMSL. Questa struttura è criptata utilizzando una tabella crittografica simmetrica per una trasmissione sicura.

4. Trasmissione:

   • I dati compressi vengono trasmessi tramite il satellite Tiantong-1 e sono teoricamente convertibili in messaggi brevi Beidou-3.

Contributi Chiave

• Design dell'Algoritmo Ibrido: Il documento introduce un nuovo framework di compressione a due stadi che integra la compressione lossy sensibile alla scala (codifica octree) con la compressione lossless basata su puntatori.
• Preservazione delle Caratteristiche Meteorologiche: A differenza della compressione generica, la fase lossy è esplicitamente progettata per preservare le "caratteristiche meteorologiche core" di diversi sistemi meteorologici di scala, garantendo che i dati ricostruiti rimangano scientificamente validi per l'analisi.
• Compatibilità con i Satelliti: L'algoritmo è specificamente ottimizzato per adattarsi ai severi vincoli della comunicazione satellitare marittima (messaggi brevi Beidou-3 e larghezza di banda Tiantong-1), consentendo la trasmissione di dati NWP precedentemente impossibile.
• Validazione sul Campo: Lo studio include test nel mondo reale sulla nave da ricerca Yuezhanyuke No.2, validando l'algoritmo in reali condizioni oceaniche.

Risultati
Lo studio ha utilizzato i dati di previsione numerica ECMWF da luglio a dicembre 2021 per i test:

• Efficienza di Compressione:
  • Dati Originali: ~13,9 MB (per un singolo elemento, PRMSL, in una regione specifica).
  • Dopo la Compressione Lossy: Ridotto a ~29–31 KB (Tasso di compressione lossy medio: 0,21%).
  • Dopo la Compressione Lossless: Ridotto a ~1,6 KB (Tasso di compressione lossless medio: 5,28%).
  • Compressione Totale: Il rapporto di compressione totale ottenuto è di circa 0,112‰ (un fattore di riduzione di quasi 10.000 volte).
• Prestazioni di Trasmissione (Test con Satellite Tiantong-1):
  • Dati Non Compressi: Il tempo di trasmissione medio era di 578,2 secondi con frequenti interruzioni e fallimenti.
  • Compresso con Lossy: Il tempo medio è ridotto a 12,4 secondi.
  • Completamente Compresso: Il tempo di trasmissione medio è sceso a 5,2 secondi con una trasmissione stabile e priva di errori.
• Conversione Beidou-3: Il dataset regionale compresso (QB(2,7)) rientra in 1 messaggio breve Beidou-3. Un singolo dataset globale compresso richiede 32 messaggi, e un dataset globale di 10 giorni richiede 1.664 messaggi.

Significatività e Rivendicazioni
Il documento afferma che questa tecnologia risolve il collo di bottiglia della trasmissione dei big data meteorologici marini. Riducendo un file da 13,9 MB a meno di 1,7 KB, l'algoritmo consente la consegna di prodotti di previsione numerica ad alta risoluzione alle navi in aree oceaniche remote dove la larghezza di banda è limitata e instabile.

• Tempestività: La trasmissione di un dataset regionale richiede solo 5,2 secondi tramite Tiantong-1, o può essere inviata tramite messaggi brevi Beidou-3 entro pochi minuti, soddisfacendo le esigenze in tempo reale della navigazione oceanica.
• Affidabilità: I test sul campo hanno dimostrato che la trasmissione dei dati compressi è stabile e affidabile, a differenza dei dati non compressi che fallivano frequentemente.
• Applicazione Pratica: I dati compressi possono essere decriptati sulla nave utilizzando la tabella crittografica simmetrica per ripristinare i dati per l'analisi, il disegno grafico e l'integrazione di sistema.
• Proprietà Intellettuale: Gli autori sottolineano che il core dell'algoritmo e lo schema di ottimizzazione della trasmissione sono coperti da due brevetti di invenzione concessi (CN116683915B in Cina e NL2037367 nei Paesi Bassi), confermando la novità e la maturità tecnica del metodo proposto.