Requirement-Driven Lossy Compression of Weather and Climate Fields

Riepilogo Tecnico: Compressione con Perdita Guidata dai Requisiti per Campi Meteorologici e Climatici

Enunciato del Problema
Gli archivi di dati meteorologici e climatici si stanno espandendo più velocemente delle capacità di archiviazione, rendendo necessaria la compressione con perdita (lossy compression). Tuttavia, l'adozione operativa è ostacolata da una mancanza di fiducia; una ricostruzione è utilizzabile solo se il suo errore è limitato da requisiti di accuratezza espliciti e verificabili da macchine. La sfida ingegneristica non è semplicemente minimizzare la distorsione a un tasso fisso, ma massimizzare il rapporto di compressione soggetto a vincoli definiti da scienziati del dominio esterni e verificati da controllori di riferimento che il compressore non controlla. Questo lavoro affronta cinque distinti problemi di compressione riguardanti dati atmosferici operativi, che spaziano da campi satellitari con valori mancanti a grandi ensemble di variabili ERA5 con diversi requisiti di accuratezza per variabile.

Metodologia
L'autore propone un'architettura unificata progettata per risolvere problemi di compressione strutturalmente diversi attraverso un approccio guidato dai requisiti piuttosto che da euristiche basate sui dati.

1. Selezione del Codec tramite Analisi dei Requisiti: Invece di selezionare un codec in base alle statistiche dei dati, il sistema analizza la struttura del requisito di accuratezza (ad esempio, limiti assoluti vs. relativi, limiti puntuali vs. medi, limiti sulle derivate). In base a questa struttura, seleziona tra quattro famiglie di codec:

   • Griglia uniforme ancorata allo zero: Per limiti assoluti, agganciando i valori a una griglia ancorata allo zero per preservare gli zeri esatti (fondamentale per le precipitazioni e i limiti medi).
   • Griglia log-ratio: Per limiti relativi puntuali, trasformando i dati tramite $\log_2|x|$ e applicando una griglia uniforme.
   • Codec di trasformazione (SPERR/SZ3) con riparazione opzionale: Per campi regolari, questi vengono eseguiti con impostazioni più blande rispetto alla loro garanzia nominale. Se viene violato un limite puntuale, uno strato di correzione ripara i punti specifici.
   • Solo strato di correzione: Una predizione costante (zero) avvolta in salvaguardie, che funge da base per campi dominati da valori costanti.

2. Stadio di Entropia: Tutte le famiglie terminano in uno stadio di entropia condiviso che consiste nella tokenizzazione di valori distinti, un indice bitmap per sollevare i token frequenti dal flusso letterale e una compressione LZMA2 grezza. I valori mancanti (NaN) sono gestiti tramite una bitmap compatta o tramite arrotondamento in virgola mobile in modo che il NaN sopravviva alle trasformazioni come un token distinto.

3. Ricerca dei Parametri con Checker-in-the-Loop: Il sistema impiega una ricerca a un parametro dove un parametro di "tolleranza" $p$ scala l'impostazione nominale del codec selezionato. La ricerca parte da $p=1$, raddoppia finché il controllore di riferimento rifiuta la ricostruzione, e poi biseca per trovare l'impostazione ottimale. Per le famiglie che utilizzano strati di correzione, la ricerca prende il rapporto massimo tra le impostazioni valutate invece del più lassa ammissibile, poiché la curva del rapporto non è monotona.

4. Criterio di Fedeltà: L'autore introduce un criterio per rifiutare ricostruzioni "ammissibili ma degenerate". Se un limite di errore medio supera la variabilità del campo stesso, un codec potrebbe ricostruire un campo costante (cancellando i dati) pur soddisfacendo tecnicamente il limite. Il sistema impone un vincolo secondo cui la ricostruzione deve mantenere un numero minimo di valori distinti e mantenere un errore rispetto alla deviazione standard ($\sigma$) del campo.

Risultati Chiave
Il sistema è stato valutato su cinque problemi (P1–P5) con zero violazioni rispetto ai controllori di riferimento:

• P1 (Vapore acqueo nel percorso satellitare): Ha raggiunto un rapporto di compressione di ×47,44 su un campo con il 69% di valori mancanti (NaN), superando i baseline come SZ3 (×30,3) e SPERR (×20,1).
• P2 (Precipitazioni): Ha raggiunto ×19,07 su un campo con zeri esatti e una distribuzione asimmetrica. In questo caso, una griglia log-ratio uniforme ha superato i codec di trasformazione, che non sono riusciti a mantenere i limiti sui dati rumorosi.
• P3 (Derivata dell'umidità specifica): Ha raggiunto ×83,88 vincolando una derivata longitudinale. Il codec di trasformazione (SPERR) con uno strato di correzione è stato altamente efficace perché gli errori nei campi regolari sono spazialmente correlati, richiedendo poche riparazioni.
• P4 & P5 (Variabili ERA5):
  • P4 (16 variabili a livelli di pressione): Rapporto mediano di ×55,68 (rispetto al baseline ×46,14). I codec di trasformazione hanno dominato (9/16 variabili).
  • P5 (226 variabili a livello singolo): Rapporto mediano di ×50,76 (rispetto al baseline ×22,88). Le griglie uniformi hanno dominato (170/226 variabili), particolarmente per i campi superficiali con eccesso di zeri.
  • Impatto della fedeltà: Senza il criterio di fedeltà, 28 delle 226 variabili a livello singolo sarebbero state ricostruite come campi costanti con rapporti fino a ×35.194. L'applicazione del criterio ha ridotto il rapporto massimo a ×6.530, ma ha garantito che i dati non venissero cancellati.

Significatività e Rivendicazioni
L'articolo rivendica tre scoperte primarie che si generalizzano oltre i dataset specifici:

1. Interazione Requisito-Codec: La scelta ottimale tra codifica di trasformazione e quantizzazione uniforme è governata dall'interazione tra la regolarità del campo e il tipo di limite. I campi regolari sotto limiti puntuali favoriscono la codifica di trasformazione, mentre i campi rumorosi o con eccesso di zeri sotto limiti medi favoriscono le griglie ancorate allo zero.
2. Costo della Correzione: Uno strato di correzione garantisce l'ammissibilità, ma la sua efficienza dipende dalla frazione di punti che necessitano di riparazione. È profittevole per i vincoli di derivata su campi regolari (P3), ma inefficiente per i vincoli puntuali su campi rumorosi (P2).
3. L'ammissibilità non è sufficiente: Il documento dimostra che soddisfare un requisito di accuratezza pubblicato non è un criterio di accettazione sufficiente se il limite permette la cancellazione della variabilità del campo. L'autore sostiene che i risultati della compressione guidata dai requisiti debbano essere riportati insieme a una dichiarazione di fedeltà (ad esempio, conteggio dei valori distinti e errore relativo) e che i codec debbano essere pubblicati come configurazioni ricostruibili per garantire una verifica indipendente.

Osservazioni Aggiuntive
Il processo di valutazione ha rivelato due problemi significativi nelle definizioni stesse dei problemi:

• Errore del vincolo di derivata: Il codice di valutazione per P3 ha diviso la derivata per $357,5^\circ$ invece dei $2,5^\circ$ previsti, rendendo il limite circa 143 volte più lasso di quanto documentato. L'autore ha riportato i propri risultati rispetto al vincolo implementato (più lasso) annotando esplicitamente la discrepanza.
• Limiti di Errore Medio: Per 28 variabili, il limite di errore medio pubblicato superava l'entità media del campo stesso, consentendo tecnicamente una ricostruzione a campo costante. Ciò evidenzia un difetto nel modo in cui alcuni requisiti sono formulati per il benchmarking.

Il lavoro conclude che un'unica architettura, guidata dall'analisi dei requisiti e verificata da controllori esterni con protezioni di fedeltà, può risolvere efficacemente diversi problemi di compressione atmosferica mantenendo l'integrità scientifica.