Requirement-Driven Lossy Compression of Weather and Climate Fields

Technische Samenvatting: Vereiste-gestuurde Verliesarme Compressie van Weer- en Klimaatvelden

Probleemstelling
De archieven voor weer- en klimaatdata groeien sneller dan de opslagcapaciteit, wat noodzaakt tot verliesarme compressie. De operationele adoptie wordt echter gehinderd door een gebrek aan vertrouwen; een reconstructie is alleen bruikbaar als de fout begrensd is door expliciete, door machines controleerbare nauwkeurigheidseisen. De technische uitdaging is niet enkel het minimaliseren van distortie bij een vaste bitrate, maar het maximaliseren van de compressieratio onder restricties die gedefinieerd zijn door externe domeinwetenschappers en geverifieerd worden door referentiecontroleurs waar de compressor geen controle over heeft. Dit werk behandelt vijf verschillende compressieproblemen met betrekking tot operationele atmosferische data, variërend van satellietvelden met ontbrekende waarden tot grote ensembles van ERA5-variabelen met diverse, per variabele nauwkeurigheidseisen.

Methodologie
De auteur stelt een uniforme architectuur voor die ontworpen is om structureel verschillende compressieproblemen op te lossen via een vereiste-gestuurde aanpak in plaats van een data-gestuurde heuristiek.

1. Codec-selectie via Vereiste-analyse: In plaats van een codec te selecteren op basis van datastatistieken, analyseert het systeem de structuur van de nauwkeurigheidseis (bijv. absolute versus relatieve grenzen, puntgewijze versus gemiddelde grenzen, grenzen op afgeleiden). Op basis van deze structuur selecteert het uit vier codec-families:

   • Zero-anchored uniform grid: Voor absolute grenzen, waarbij waarden naar een rooster worden afgerond dat verankerd is bij nul om exacte nullen te behouden (cruciaal voor neerslag en gemiddelde grenzen).
   • Log-ratio grid: Voor puntgewijze relatieve grenzen, waarbij de data getransformeerd wordt via $\log_2|x|$ en een uniform rooster wordt toegepast.
   • Transform codec (SPERR/SZ3) met optionele reparatie: Voor gladde velden. Deze worden uitgevoerd op minder strikte instellingen dan hun nominale garantie. Indien een puntgewijze grens wordt overschreden, herstelt een correctielaag specifieke punten.
   • Alleen-correctielaag: Een constante (nul) voorspelling omgeven door waarborgen, dienend als baseline voor velden die gedomineerd worden door constanten.

2. Entropie-fase: Alle families eindigen in een gedeelde entropiefase bestaande uit tokenisatie van verschillende waarden, een bitmap-index om frequente tokens uit de letterlijke stroom te tillen, en ruwe LZMA2-compressie. Ontbrekende waarden (NaN) worden afgehandeld via een gepakte bitmap of door afronding in floating point zodat NaN als een distinct token overleeft tijdens transformaties.

3. Checker-in-the-Loop Parameter Zoektocht: Het systeem maakt gebruik van een één-parameter zoektocht waarbij een "looseness"-parameter $p$ de nominale instelling van de geselecteerde codec schaalt. De zoektocht start bij $p=1$, verdubbelt totdat de referentiecontroleur de reconstructie afwijst, en bisecteert vervolgens om de optimale instelling te vinden. Voor families die gebruikmaken van correctielagen, neemt de zoektocht de maximale ratio over geëvalueerde instellingen in plaats van de meest ruime toelaatbare instelling, omdat de ratio-curve niet-monotoon is.

4. Fidelity Criterium: De auteur introduceert een criterium om "toelaatbare maar degeneratieve" reconstructies af te wijzen. Als een gemiddelde-foutengrens de eigen variabiliteit van het veld overschrijdt, kan een codec een constant veld reconstrueren (waardoor de data wordt gewist) terwijl technisch gezien aan de grens wordt voldaan. Het systeem dwingt een restrictie af dat de reconstructie een minimaal aantal verschillende waarden moet behouden en de fout ten opzichte van de standaarddeviatie ($\sigma$) van het veld moet handhaven.

Belangrijkste Resultaten
Het systeem werd geëvalueerd op vijf problemen (P1–P5) met nul schendingen tegen de referentiecontroleurs:

• P1 (Satelliet Waterdamp Pad): Bereikte een compressieratio van ×47,44 op een veld met 69% ontbrekende waarden (NaN), waarmee het baselines zoals SZ3 (×30,3) en SPERR (×20,1) overtrof.
• P2 (Neerslag): Bereikte ×19,07 op een veld met exacte nullen en een scheve distributie. Hier presteerde een uniform log-ratio grid beter dan transform-codecs, die er niet in slaagden de grenzen op de ruisige data te handhaven.
• P3 (Specifieke Luchtvochtigheid Afgeleide): Bereikte ×83,88 door een longitudinale afgeleide te beperken. De transform-codec (SPERR) met een correctielaag was zeer effectief omdat fouten in gladde velden ruimtelijk gecorreleerd zijn, waardoor slechts weinig reparaties nodig zijn.
• P4 & P5 (ERA5 Variabelen):
  • P4 (16 Drukhoogte-variabelen): Mediaan ratio van ×55,68 (versus baseline ×46,14). Transform-codecs domineerden (9/16 variabelen).
  • P5 (226 Single-Level Variabelen): Mediaan ratio van ×50,76 (versus baseline ×22,88). Uniforme grids domineerden (170/226 variabelen), met name voor zero-inflated oppervlaktevelden.
  • Impact van Fidelity: Zonder het fidelity-criterium zouden 28 van de 226 single-level variabelen als constante velden gereconstrueerd worden met ratio's tot ×35.194. Het toepassen van het criterium verminderde de maximale ratio tot ×6.530, maar zorgde ervoor dat de data niet werd gewist.

Betekenis en Claims
Het papier claimt drie primaire bevindingen die verder gaan dan de specifieke datasets:

1. Interactie tussen Vereiste en Codec: De optimale keuze tussen transform-codering en uniforme kwantisatie wordt bepaald door de interactie tussen de regelmaat van het veld en het type grens. Gladde velden onder puntgewijze grenzen bevoordelen transform-codering, terwijl ruisige of zero-inflated velden onder gemiddelde grenzen uniform grids bevoordelen.
2. Kosten van Correctie: Een correctielaag garandeert toelaatbaarheid, maar de efficiëntie ervan hangt af van het deel van de punten dat reparatie behoeft. Het is rendabel voor afgeleide-restricties op gladde velden (P3), maar inefficiënt voor puntgewijze restricties op ruisige velden (P2).
3. Toelaatbaarheid is Onvoldoende: Het artikel demonstreert dat voldoen aan een gepubliceerde nauwkeurigheidseis niet voldoende is als acceptatiecriterium als de grens toestaat dat de variabiliteit van het veld wordt gewist. De auteur beargumenteert dat resultaten van vereiste-gestuurde compressie samen met een fidelity-verklaring gerapporteerd moeten worden (bijv. aantal unieke waarden en relatieve fout) en dat codecs als herbouwbare configuraties gepubliceerd moeten worden om onafhankelijke verificatie mogelijk te maken.

Aanvullende Observaties
Het evaluatieproces onthulde twee significante problemen in de probleemdefinities zelf:

• Afgeleide-Restrictie Fout: De evaluatiecode voor P3 deelde de afgeleide door $357,5^\circ$ in plaats van de beoogde $2,5^\circ$, waardoor de grens ongeveer 143× ruimer was dan gedocumenteerd. De auteur rapporteerde de resultaten tegen de geïmplementeerde (ruimere) restrictie, terwijl dit expliciet werd vermeld.
• Gemiddelde-Fout Grenzen: Voor 28 variabelen overschreed de gepubliceerde gemiddelde-foutengrens de eigen magnitude van het veld, wat technisch gezien een reconstructie van een constant veld toestaat. Dit benadrukt een gebrek in de formulering van sommige vereisten voor benchmarking.

Het werk concludeert dat een enkele architectuur, gestuurd door vereiste-analyse en geverifieerd door externe controleurs met fidelity-bewakers, effectief diverse atmosferische compressieproblemen kan oplossen terwijl de wetenschappelijke integriteit behouden blijft.