Requirement-Driven Lossy Compression of Weather and Climate Fields

Technisches Resümee: Anforderungsgesteuerte verlustbehaftte Kompression von Wetter- und Klimadatenfeldern

Problemstellung
Die Archive für Wetter- und Klimadaten wachsen schneller als die Speicherkapazitäten, was eine verlustbehaftte Kompression notwendig macht. Die operative Anwendung wird jedoch durch mangelndes Vertrauen behindert; eine Rekonstruktion ist nur dann nutzbar, wenn ihr Fehler durch explizite, maschinell überprüfbare Genauigkeitsanforderungen begrenzt ist. Die ingenieurtechnische Herausforderung besteht nicht bloß darin, die Verzerrung bei einer festen Rate zu minimieren, sondern das Kompressionsverhältnis unter Nebenbedingungen zu maximieren, die von externen Fachwissenschaftlern definiert und von Referenz-Prüfprogrammen verifiziert werden, die der Kompressor nicht kontrolliert. Diese Arbeit adressiert fünf verschiedene Kompressionsprobleme mit operativen atmosphärischen Daten, die von Satellitenfeldern mit fehlenden Werten bis hin zu großen Ensembles von ERA5-Variablen mit vielfältigen, variabelspezifischen Genauigkeitsanforderungen reichen.

Methodik
Der Autor schlägt eine einheitliche Architektur vor, die darauf ausgelegt ist, strukturell unterschiedliche Kompressionsprobleme durch einen anforderungsgesteuerten Ansatz statt durch datengesteuerte Heuristiken zu lösen.

1. Codec-Auswahl via Anforderungsanalyse: Anstatt einen Codec basierend auf den Datenstatistiken auszuwählen, analysiert das System die Struktur der Genauigkeitsanforderung (z. B. absolute vs. relative Grenzen, Punktwert- vs. Mittelwertgrenzen, Grenzen von Ableitungen). Basierend auf dieser Struktur wird aus vier Codec-Familien gewählt:

   • Null-verankerter Uniform-Grid: Für absolute Grenzen; die Werte werden auf ein Gitter an-gepasst, das bei Null verankert ist, um exakte Nullen zu bewahren (entscheidend für Niederschlag und Mittelwertgrenzen).
   • Log-Ratio-Grid: Für punktweise relative Grenzen; die Daten werden via $\log_2|x|$ transformiert und ein Uniform-Grid angewendet.
   • Transform-Codec (SPERR/SZ3) mit optionaler Korrekturschicht: Für glatte Felder; diese werden mit gröberen Einstellungen als ihre nominelle Garantie ausgeführt. Falls eine Punktwertgrenze verletzt wird, repariert eine Korrekturschicht spezifische Punkte.
   • Nur Korrekturschicht: Eine konstante (Null-)Prädiktion, die durch Sicherheitsmechanismen geschützt ist; dient als Baseline für feld-dominierte konstante Felder.

2. Entropie-Stufe: Alle Familien enden in einer gemeinsamen Entropie-Stufe, die aus der Tokenisierung distinkter Werte, einem Bitmap-Index zur Anhebung häufiger Token aus dem Literal-Stream und der rohen LZMA2-Kompression besteht. Fehlende Werte (NaN) werden entweder über ein gepacktes Bitmap oder durch Rundung im Gleitkommaformat behandelt, damit NaN als distinktes Token in den Transformationen überlebt.

3. Parameter-Suche mit Checker-in-the-Loop: Das System verwendet eine Ein-Parameter-Suche, bei der ein „Loosigkeitsparameter“ $p$ die nominelle Einstellung des gewählten Codecs skaliert. Die Suche beginnt bei $p=1$, verdoppelt sich, bis der Referenz-Prüfer die Rekonstruktion ablehnt, und führt dann eine Bisektion durch, um die optimale Einstellung zu finden. Für Familien, die Korrekturschichten verwenden, sucht das System nach dem maximalen Verhältnis über die evaluierten Einstellungen hinweg, anstatt nach der lockersten zulässigen Einstellung, da die Verhältniskurve nicht-monoton ist.

4. Fidelity-Kriterium (Treuekriterium): Der Autor führt ein Kriterium ein, um „zulässige, aber degenerative“ Rekonstruktionen abzulehnen. Wenn eine Mittelwertfehlergrenze die eigene Variabilität des Feldes überschreitet, könnte ein Codec ein konstantes Feld rekonstruieren (die Daten löschen), während er technisch gesehen die Grenze einhält. Das System erzwingt eine Nebenbedingung, dass die Rekonstruktion eine Mindestanzahl an distinkten Werten beibehalten und den Fehler relativ zur Standardabweichung ($\sigma$) des Feldes aufrechterhalten muss.

Wichtigste Ergebnisse
Das System wurde auf fünf Problemen (P1–P5) mit null Verletzungen gegenüber den Referenz-Prüfern evaluiert:

• P1 (Satelliten-Wasserdampfpfad): Erzielte ein Kompressionsverhältnis von ×47,44 bei einem Feld mit 69 % fehlenden Werten (NaN) und übertraf damit Baselines wie SZ3 (×30,3) und SPERR (×20,1).
• P2 (Niederschlag): Erzielte ×19,07 auf einem Feld mit exakten Nullen und einer schiefen Verteilung. Hier übertraf ein Uniform Log-Ratio-Grid die Transform-Codecs, welche Schwierigkeiten hatten, die Grenzen bei den verrauschten Daten einzuhalten.
• P3 (Spezifische Luftfeuchtigkeit-Ableitung): Erzielte ×83,88 durch die Beschränkung einer longitudinalen Ableitung. Der Transform-Codec (SPERR) mit einer Korrekturschicht war hocheffektiv, da Fehler in glatten Feldern räumlich korreliert sind und nur wenige Reparaturen erfordern.
• P4 & P5 (ERA5-Variablen):
  • P4 (16 Druckniveau-Variablen): Medianes Verhältnis von ×55,68 (gegenüber Baseline ×46,14). Transform-Codecs dominierten (9/16 Variablen).
  • P5 (226 Single-Level-Variablen): Medianes Verhältnis von ×50,76 (gegenüber Baseline ×22,88). Uniform Grids dominierten (170/226 Variablen), insbesondere bei Null-inflatierten Oberflächenfeldern.
  • Fidelity-Impact: Ohne das Fidelity-Kriterium wären 28 der 226 Single-Level-Variablen als konstante Felder mit Verhältnissen von bis zu ×35.194 rekonstruiert worden. Die Anwendung des Kriteriums reduzierte das maximale Verhältnis auf ×6.530, stellte aber sicher, dass die Daten nicht gelöscht wurden.

Bedeutung und Ansprüche
Das Paper beansprucht drei primäre Erkenntnisse, die über die spezifischen Datensätze hinaus generalisierbar sind:

1. Interaktion zwischen Anforderung und Codec: Die optimale Wahl zwischen Transform-Kodierung und Uniform-Quantisierung wird durch die Interaktion zwischen der Feld-Regularität und dem Typ der Grenze bestimmt. Glatte Felder unter Punktwertgrenzen bevorzugen die Transform-Kodierung, während verrauschte oder Null-inflatierte Felder unter Mittelwertgrenzen das Uniform-Grid bevorzugen.
2. Kosten der Korrektur: Eine Korrekturschicht garantiert die Zulässigkeit, aber ihre Effizienz hängt vom Anteil der Punkte ab, die eine Reparatur benötigen. Sie ist profitabel für Ableitungsbeschränkungen in glatten Feldern (P3), aber ineffizient für Punktwertbeschränkungen in verrauschten Feldern (P2).
3. Zulässigkeit ist nicht ausreichend: Das Paper zeigt auf, dass die Erfüllung einer veröffentlichten Genauigkeitsanforderung kein ausreichender Akzeptanzkriterium ist, wenn die Grenze die Löschung der Feldvariabilität erlaubt. Der Autor argumentet, dass Ergebnisse der anforderungsgesteuerten Kompression zusammen mit einer Fidelity-Aussage (z. B. Anzahl distinkter Werte und relativer Fehler) berichtet werden müssen und dass Codecs als rekonstruierbare Konfigurationen veröffentlicht werden sollten, um eine unabhängige Verifizierung zu gewährleisten.

Zusätzliche Beobachtungen
Der Evaluierungsprozess deckte zwei signifikante Probleme in den Problemdefinitionen selbst auf:

• Ableitungs-Beschränkungsfehler: Der Evaluierungs-Code für P3 teilte die Ableitung durch $357,5^\circ$ statt der intendierten $2,5^\circ$, wodurch die Grenze etwa 143-mal lockerer war als dokumentiert. Der Autor berichtete seine Ergebnisse gegen die implementierte (lockerere) Beschränkung, merkte die Diskrepanz jedoch explizit an.
• Mittelwert-Fehlergrenzen: Für 28 Variablen überstieg die veröffentlichte Mittelwert-Fehlergrenze die eigene Magnitude des Feldes, was technisch gesehen eine Rekonstruktion als konstantes Feld erlaubte. Dies verdeutlicht einen Mangel in der Art und Weise, wie einige Anforderungen für Benchmarks formuliert werden.

Das Werk kommt zu dem Schluss, dass eine einzige Architektur, die durch Anforderungsanalyse gesteuert und durch externe Prüfer mit Fidelity-Wächtern verifiziert wird, effektiv diverse atmosphärische Kompressionsprobleme lösen kann, während sie die wissenschaftliche Integrität wahrt.