Requirement-Driven Lossy Compression of Weather and Climate Fields

Résumé technique : Compression avec perte pilotée par les exigences pour les champs météorologiques et climatiques

Énoncé du problème
Les archives de données météorologiques et climatiques s'étendent plus rapidement que les capacités de stockage, ce qui nécessite une compression avec perte. Cependant, l'adoption opérationnelle est entravée par un manque de confiance ; une reconstruction n'est utilisable que si son erreur est bornée par des exigences de précision explicites et vérifiables par machine. Le défi d'ingénierie ne consiste pas simplement à minimiser la distorsion à un taux fixe, mais à maximiser le taux de compression sous réserve de contraintes définies par des spécialistes du domaine externes et vérifiées par des contrôleurs de référence que le compresseur ne contrôle pas. Ce travail traite de cinq problèmes de compression distincts impliquant des données atmosphériques opérationnelles, allant de champs satellitaires avec des valeurs manquantes à de grands ensembles de variables ERA5 aux exigences de précision diverses par variable.

Méthodologie
L'auteur propose une architecture unifiée conçue pour résoudre des problèmes de compression structurellement différents par une approche pilotée par les exigences plutôt que par des heuristiques basées sur les données.

1. Sélection du codec via l'analyse des exigences : Au lieu de sélectionner un codec basé sur les statistiques des données, le système analyse la structure de l'exigence de précision (par exemple, bornes absolues vs relatives, bornes ponctuelles vs moyennes, bornes sur les dérivées). Sur cette base, il sélectionne parmi quatre familles de codecs :

   • Grille uniforme ancrée à zéro : Pour les bornes absolues, calant les valeurs sur une grille ancrée à zéro pour préserver les zéros exacts (crucial pour les précipitations et les bornes de moyenne).
   • Grille de rapport logarithmique : Pour les bornes relatives ponctuelles, transformant les données via $\log_2|x|$ et appliquant une grille uniforme.
   • Codec de transformée (SPERR/SZ3) avec réparation optionnelle : Pour les champs lisses, ceux-ci sont exécutés à des réglages plus grossiers que leur garantie nominale. Si une borne ponctuelle est violée, une couche de correction répare les points spécifiques.
   • Couche de correction uniquement : Une prédiction constante (zéro) enveloppée dans des garde-fous, servant de base de référence pour les champs dominés par des constantes.

2. Étape d'entropie : Toutes les familles se terminent par une étape d'entropie partagée consistant en la tokenisation des valeurs distinctes, un index de bitmap pour extraire les tokens fréquents du flux littéral, et une compression LZMA2 brute. Les valeurs manquantes (NaN) sont gérées soit via un bitmap compacté, soit par un arrondi en virgule flottante afin que le NaN survive aux transformations en tant que token distinct.

3. Recherche de paramètres en boucle avec contrôleur (Checker-in-the-Loop) : Le système emploie une recherche à un paramètre où un paramètre de « lâche précision » $p$ met à l'échelle le réglage nominal du codec sélectionné. La recherche commence à $p=1$, double jusqu'à ce que le contrôleur de référence rejette la reconstruction, puis procède par dichotomie pour trouver le réglage optimal. Pour les familles utilisant des couches de correction, la recherche prend le ratio maximum sur les réglages évalués plutôt que le réglage le plus lâche admissible, car la courbe de ratio est non monotone.

4. Critère de fidélité : L'auteur introduit un critère pour rejeter les reconstructions « admissibles mais dégénérées ». Si une borne d'erreur moyenne dépasse la propre variabilité du champ, un codec pourrait reconstruire un champ constant (effaçant les données) tout en satisfaisant techniquement la borne. Le système impose une contrainte stipulant que la reconstruction doit conserver un nombre minimum de valeurs distinctes et maintenir une erreur par rapport à l'écart-type ($\sigma$) du champ.

Résultats clés
Le système a été évalué sur cinq problèmes (P1–P5) avec zéro violation contre les contrôleurs de référence :

• P1 (Vapeur d'eau satellitaire) : A atteint un taux de compression de ×47,44 sur un champ présentant 69 % de valeurs manquantes (NaN), surpassant des bases de comparaison comme SZ3 (×30,3) et SPERR (×20,1).
• P2 (Précipitations) : A atteint ×19,07 sur un champ avec des zéros exacts et une distribution asymétrique. Ici, une grille uniforme de rapport logarithmique a surpassé les codecs de transformée, qui ont échoué à maintenir les bornes sur les données bruitées.
• P3 (Dérivée de l'humidité spécifique) : A atteint ×83,88 en contraignant une dérivée longitudinale. Le codec de transformée (SPERR) avec une couche de correction a été très efficace car les erreurs dans les champs lisses sont spatialement corrélées, nécessitant peu de réparations.
• P4 & P5 (Variables ERA5) :
  • P4 (16 variables de niveaux de pression) : Ratio médian de ×55,68 (contre ×46,14 pour la base). Les codecs de transformée ont dominé (9/16 variables).
  • P5 (226 variables de niveau unique) : Ratio médian de ×50,76 (contre ×22,88 pour la base). Les grilles uniformes ont dominé (170/226 variables), particulièrement pour les champs de surface à forte concentration de zéros.
  • Impact de la fidélité : Sans le critère de fidélité, 28 des 226 variables de niveau unique auraient été reconstruites comme des champs constants avec des ratios allant jusqu'à ×35 194. L'application du critère a réduit le ratio maximum à ×6 530 tout en garantissant que les données ne soient pas effacées.

Signification et affirmations
L'article revendique trois découvertes principales qui se généralisent au-delà des jeux de données spécifiques :

1. Interaction Exigence-Codec : Le choix optimal entre codage de transformée et quantification uniforme est régi par l'interaction entre la régularité du champ et le type de borne. Les champs lisses sous bornes ponctuelles favorisent le codage de transformée, tandis que les champs bruités ou à forte concentration de zéros sous bornes de moyenne favorisent les grilles ancrées à zéro.
2. Coût de la correction : Une couche de correction garantit l'admissibilité, mais son efficacité dépend de la fraction de points nécessitant une réparation. Elle est rentable pour les contraintes de dérivée sur des champs lisses (P3), mais inefficace pour les contraintes ponctuelles sur des champs bruités (P2).
3. L'admissibilité est insuffisante : L'article démontre que satisfaire une exigence de précision publiée n'est pas un critère d'acceptation suffisant si la borne permet l'effacement de la variabilité du champ. L'auteur soutient que les résultats de compression pilotés par les exigences doivent être rapportés aux côtés d'un énoncé de fidélité (par exemple, nombre de valeurs distinctes et erreur relative) et que les codecs doivent être publiés en tant que configurations reconstruibles pour assurer une vérification indépendante.

Observations supplémentaires
Le processus d'évaluation a révélé deux problèmes significatifs dans les définitions mêmes des problèmes :

• Erreur de contrainte de dérivée : Le code d'évaluation pour P3 a divisé la dérivée par $357,5^\circ$ au lieu des $2,5^\circ$ prévus, rendant la borne environ 143 fois plus lâche que documenté. L'auteur a rapporté ses résultats par rapport à la contrainte implémentée (plus lâche) tout en notant explicitement la divergence.
• Bornes d'erreur de moyenne : Pour 28 variables, la borne d'erreur moyenne publiée dépassait la propre magnitude du champ, permettant techniquement une reconstruction de champ constant. Cela souligne une faille dans la formulation de certaines exigences pour le benchmarking.

Le travail conclut qu'une architecture unique, pilotée par l'analyse des exigences et vérifiée par des contrôleurs externes avec des gardes de fidélité, peut résoudre efficacement divers problèmes de compression atmosphérique tout en préservant l'intégrité scientifique.