Requirement-Driven Lossy Compression of Weather and Climate Fields

Resumen Técnico: Compresión con Pérdida Basada en Requerimientos de Campos Meteorológicos y Climáticos

Planteamiento del Problema
Los archivos de datos meteorológicos y climáticos se están expandiendo más rápido que las capacidades de almacenamiento, lo que hace necesaria la compresión con pérdida. Sin embargo, la adopción operativa se ve obstaculizada por una falta de confianza; una reconstrucción solo es utilizable si su error está acotado por requisitos de precisión explícitos y verificables por máquinas. El desafío de ingeniería no es simplemente minimizar la distorsión a una tasa fija, sino maximizar la relación de compresión sujeta a restricciones definidas por científicos del dominio externo y verificadas por comprobadores de referencia que el compresor no controla. Este trabajo aborda cinco problemas de compresión distintos que involucran datos atmosféricos operativos, que van desde campos satelitales con valores faltantes hasta grandes conjuntos de variables de ERA5 con diversos requisitos de precisión por variable.

Metodología
El autor propone una arquitectura unificada diseñada para resolver problemas de compresión estructuralmente diferentes mediante un enfoque basado en requerimientos en lugar de heurísticas basadas en datos.

1. Selección del Codec mediante Análisis de Requerimientos: En lugar de seleccionar un codec basado en las estadísticas de los datos, el sistema analiza la estructura del requerimiento de precisión (por ejemplo, límites absolutos vs. relativos, límites puntuales vs. de media, límites en derivadas). Basándose en esta estructura, selecciona entre cuatro familias de codecs:

   • Cuadrícula uniforme anclada en cero: Para límites absolutos, ajustando los valores a una cuadrícula anclada en cero para preservar los ceros exactos (crucial para la precipitación y los límites de la media).
   • Cuadrícula de razón logarítmica: Para límites relativos puntuales, transformando los datos mediante $\log_2|x|$ y aplicando una cuadrícula uniforme.
   • Codec de transformada (SPERR/SZ3) con reparación opcional: Para campos suaves, estos se ejecutan con configuraciones más holgadas que su garantía nominal. Si se viola un límite puntual, una capa de corrección repara puntos específicos.
   • Solo capa de corrección: Una predicción constante (cero) envuelta en salvaguardas, que sirve como base para campos dominados por constantes.

2. Etapa de Entropía: Todas las familias terminan en una etapa de entropía compartida que consiste en la tokenización de valores distintos, un índice de mapa de bits (bitmap) para elevar tokens frecuentes del flujo literal, y compresión LZMA2 pura. Los valores faltantes (NaN) se manejan ya sea mediante un mapa de bits empaquetado o mediante redondeo en punto flotante para que el NaN sobreviva a las transformaciones como un token distinto.

3. Búsqueda de Parámetros con Comprobador en el Bucle (Checker-in-the-Loop): El sistema emplea una búsqueda de un solo parámetro donde un parámetro de "holgura" $p$ escala la configuración nominal del codec seleccionado. La búsqueda comienza en $p=1$, se duplica hasta que el comprobador de referencia rechaza la reconstrucción, y luego realiza una bisección para encontrar la configuración óptima. Para las familias que utilizan capas de corrección, la búsqueda toma la razón máxima sobre las configuraciones evaluadas en lugar de la configuración más laxa admisible, ya que la curva de la razón no es monotónica.

4. Criterio de Fidelidad: El autor introduce un criterio para rechazar reconstrucciones "admisibles pero degeneradas". Si un límite de error medio excede la propia variabilidad del campo, un codec podría reconstruir un campo constante (borrando los datos) mientras satisface técnicamente el límite. El sistema impone una restricción de que la reconstrucción debe retener un número mínimo de valores distintos y mantener un error relativo respecto a la desviación estándar ($\sigma$) del campo.

Resultados Clave
El sistema fue evaluado en cinco problemas (P1–P5) con cero violaciones contra los comprobadores de referencia:

• P1 (Trayectoria de Vapor de Agua Satelital): Logró una relación de compresión de ×47.44 en un campo con 69% de valores faltantes (NaN), superando a bases de comparación como SZ3 (×30.3) y SPERR (×20.1).
• P2 (Precipitación): Logró ×19.07 en un campo con ceros exactos y una distribución sesgada. Aquí, una cuadrícula de razón logarítmica uniforme superó a los codecs de transformada, los cuales fallaron al intentar mantener los límites en los datos ruidosos.
• P3 (Derivada de Humedad Específica): Logró ×83.88 al restringir una derivada longitudinal. El codec de transformada (SPERR) con una capa de corrección fue altamente efectivo porque los errores en campos suaves están correlacionados espacialmente, requiriendo pocas reparaciones.
• P4 y P5 (Variables de ERA5):
  • P4 (16 Variables de Nivel de Presión): Mediana de la relación de ×55.68 (frente a la base de ×46.14). Los codecs de transformada dominaron (9/16 variables).
  • P5 (226 Variables de Nivel Único): Mediana de la relación de ×50.76 (frente a la base de ×22.88). Las cuadrículas uniformes dominaron (170/226 variables), particularmente para campos de superficie con exceso de ceros.
  • Impacto de la Fidelidad: Sin el criterio de fidelidad, 28 de las 226 variables de nivel único habrían sido reconstruidas como campos constantes con relaciones de hasta ×35,194. Aplicar el criterio redujo la relación máxima a ×6,530 pero aseguró que los datos no fueran borrados.

Significancia y Reivindicaciones
El artículo reivindica tres hallazgos principales que se generalizan más allá de los conjuntos de datos específicos:

1. Interacción Requerimiento-Codec: La elección óptima entre la codificación de transformada y la cuantización uniforme está gobernada por la interacción entre la regularidad del campo y el tipo de límite. Los campos suaves bajo límites puntuales favorecen la codificación de transformada, mientras que los campos ruidosos o con exceso de ceros bajo límites de media favorecen las cuadrículas ancladas en cero.
2. Costo de la Corrección: Una capa de corrección garantiza la admisibilidad, pero su eficiencia depende de la fracción de puntos que necesitan reparación. Es rentable para restricciones de derivada en campos suaves (P3), pero ineficiente para restricciones puntuales en campos ruidosos (P2).
3. La Admisibilidad es Insuficiente: El documento demuestra que satisfacer un requisito de precisión publicado no es un criterio de aceptación suficiente si el límite permite la eliminación de la variabilidad del campo. El autor argumenta que los resultados de la compresión basada en requerimientos deben reportarse junto con una declaración de fidelidad (por ejemplo, conteo de valores distintos y error relativo) y que los codecs deben publicarse como configuraciones reconstruibles para asegurar una verificación independiente.

Observaciones Adicionales
El proceso de evaluación reveló dos problemas significativos en las propias definiciones de los problemas:

• Error de Restricción de Derivada: El código de evaluación para P3 dividió la derivada por $357.5^\circ$ en lugar de los $2.5^\circ$ previstos, haciendo que el límite fuera aproximadamente 143× más laxo de lo documentado. El autor reportó sus resultados contra la restricción implementada (más laxa) señalando explícitamente la discrepancia.
• Límites de Error Medio: Para 28 variables, el límite de error medio publicado excedía la propia magnitud media del campo, permitiendo técnicamente una reconstrucción de campo constante. Esto resalta un fallo en la forma en que se formulan algunos requerimientos para la evaluación comparativa.

El trabajo concluye que una arquitectura única, impulsada por el análisis de requerimientos y verificada por comprobadores externos con salvaguardas de fidelidad, puede resolver eficazmente diversos problemas de compresión atmosférica manteniendo la integridad científica.