Lossless compression of simulated radio interferometric visibilities

Resumen Técnico: Compresión sin Pérdida de Visibilidades de Interferometría de Radio Simuladas

Planteamiento del Problema
Los observatorios de radioastronomía modernos generan volúmenes vastos de datos de visibilidad, típicamente almacenados como valores complejos de punto flotante de precisión simple de 32 bits. Surge una carga de almacenamiento significativa durante el procesamiento de datos, específicamente en la calibración y deconvolución dependientes de la dirección, donde se deben almacenar los datos del modelo predichos hacia adelante junto con las visibilidades observadas. En la autocalibración dependiente de la dirección, el volumen de estas columnas de modelos puede alcanzar diez veces el tamaño de los datos observados originales. Las técnicas de compresión con pérdida (como Dysco) son efectivas para datos observados ruidosos al explotar distribuciones gaussianas, pero no son adecuadas para los datos de modelos. La aplicación de la compresión con pérdida basada en cuantización a datos de modelos sin ruido introduce un ruido artificial que corrompe el proceso de calibración donde los datos observados se ajustan contra estos modelos. Los algoritmos genéricos sin pérdida existentes (por ejemplo, GZIP) no logran explotar la suavidad espectral y temporal de los datos de modelos de radioastronomía, lo que resulta en una relación de compresión subóptima.

Metodología: Compresión de Señales Simuladas (Sisco)
Los autores presentan Sisco, un nuevo marco de compresión sin pérdida diseñado específicamente para datos de modelos interferométricos predichos hacia adelante y sin ruido. El método se integra perfectamente con los flujos de trabajo basados en Casacore y opera a través de cuatro etapas distintas:

1. Predicción: El algoritmo realiza una extrapolación polinómica bidimensional en los componentes real e imaginario de los valores de visibilidad a través de las dimensiones de tiempo y frecuencia. Prueba varios órdenes de extrapolación (del 0 al 3) y esquemas de promediado. La predicción se calcula utilizando aritmética de enteros sobre la mantisa y el exponente de los valores de punto flotante para asegurar la precisión y la reversibilidad.
2. Formación de Residuos: El valor predicho se resta del valor de dato real. Para asegurar la reversibilidad exacta, el algoritmo alinea el exponente del valor predicho con el valor del dato antes de restar sus mantisas. Se aplica un manejo especial para casos de NaN, infinito y desbordamiento (overflow).
3. Agrupación de Datos: Los residuos resultantes se descomponen en componentes de signo, mantisa y exponente. Se agrupan en cinco flujos separados: uno para los exponentes, uno para el signo y el primer byte de la mantisa, y tres para los bytes de mantisa restantes. Este reordenamiento asegura que valores similares sean adyacentes en el flujo de datos, mejorando significativamente la reducción de entropía.
4. Compresión Deflate: Los flujos agrupados se comprimen independientemente utilizando la biblioteca libdeflate, que combina la codificación de diccionario Lempel-Ziv 1 (LZ77) y la codificación Huffman.

La implementación está diseñada para manejar el orden estándar de los Conjuntos de Mediciones (tiempo-lento, línea de base-rápido) manteniendo un pequeño búfer de pasos de tiempo previos, lo que permite la compresión sobre la marcha con un gasto de memoria mínimo. Soporta la combinación con el Promediado Dependiente de la Línea de Base (BDA).

Resultados Clave
Los autores evaluaron Sisco en diversos conjuntos de datos de LOFAR, MeerKAT y MWA, así como en ondas senoidales simuladas y ruido gaussiano puro.

• Eficiencia de Compresión: Para datos predichos hacia adelante sin ruido, Sisco logra una relación de compresión promedio que reduce el volumen de datos al 24% del tamaño original.
  • Configuración Óptima: Una combinación de predicción lineal en la dirección del tiempo y predicción cuadrática en la dirección de la frecuencia arrojó los mejores resultados generales.
  • Varianza de los Datos: La eficiencia de la compresión varió según la suavidad del conjunto de datos. Los datos suaves (por ejemplo, modelos predichos hacia adelante de MeerKAT) se comprimieron al 13%, mientras que los datos menos predecibles se comprimieron al 38%.
  • Análisis de Componentes: Los datos de exponente de 8 bits resultaron altamente compresibles (reduciéndose a ~3–15% del tamaño original), mientras que la mantisa de 24 bits y el signo fueron el objetivo principal de los algoritmos de predicción.
• Datos con Ruido: Cuando se aplicó a datos observados (con ruido) o ruido gaussiano puro, los algoritmos de predicción empeoraron las relaciones de compresión (por ejemplo, el ruido puro se comprimió al 84% frente al 92% con predicción), confirmando que Sisco está optimizado para señales suaves y sin ruido.
• Rendimiento: En un procesador comercial AMD Ryzen 7 2700X, Sisco logró un rendimiento de 534 MB/s para datos generados y 340 MB/s para E/S de disco real con nivel de deflate 9. El proceso está limitado por E/S en SSDs modernos y limitado por CPU en almacenamiento más lento.
• Integración con BDA: La combinación de Sisco con BDA resultó en una reducción de tamaño total de más de un factor de 13 en comparación con los datos brutos, proporcionando Sisco una mejora adicional del 2.7% sobre los datos de BDA de resolución completa.

Significancia y Reivindicaciones
El artículo afirma que Sisco proporciona una solución sin pérdida para el problema específico de almacenar datos de modelos predichos hacia adelante, abordando un vacío dejado por las técnicas con pérdida existentes que son incompatibles con los requisitos de calibración. Al lograr un factor de compresión promedio superior a 4 (reduciendo los datos a ~24%), Sisco mitiga significativamente los costos de almacenamiento y transporte asociados con la calibración de múltiples etapas y la autocalibración dependiente de la dirección, que son críticos para las instalaciones actuales y futuras como el SKA (Square Kilometre Array).

Los autores enfatizan que el método es transparente para los usuarios; integrado como un gestor de almacenamiento de código abierto dentro de Casacore, permite que paquetes de software como DP3 y WSClean escriban datos comprimidos sin configuración manual. La descompresión es automática durante el acceso a los datos. Los autores señalan modestamente que, aunque la implementación actual se basa en CPU, el costo computacional es menor en comparación con las tareas de calibración e imagen, y que futuras implementaciones en GPU podrían mejorar aún más la velocidad. También discuten la posibilidad de extender Sisco a un algoritmo con pérdida, pero señalan que tal extensión requeriría un enfoque fundamentalmente diferente de los límites de error en comparación con métodos existentes como Dysco.