TerraCodec: Compressing Optical Earth Observation Data

El artículo presenta TerraCodec, una familia de códecs neuronales preentrenados en datos de Sentinel-2 que superan a los métodos clásicos en compresión de imágenes multiespectrales y habilitan la eliminación de nubes mediante un modelo transformador temporal innovador.

Lo esencial

¡Claro que sí! Imagina que la Tierra es un libro gigante lleno de fotos increíbles tomadas desde el espacio. Estos satélites (como los Sentinel-2) toman miles de millones de fotos cada día, mostrando bosques, ciudades y océanos en muchos colores diferentes (no solo rojo, verde y azul, sino también infrarrojos que el ojo humano no ve).

El problema es que estas fotos son enormes. Guardarlas y enviarlas es como intentar enviar una biblioteca entera por correo postal cada hora: es lento, caro y ocupa mucho espacio.

Aquí es donde entra TerraCodec, la "nueva magia" que presentan los autores de este paper. Vamos a explicarlo con analogías sencillas:

1. El Problema: La Mochila Llena de Ruido

Imagina que eres un astronauta que debe enviar fotos de la Tierra a la base.

• Los métodos antiguos (como JPEG o HEVC): Son como intentar guardar tus fotos en una maleta apilándolas sin orden. Si quieres que la foto se vea bien, tienes que llevar casi toda la maleta llena. Si quieres que la maleta sea pequeña, la foto sale borrosa y con "artefactos" (como cuadros de colores raros). Además, estos métodos tratan cada foto como si fuera un momento único, ignorando que la Tierra cambia muy lentamente (un árbol no se mueve de un día para otro).
• El desafío: Necesitamos una maleta que sea más pequeña pero que la foto salga igual de nítida, y que además entienda que las fotos de hoy son muy parecidas a las de ayer.

2. La Solución: TerraCodec (El Intérprete Inteligente)

TerraCodec es como un traductor superinteligente que no solo comprime la foto, sino que la "entiende". En lugar de guardar cada píxel uno por uno, aprende las reglas del juego de la Tierra.

TerraCodec tiene tres "hermanos" o herramientas principales:

• TerraCodec-FP (El Rápido): Es como un esquema rápido. Toma la foto y la resume en pocas palabras clave. Es muy rápido y eficiente, ideal para cuando necesitas enviar algo urgente.
• TerraCodec-ELIC (El Detallista): Es como un arquitecto. No solo resume, sino que entiende cómo se relacionan los colores entre sí (espectro) y cómo se organizan en el espacio. Logra que la foto se vea increíblemente nítida ocupando muy poco espacio.
• TerraCodec-TT (El Cronista del Tiempo): ¡Este es el más genial! Imagina que en lugar de enviar 100 fotos de un bosque, solo envías la primera y le dices al ordenador: "Mira, ayer el bosque estaba así, y hoy el sol está en la misma posición, así que el bosque se verá casi igual, solo cambia un poco la sombra".
  • Este modelo usa un Transformador Temporal. Aprende la "historia" de la Tierra. Si sabes cómo se veía un campo hace una semana, puedes predecir cómo se verá hoy sin tener que enviar todos los detalles de nuevo. Ahorra muchísimo espacio.

3. El Truco Maestro: "Reempacar el Latente" (Latent Repacking)

Aquí viene la parte más creativa. Normalmente, si quieres cambiar la calidad de una foto comprimida, necesitas un archivo diferente (uno para baja calidad, otro para alta). ¡Es como tener que comprar un DVD diferente si quieres ver la película en SD o en 4K!

TerraCodec introduce una técnica llamada Latent Repacking (Reempacar el Latente).

• La analogía: Imagina que tienes una pizza gigante (la información de la foto).
  • Los métodos antiguos te venden la pizza entera o te venden una pizza pequeña por separado.
  • TerraCodec te da una sola pizza, pero la corta en rebanadas especiales.
  • Las primeras rebanadas tienen la masa, el queso y el pepperoni (la estructura general, el cielo, el mar).
  • Las rebanadas de al final tienen los detalles finos (las hojas de los árboles, las ventanas de las casas).
• ¿Cómo funciona? Si quieres enviar la foto rápido (baja calidad), solo envías las primeras rebanadas. El ordenador receptor "adivina" el resto basándose en lo que ya sabe. Si quieres la máxima calidad, envías todas las rebanadas. ¡Todo desde el mismo archivo!

4. El Superpoder Extra: Limpiar Nubes Mágicamente

Además de comprimir, TerraCodec-TT tiene un superpoder: puede "pintar" sobre las nubes.

• Imagina que tomas una foto del Amazonas, pero hay una nube gigante tapando la selva.
• Como el modelo "conoce" la historia de esa selva (sabe cómo se veía ayer y cómo se verá mañana), puede predecir qué hay debajo de la nube y rellenar el hueco.
• Es como si tuvieras una foto borrosa y un pintor que, sabiendo cómo es el paisaje, completara la parte que falta sin que tú se lo pidas. En pruebas, esto funciona mucho mejor que los métodos actuales para limpiar nubes.

5. ¿Por qué es importante?

• Ahorro masivo: TerraCodec puede comprimir las imágenes entre 3 y 10 veces más que los métodos actuales, sin perder calidad. Es como poder guardar 10 libros en el espacio de uno.
• Flexibilidad: Con una sola herramienta, puedes decidir cuánto espacio quieres usar en el momento de enviar la foto.
• Futuro: Esto permite a los científicos analizar datos de desastres naturales, cambios climáticos o agricultura de forma más rápida y barata, porque ya no tienen que esperar años para procesar terabytes de datos.

En resumen: TerraCodec es como un asistente personal para satélites que sabe exactamente qué información es importante, qué se puede predecir y cómo empaquetar todo de la forma más eficiente posible, permitiéndonos ver la Tierra con más claridad y menos esfuerzo.

Resumen técnico

Resumen Técnico: TerraCodec

1. El Problema

La observación de la Tierra (EO) genera flujos masivos de series temporales de imágenes multiespectrales, lo que crea cuellos de botella críticos en el almacenamiento, la transmisión y el procesamiento de datos. A pesar de los avances en compresión neuronal para imágenes naturales y video, la compresión para EO sigue siendo fragmentada y carece de codecs preentrenados a gran escala disponibles públicamente.

Las principales limitaciones de los enfoques actuales son:

• Falta de especificidad: La mayoría de los codecs neuronales están diseñados para imágenes RGB naturales, ignorando las características únicas de los datos satelitales (multiespectrales, alta profundidad de bits, redundancia espectral y temporal).
• Ignorancia de la redundancia temporal: El trabajo previo se ha centrado casi exclusivamente en la compresión de imágenes individuales, dejando sin explorar la redundancia temporal en series temporales de satélites (donde la evolución se debe a patrones estacionales y no al movimiento de objetos).
• Rigidez de tasa: Los codecs neuronales actuales suelen estar entrenados para una única configuración de tasa-distorsión, lo que requiere reentrenar modelos separados para diferentes requisitos de ancho de banda.

2. Metodología

Los autores presentan TerraCodec (TEC), una familia de codecs neuronales preentrenados en datos de Sentinel-2 (12 bandas ópticas, 16 bits). La metodología se divide en tres componentes principales:

A. Arquitecturas de Modelos:

1. Codecs de Imagen (TEC-FP y TEC-ELIC):
   • TEC-FP: Una variante ligera basada en un Prior Factorizado. Utiliza un modelo de entropía totalmente factorizado (sin contexto), ofreciendo una codificación paralela rápida pero con expresividad limitada.
   • TEC-ELIC: Una variante más potente basada en ELIC (Efficient Learned Image Compression). Utiliza un modelo de entropía con contexto espacial y de canal, junto con un hyperprior, para predecir la media y la escala de los latentes, mejorando la relación tasa-distorsión a costa de mayor complejidad.
2. Transformador Temporal (TEC-TT):
   • Basado en la arquitectura VCT (Video Compression Transformer), pero adaptado para datos EO.
   • Codifica cada imagen individualmente mediante un encoder CNN (similar a TEC-ELIC) para obtener latentes.
   • Un transformador temporal modela las dependencias a largo plazo en el espacio latente, prediciendo la distribución de latentes del cuadro actual basándose en el contexto de los dos cuadros anteriores.
   • No depende de estimación de movimiento manual; aprende las dependencias temporales directamente en el espacio latente.

B. Latent Repacking (Reempaquetado Latente) para Tasa Flexible:
Para superar la limitación de los codecs de tasa fija, los autores introducen Latent Repacking:

• Concepto: En lugar de tratar los tokens como parches espaciales (donde eliminar un token borra una región de la imagen), el método reorganiza los canales latentes. Divide el tensor latente en "rebanadas" de canales que abarcan toda la escena espacial.
• Mecanismo: Los primeros tokens codifican la estructura global de la escena, mientras que los tokens posteriores refinan los detalles locales.
• Entrenamiento: Se utiliza enmascaramiento dinámico durante el entrenamiento. Se selecciona un presupuesto de tokens ($K$) y se reemplazan los tokens restantes por un token de enmascaramiento aprendido ($m$). Esto obliga al modelo a aprender un ordenamiento basado en la información, permitiendo que al inferir con menos tokens ($K < T$) se mantenga la estructura global con una tasa de bits reducida.
• FlexTEC: Es la variante de TerraCodec que implementa esta técnica, permitiendo múltiples configuraciones de tasa desde un único punto de control (checkpoint).

C. Entrenamiento y Datos:

• Dataset: Preentrenamiento en SSL4EO-S12 v1.1, un corpus global de Sentinel-2 con 244k ubicaciones y cuatro instantáneas estacionales por ubicación.
• Preprocesamiento: Las imágenes se estandarizan por banda (no globalmente) para preservar las estadísticas específicas de cada canal espectral.
• Objetivo: Minimización de la pérdida de tasa-distorsión ($L = R + \lambda D$), donde $R$ es la entropía estimada y $D$ es el error de reconstrucción (MSE).

3. Contribuciones Clave

1. TerraCodec Suite: La primera familia de codecs neuronales preentrenados a gran escala para imágenes multiespectrales de EO, superando a los codecs clásicos (JPEG, JPEG2000, HEVC) en rendimiento.
2. Modelo Temporal (TEC-TT): Un transformador temporal que explota la redundancia temporal en series de satélites sin priors de movimiento manuales, logrando mejoras significativas en compresión para series largas.
3. Latent Repacking: Un método novedoso para entrenar modelos de transformadores con tasa flexible, permitiendo ajustar la calidad de compresión dinámicamente sin reentrenar.
4. Aplicaciones más allá de la compresión: Demostración de que los priores aprendidos permiten tareas de "zero-shot", como la inpainting de nubes (eliminación de nubes), superando a métodos especializados en el benchmark AllClear.

4. Resultados

• Rendimiento de Compresión (Tasa-Distorsión):
  • TerraCodec supera consistentemente a los codecs clásicos (JPEG, WebP, JPEG2000, HEVC) en métricas de PSNR y SSIM.
  • Logra una compresión de 3 a 10 veces mayor que los codecs clásicos para una calidad de imagen equivalente.
  • TEC-TT ofrece una reducción adicional de la tasa de bits al explotar la estructura temporal, especialmente en secuencias largas donde los cuadros de arranque (bootstrap) se amortizan.
• Compresión Flexible (FlexTEC):
  • FlexTEC se acerca o supera el rendimiento de los modelos de tasa fija en diversos puntos de operación, permitiendo al usuario elegir el nivel de compresión en tiempo de inferencia.
• Tareas de Inpainting de Nubes:
  • En el benchmark AllClear, TEC-TT supera a todos los métodos heurísticos y a modelos neuronales previos de "zero-shot".
  • Logra un PSNR de 32.86 dB y un SSIM de 0.917 en el conjunto de pruebas completo, manteniendo un alto rendimiento incluso en las muestras más difíciles (99% de cobertura de nubes).
• Impacto en Tareas Descendentes:
  • Se evaluó el entrenamiento de modelos de segmentación y clasificación (Sen1Floods11, reBEN-7k) sobre datos comprimidos.
  • La compresión moderada reduce el tamaño de los datos en hasta 380x con una pérdida de rendimiento en la tarea descendente inferior a 1 punto porcentual, demostrando que la compresión neuronal es viable para análisis posteriores.

5. Significado e Impacto

Este trabajo establece un nuevo paradigma para la compresión de datos de observación de la Tierra:

• Viabilidad Operativa: Demuestra que los codecs neuronales pueden ser más eficientes que los estándares operativos actuales (como CCSDS o JPEG2000), lo que podría aliviar significativamente los cuellos de botella en la transmisión de datos satelitales y el almacenamiento en la nube.
• Aprovechamiento de la Temporalidad: Muestra que modelar explícitamente la evolución temporal (estacional) es crucial para la compresión de EO, a diferencia de la compresión de video tradicional que se centra en el movimiento de objetos.
• Dualidad Compresión-Análisis: Los priores aprendidos por el codec no solo sirven para comprimir, sino que actúan como modelos generativos capaces de realizar tareas de restauración (inpainting) y predicción sin necesidad de entrenamiento específico para la tarea.
• Reproducibilidad: Los autores han liberado el código y los pesos preentrenados bajo una licencia permisiva, fomentando la investigación futura y la adopción en la industria.

En conclusión, TerraCodec no solo resuelve el problema de la compresión de datos EO, sino que abre la puerta a una nueva generación de sistemas de observación terrestre que integran compresión, análisis y generación de datos de manera unificada.