TerraCodec: Compressing Optical Earth Observation Data

Le papier présente TerraCodec, une famille de codecs appris préentraînés sur des données Sentinel-2 qui surpassent les méthodes classiques en compressant les images d'observation de la Terre grâce à une architecture temporelle innovante et une nouvelle méthode de « Latent Repacking » pour des débits flexibles, tout en permettant l'inpainting de nuages.

L'essentiel

🌍 TerraCodec : Le "Tetris Intelligent" pour les Photos de la Terre

Imaginez que vous avez une caméra géante en orbite autour de la Terre (comme les satellites Sentinel-2). Elle prend des photos de nos forêts, océans et villes tous les jours, sous 12 couleurs différentes (pas seulement le rouge, vert et bleu, mais aussi l'infrarouge, etc.).

Le problème ? C'est une montagne de données.

• Le défi : Stocker et envoyer toutes ces photos coûte une fortune et prend beaucoup de temps.
• L'ancien outil : Les méthodes actuelles (comme JPEG pour les photos ou MP4 pour les vidéos) sont un peu comme des "ciseaux aveugles". Elles coupent les données pour les réduire, mais elles ne comprennent pas vraiment ce qu'elles regardent. Elles traitent chaque image comme un dessin isolé, ignorant le fait que la Terre change lentement (les saisons) et non pas comme un film d'action rapide.

TerraCodec est une nouvelle famille d'outils intelligents (basés sur l'intelligence artificielle) conçue spécifiquement pour ces photos de la Terre. Voici comment ça marche, avec des analogies simples :

1. Le "Mémoricien" vs Le "Photocopieur"

Les vieux codecs sont comme des photocopieurs : ils copient chaque image pixel par pixel, en essayant de deviner ce qui peut être supprimé.
TerraCodec, lui, agit comme un mémoricien expert.

• Il a appris à connaître la Terre en étudiant des millions de photos.
• Il sait que si une forêt est verte aujourd'hui, elle sera probablement verte demain.
• Au lieu d'envoyer toute la nouvelle photo, il envoie juste les petites différences (ex: "un nuage est passé ici", "la neige a fondu là").
• Résultat : Il compresse les données 3 à 10 fois mieux que les méthodes classiques, sans perdre de qualité. C'est comme si vous pouviez envoyer 10 albums photo dans la taille d'un seul !

2. Le "Chef d'Orchestre" Temporel (TEC-TT)

La grande innovation de ce papier est un modèle appelé TEC-TT.

• Imaginez une vidéo classique : les personnages bougent vite, donc il faut beaucoup d'informations pour décrire le mouvement.
• La Terre, elle, bouge lentement (les saisons, la croissance des plantes).
• TerraCodec utilise un Transformeur Temporel. C'est comme un chef d'orchestre qui écoute les 2 dernières mesures de musique (les 2 dernières images) pour prédire parfaitement la note suivante.
• Il ne regarde pas juste l'image actuelle, il se souvient du passé pour deviner le futur. Cela lui permet de réduire encore plus la taille des fichiers.

3. La Boîte à Outils "Flexible" (Latent Repacking)

Habituellement, pour changer la qualité d'une image compressée (plus petite ou plus grande), il faut avoir plusieurs fichiers différents. C'est lourd !
TerraCodec introduit une méthode appelée "Latent Repacking" (Reconditionnement des données latentes).

• L'analogie : Imaginez un livre écrit sur des pages transparentes empilées.
  • Les premières pages contiennent le résumé de l'histoire (la structure globale, les montagnes, les rivières).
  • Les dernières pages contiennent les détails fins (les feuilles des arbres, les textures).
• Avec TerraCodec, vous pouvez choisir d'envoyer seulement les 3 premières pages si vous êtes pressé (très petite taille, image floue mais reconnaissable).
• Si vous voulez de la haute qualité, vous envoyez toutes les pages.
• Le plus génial ? Vous n'avez besoin que d'un seul fichier pour faire tout ça. L'IA sait reconstruire les pages manquantes en devinant ce qu'elles devraient être.

4. Le Super-Pouvoir : Effacer les Nuages (Inpainting)

En plus de compresser, ce système a un super-pouvoir magique : l'effacement de nuages.

• Souvent, les satellites prennent des photos de zones couvertes de nuages.
• Comme TerraCodec a "vu" cette zone la veille et la veille encore, il sait à quoi elle ressemble sans nuages.
• Si un nuage cache une partie de l'image, l'IA peut dessiner ce qui se cache derrière en se basant sur les images précédentes.
• C'est comme si vous regardiez une vidéo de votre jardin et que quelqu'un passait devant la caméra : votre cerveau sait que l'arbre est toujours là derrière la personne. TerraCodec fait pareil pour les satellites, et il le fait mieux que n'importe quelle méthode actuelle.

En résumé

TerraCodec est une révolution pour l'observation de la Terre.

1. Il réduit massivement la taille des fichiers (économie d'argent et de temps).
2. Il est intelligent : il comprend le temps et les saisons, pas juste les pixels.
3. Il est flexible : on peut ajuster la qualité à la volée sans changer de fichier.
4. Il est utile : il aide à voir à travers les nuages et à mieux analyser les catastrophes naturelles ou l'agriculture.

C'est comme passer d'un vieux camion de déménagement qui prend tout (y compris l'air) à un camion spatial intelligent qui ne transporte que l'essentiel, tout en sachant exactement où ranger chaque objet. 🚀🌍

Résumé technique

1. Problématique et Contexte

L'observation de la Terre (EO) génère des flux massifs de séries temporelles d'images multispectrales, créant des goulots d'étranglement critiques pour le stockage et la transmission. Contrairement aux images naturelles, les données EO présentent des caractéristiques uniques :

• Multispectrales : Jusqu'à une douzaine de canaux (au-delà du RGB).
• Multitemporelles : Capturées à intervalles réguliers avec des points de vue quasi constants.
• Redondances spécifiques : Forte redondance spatiale et spectrale, mais une évolution temporelle liée aux cycles saisonniers plutôt qu'au mouvement d'objets.

Malgré les avancées dans la compression neuronale pour les images naturelles et la vidéo, la compression pour l'EO reste fragmentée. Il n'existe pas de codecs pré-entraînés à grande échelle pour les images multispectrales, et la redondance temporelle dans les séries chronologiques satellitaires est peu exploitée. De plus, les codecs neuronaux actuels sont souvent limités à un taux de compression fixe, rendant leur déploiement rigide.

2. Méthodologie : TerraCodec (TEC)

Les auteurs proposent TerraCodec, une famille de codecs neuronaux pré-entraînés sur les données Sentinel-2 (L2A, 12 bandes, 16 bits). L'approche repose sur trois piliers architecturaux et une nouvelle méthode d'entraînement flexible.

A. Architectures de Modèles

TerraCodec propose plusieurs variantes adaptées à différents besoins :

1. TEC-FP (Factorized Prior) : Un modèle léger basé sur une entropie factorisée (sans contexte). Il offre un encodage parallèle rapide mais une expressivité limitée.
2. TEC-ELIC (Efficient Learned Image Compression) : Une variante plus puissante utilisant un modèle d'entropie avec contexte spatial et canal (inspiré de ELIC). Il prédit la moyenne et l'échelle des latents en utilisant des convolutions en damier et des informations latérales (hyperprior), offrant un meilleur compromis taux-distorsion.
3. TEC-TT (Temporal Transformer) : Le cœur de l'innovation temporelle. Ce modèle transforme les latents d'images en tokens et utilise un Transformeur Temporel pour modéliser les dépendances à long terme entre les frames.
   • Il encode chaque image via un encodeur CNN (basé sur TEC-ELIC).
   • Les latents sont tokenisés en blocs spatiaux.
   • Un transformeur prédit la distribution des latents de la frame courante conditionnée par les deux frames précédentes (contexte temporel), sans recourir à des priors de mouvement manuels.

B. Latent Repacking (Reconditionnement des Latents)

Pour surmonter la limitation des codecs neuronaux à taux fixe, les auteurs introduisent Latent Repacking.

• Principe : Au lieu de traiter les tokens comme des patchs spatiaux, la méthode découpe l'axe des canaux latents en groupes. Chaque token représente alors une tranche de canaux couvrant l'image entière (de la structure globale aux détails fins).
• Entraînement Flexible : Pendant l'entraînement, on masque aléatoirement une partie des tokens (en remplaçant les derniers par un token "masqué" appris). Le modèle apprend à reconstruire les informations manquantes à partir des tokens précédents et du contexte temporel.
• FlexTEC : Cette technique permet d'obtenir un modèle flexible (FlexTEC) où l'utilisateur peut choisir le niveau de compression (nombre de tokens transmis) à l'inférence sans réentraîner le modèle. Les premiers tokens capturent la structure globale, les suivants affinent les détails.

3. Contributions Clés

1. TerraCodec : Une suite complète de codecs neuronaux pré-entraînés pour l'EO (multispectraux et multitemporels) surpassant les codecs classiques.
2. Latent Repacking : Une méthode novatrice permettant l'entraînement de modèles transformeurs à taux variable (flexible-rate) à partir d'un seul point de contrôle (checkpoint).
3. Évaluations en aval : Démonstration que la compression neuronale préserve les performances pour les tâches d'analyse (segmentation, classification) et permet des applications inédites comme l'inpainting de nuages "zero-shot".
4. Open Source : Publication du code et des modèles sous licence permissive.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données SSL4EO-S12 (Sentinel-2) et des benchmarks de tâches en aval.

• Compression Taux-Distorsion :

  • TerraCodec surpasse systématiquement les codecs classiques (JPEG, JPEG2000, WebP, HEVC/x265).
  • À qualité d'image équivalente (PSNR/SSIM), TerraCodec atteint un taux de compression 3 à 10 fois supérieur (réduction de taille d'un ordre de grandeur).
  • Le modèle TEC-TT exploite efficacement la structure temporelle, réduisant encore le taux de bits par rapport aux modèles purement image (TEC-ELIC), surtout sur les séquences longues.
  • FlexTEC offre des performances proches des modèles à taux fixe optimisés, tout en permettant un contrôle dynamique du débit.

• Inpainting de Nuages (Zero-Shot) :

  • En exploitant les priors temporels appris pour la compression, TEC-TT réalise un dénuage "zero-shot" sur le benchmark AllClear.
  • Il surpasse l'état de l'art (méthodes heuristiques et autres réseaux neuronaux) avec un PSNR de 32.86 dB et un SSIM de 0.917, même sur des images très couvertes de nuages (99% de couverture).

• Impact sur les Tâches en Aval :

  • L'entraînement de modèles de segmentation (Sen1Floods11) et de classification (reBEN-7k) sur des données compressées par TEC-FP montre une dégradation minime (< 1 point de pourcentage) pour des taux de compression modérés (jusqu'à 380x), validant l'utilité des codecs neuronaux pour l'analyse.

5. Signification et Conclusion

TerraCodec établit un nouveau standard pour la compression des données d'observation de la Terre.

• Efficacité : Il démontre que les approches apprises (learned compression) sont nettement supérieures aux standards traditionnels (JPEG2000, CCSDS) pour les données multispectrales et temporelles.
• Flexibilité : La méthode de Latent Repacking résout le problème de la rigidité des codecs neuronaux, permettant une adaptation dynamique aux contraintes de bande passante sans perte de performance majeure.
• Versatilité : Au-delà de la compression, le modèle apprend des représentations riches (priors) qui peuvent être réutilisées pour des tâches de prévision et de restauration d'images (dénuage) sans ré-entraînement spécifique.

Ce travail ouvre la voie à une utilisation plus large de la compression neuronale dans les pipelines opérationnels d'EO, réduisant les coûts de stockage et de transmission tout en préservant l'intégrité des données pour l'analyse scientifique.