TerraCodec: Compressing Optical Earth Observation Data

TerraCodec is een nieuwe familie van geleerde compressiemodellen voor aardobservatiegegevens die, door gebruik te maken van tijdsafhankelijkheden en Latent Repacking, niet alleen de opslag en transmissie van Sentinel-2-beelden aanzienlijk verbetert ten opzichte van klassieke methoden, maar ook state-of-the-art prestaties levert bij het verwijderen van wolken.

De kern

🌍 De Grote Ruimtelijke Stroomstoring

Stel je voor dat er duizenden satellieten boven onze aarde vliegen. Ze nemen elke dag foto's van hetzelfde stukje land, maar dan in heel veel verschillende kleuren (niet alleen rood, groen en blauw, maar ook infrarood en andere spectra). Dit is geweldig voor wetenschappers om te zien hoe bossen groeien of waar overstromingen zijn.

Maar er is een groot probleem: de data is gigantisch.
Het is alsof je elke seconde een nieuwe, ultra-hoge resolutie foto van de hele wereld moet sturen. De bestanden zijn zo groot dat ze de opslagruimte van de satelliet en de bandbreedte naar de grondstations volledig verstoppen. Het is als proberen een hele bibliotheek te versturen via een postkaartje.

Tot nu toe gebruikten we oude, saaie methoden om deze foto's in te krimpen (zoals JPEG voor foto's of MP4 voor video). Maar deze methoden zijn niet slim genoeg voor satellietbeelden. Ze behandelen elke foto als een losse plaatje en vergeten dat de aarde zich langzaam verandert (seizoenen, gewassen) in plaats van dat er plotseling een auto voorbij rijdt zoals in een gewone video.

🚀 De Oplossing: TerraCodec

De onderzoekers van IBM en ETH Zurich hebben TerraCodec bedacht. Dit is een nieuw soort "slimme compressie" die is getraind op miljarden satellietfoto's. Je kunt het zien als een super-slimme vertaler die de aarde beter begrijpt dan een gewone computer.

Hier zijn de drie belangrijkste trucjes die ze gebruiken:

1. De "Herkenningstruc" (In plaats van opslaan)

Stel je voor dat je een vriend een tekening van een boom moet sturen.

• De oude manier: Je fotografeert de boom, en stuurt de hele foto (bladeren, takken, stam, schaduwen) in detail.
• TerraCodec: De computer "weet" al hoe een boom eruitziet. Hij stuurt alleen een klein briefje: "Het is een boom, staat op plek X, en het is lente." De ontvanger tekent de boom zelf op basis van die instructies.
  Dit bespaart enorm veel ruimte. TerraCodec leert de patronen van de aarde (zoals hoe gras groeit of hoe wolken bewegen) en stuurt alleen de nieuwe informatie die niet al bekend is.

2. De "Tijdsreis" (Video in plaats van foto's)

Satellieten kijken naar dezelfde plek steeds opnieuw.

• Oude methoden: Ze behandelen elke foto als een losse foto. Ze zien niet dat de boom in foto 2 bijna hetzelfde is als in foto 1.
• TerraCodec (TEC-TT): Dit model kijkt naar de tijd als een film. Het ziet: "Ah, in de vorige foto was het hier droog, en nu is er een wolk voorbijgekomen." Het gebruikt de informatie van de vorige foto's om de huidige foto te voorspellen. Het hoeft alleen maar te zeggen: "De wolk is hierheen bewogen." in plaats van de hele wolk opnieuw te tekenen.
  Dit is alsof je een video stuurt in plaats van duizenden losse foto's; het bespaart enorm veel ruimte omdat de meeste beelden bijna hetzelfde zijn.

3. De "Magische Doos" (Flexibele Grootte)

Vaak moet je kiezen: wil je een heel kleine bestandsomvang (maar dan wazig) of een groot bestand (maar dan scherp)? Oude systemen dwingen je om een keuze te maken en een nieuw programma te downloaden voor elke kwaliteit.
TerraCodec introduceert Latent Repacking.

• De analogie: Stel je voor dat je een doos met Lego-blokken hebt.
  • Je kunt de doos openen en alleen de grote basisblokken eruit halen. Dan heb je een ruwe schets van het gebouw (kleine bestandsgrootte, maar je ziet de vorm).
  • Je kunt dan extra blokken toevoegen om de details (ramen, deuren) te maken.
  • Je kunt nog meer blokken toevoegen voor de kleine details (kleurtjes, textuur).
    Met TerraCodec kun je tijdens het gebruik zelf kiezen hoeveel "blokken" je wilt ontvangen. Je hoeft geen nieuw programma te downloaden; je kiest gewoon hoe groot je doos mag zijn, en het systeem past de kwaliteit automatisch aan.

🌥️ Een Bijkomend Wonder: Wolken Verwijderen

Een van de coolste dingen die dit systeem doet, is wolkverwijdering.
Satellietfoto's zijn vaak bedekt met wolken. Normaal gesproken is dat een probleem: je kunt de grond eronder niet zien.
Omdat TerraCodec zo goed begrijpt hoe de aarde eruitziet en hoe het weer verandert, kan het wiskundig voorspellen wat er onder de wolk zit.

• Het kijkt naar de foto's van gisteren en overmorgen.
• Het ziet dat er een veld was.
• Als er vandaag een wolk is, "tekent" het de wolk weg en vult het de plek in met wat er waarschijnlijk onder zit.
  Dit werkt zelfs zonder dat ze het systeem speciaal hebben getraind om wolken te verwijderen. Het is een bijeffect van hoe slim het systeem is geworden in het begrijpen van de aarde.

🏆 Wat betekent dit voor de wereld?

1. Veel minder ruimte nodig: Ze kunnen dezelfde kwaliteit van beelden opslaan met 3 tot 10 keer minder ruimte dan nu.
2. Snellere data: Satellieten kunnen meer beelden sturen zonder vast te lopen.
3. Beter voor klimaat: Wetenschappers krijgen sneller toegang tot data over overstromingen, bosbranden en gewasgroei.
4. Gratis voor iedereen: De code en de modellen zijn openbaar gemaakt, zodat iedereen hiermee kan experimenteren.

Kortom: TerraCodec is als een slimme assistent die de aarde kent als zijn broekzak. In plaats van elke foto van de aarde letterlijk te kopiëren, beschrijft hij de veranderingen en laat hij de computer de rest zelf invullen. Hierdoor kunnen we meer zien, sneller, en met minder moeite.

Technische samenvatting

Probleemstelling

Aardobservatie (EO) satellieten, zoals die van het Copernicus-programma, genereren enorme stromen van multispectrale beeldreeksen. Dit creëert kritieke knelpunten voor opslag, transmissie en verwerking. Bestaande oplossingen hebben echter beperkingen:

• Fragmentatie: Er ontbreken grote, publiek beschikbare, voorgeïmplementeerde codecs voor multispectrale data.
• Tijdsredundantie: Bestaand werk focust voornamelijk op statische afbeeldingen, waardoor tijdsredundantie in satellietreeksen (die vaak seizoensgebonden patronen vertonen in plaats van objectbeweging) onderbenut blijft.
• Vaste tarieven: Neuronale codecs zijn doorgaans getraind voor één specifiek tarief-distoratie-combinatie, wat flexibiliteit in de praktijk beperkt.
• Afwijking van natuurlijke beelden: EO-data heeft unieke eigenschappen (tot 12 kanalen, 16-bit diepte, specifieke spectrale banden) die niet goed worden aangepakt door codecs ontworpen voor RGB-natuurlijke beelden.

Methodologie

De auteurs introduceren TerraCodec (TEC), een familie van geleerde codecs die zijn voorgetraind op Sentinel-2 data. De aanpak bestaat uit drie hoofdblokken:

1. Architecturen voor TerraCodec

• TEC-FP (Factorized Prior): Een lichtgewicht variant die een volledig gefactoriseerde entropiemodel gebruikt. Elke latent-waarde wordt onafhankelijk gemodelleerd. Dit biedt snelle, parallelle codering maar minder expressiviteit.
• TEC-ELIC (Efficient Learned Image Compression): Een krachtigere variant die het ELIC-architectuur toepast. Deze gebruikt een hyperprior en context (ruimtelijk en kanalen) om de mean en schaal per latent te voorspellen, wat leidt tot een betere rate-distortion prestatie ten koste van iets meer complexiteit.
• TEC-TT (Temporal Transformer): Een transformer-model dat tijdsafhankelijkheden in de latent-ruimte leert. In plaats van handgemaakte bewegingspriors, encodeert het elk frame onafhankelijk en gebruikt een transformer om de latent-verdeling van het huidige frame te voorspellen op basis van de context van de twee vorige frames. Dit is ideaal voor EO-data met langzame, seizoensgebonden veranderingen.

2. Latent Repacking voor flexibele tarieven

Om het probleem van vaste tarieven op te lossen, introduceren de auteurs Latent Repacking:

• Concept: In plaats van tokens te definiëren als ruimtelijke patches (die bij het weglaten artefacten veroorzaken), worden de latent-kanalen in "slices" verdeeld. Elke token bevat nu informatie over het hele beeld, maar slechts een subset van de kanalen.
• Werking: Vroege tokens bevatten globale structuur, latere tokens verfijnen details. Tijdens training worden tokens gemaskeerd (weggelaten) en vervangen door een leertoken. Dit dwingt het model om informatie in een logische volgorde te ordenen.
• FlexTEC: Een variant van TEC-TT die gebruikmaakt van Latent Repacking. Hierdoor kan de gebruiker tijdens inferentie het compressieniveau kiezen door slechts een subset van tokens te verzenden; de ontbrekende tokens worden door het model voorspeld op basis van de voorafgaande context.

3. Training en Data

• Dataset: Voorgetraind op SSL4EO-S12 v1.1 (244k locaties, Sentinel-2 L2A, 12 kanalen, 16-bit).
• Preprocessing: Per-band standaardisatie (in plaats van globale normalisatie) om de statistieken van specifieke spectrale banden te behouden voor downstream taken.
• Loss: End-to-end training met een rate-distortion loss ($L = R + \lambda D$), waarbij $R$ de geschatte bitrate is en $D$ de reconstructiefout (MSE).

Belangrijkste Bijdragen

1. TerraCodec Suite: De eerste open-source, voorgetrainde familie van neurale codecs specifiek voor multispectrale en multi-temporale aardobservatie-data.
2. Latent Repacking: Een nieuwe methode om transformer-modellen te trainen die flexibel kunnen schalen in bitrate vanuit één enkel checkpoint, zonder hertraining.
3. Downstream Toepassingen: Demonstratie dat compressiemodellen niet alleen dienen voor opslag, maar ook nuttig zijn voor taken zoals "zero-shot" wolkverwijdering en het behoud van prestaties in analysemodellen.

Resultaten

• Compressie-efficiëntie: TerraCodec presteert aanzienlijk beter dan klassieke codecs (JPEG, JPEG2000, WebP, HEVC). Bij gelijke beeldkwaliteit wordt een compressie van 3 tot 10 keer hoger bereikt.
  • TEC-TT levert de beste resultaten door tijdsredundantie te benutten.
  • Op P-frames (frames die voorspeld worden uit vorige context) wordt een reductie van 22,6% in bitrate behaald ten opzichte van beeld-only modellen bij gelijke PSNR.
• Flexibiliteit: FlexTEC benadert de prestaties van vaste tarief-modellen, maar biedt gebruikerscontrole over de bitrate via token-budgets.
• Wolkverwijdering (Cloud Inpainting): Op de AllClear-benchmark presteert TEC-TT (zonder taak-specifiek fine-tuning) beter dan de state-of-the-art zero-shot methoden en heuristieken, zelfs bij zware wolkbedekking (tot 99%). Het model kan de onderliggende structuur van het landschap voorspellen.
• Downstream Taken: Modellen die zijn getraind op gecomprimeerde data (TEC-FP) tonen slechts een minimale prestatiedaling (<1.0% punt) bij matige compressie, terwijl de dataomvang tot wel 380x wordt gereduceerd. Bij zeer hoge compressie is er een merkbare daling, maar blijft het bruikbaar.

Betekenis en Impact

TerraCodec markeert een belangrijke stap in de evolutie van aardobservatie-dataverwerking:

• Opslag en Bandbreedte: Het biedt een praktische oplossing voor de explosieve groei van EO-data, wat essentieel is voor operationele systemen zoals Copernicus.
• Paradigmaverschuiving: Het bewijst dat neurale compressie, die eerder beperkt was tot natuurlijke beelden, superieur kan zijn voor wetenschappelijke data door domeinspecifieke priors (zoals seizoenspatronen) te leren.
• Meerwaarde boven compressie: Het toont aan dat de "leerprocessen" van compressiemodellen (de latent-ruimte) direct kunnen worden gebruikt voor forecasting en data-imputatie (zoals wolkverwijdering), wat de waarde van de modellen vergroot voor de wetenschappelijke gemeenschap.
• Open Science: Door de code en modellen openbaar te maken, wordt de basis gelegd voor verdere onderzoek en adoptie in de EO-sector.

Samenvattend introduceert TerraCodec een robuust, flexibel en hoog-presterend framework dat de kloof tussen klassieke compressiestandaarden en moderne, datagedreven benaderingen voor aardobservatie overbrugt.