GeoNDC: A Queryable Neural Data Cube for Planetary-Scale Earth Observation

Each language version is independently generated for its own context, not a direct translation.

GeoNDC: De "Spotify" voor Aardobservatie

Stel je voor dat je een enorme bibliotheek hebt met foto's van de hele aarde, gemaakt door satellieten. Deze foto's gaan terug tot 20 jaar geleden. Ze tonen hoe bossen groeien, hoe steden veranderen en hoe de seizoenen wisselen.

Het probleem? Deze bibliotheek is een ware chaos. De foto's zijn opgeslagen als miljoenen losse, zware bestanden (zoals gigantische Excel-sheets met pixels). Als je wilt weten hoe het er op een specifieke plek uitzag op een specifieke dag, moet je duizenden bestanden openen, zoeken en samenvoegen. Het is alsof je een film wilt kijken, maar je moet eerst 500 losse DVD-hoesjes doorzoeken om de juiste frames te vinden.

GeoNDC is de oplossing. Het is een slimme manier om al die data niet als "bestanden" op te slaan, maar als één enkel, slim computerprogramma.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Van Fotoalbum naar "Recept"

Normaal gesproken slaan we data op als een fotoalbum: elke foto is een los bestand. Als je de aarde wilt opslaan, heb je duizenden albums nodig.

GeoNDC slaat de data op als een recept.

Het oude systeem: Je slaat elke foto van elke boom, elk huis en elke weg op in een album.
GeoNDC: Het leert het "recept" om de aarde te tekenen. Het onthoudt: "Als je op deze coördinaten kijkt op deze datum, ziet de aarde er zo uit."

In plaats van een album van 100 GB, heb je nu één klein receptje van slechts 0,44 GB. Dat is een compressie van ongeveer 95 tot 1. Het is alsof je in plaats van een hele bak blokken Lego die je hebt gekocht, nu alleen het instructieboekje opslaat. Je kunt de blokken (de data) altijd weer bouwen waar en wanneer je ze nodig hebt.

2. De "Magische Telefoon" (Querying)

Stel je voor dat je een magische telefoon hebt. Je belt een nummer en vraagt: "Hoe zag het eruit in het centrum van Beijing op 15 juli 2015?"

Bij het oude systeem: De operator moet naar de archiefkelder rennen, duizenden mappen doorzoeken, de juiste foto's vinden en ze scannen. Dit duurt lang en kost veel energie.
Bij GeoNDC: De telefoon (het computerprogramma) denkt even na en zegt direct: "Hier is het antwoord." Omdat het programma het "recept" van de aarde kent, kan het het antwoord direct berekenen. Je hoeft geen bestanden te openen; je vraagt gewoon een antwoord op.

3. De "Scheurhersteller" (Clouds en Mist)

Satellietfoto's zijn vaak bedekt met wolken of mist. Het is alsof je een foto van je vakantie hebt, maar er zit een vlek op.

Oude methode: Je probeert de vlek weg te halen door te kijken naar de foto's van de dag ervoor en erna, en je tekent een lijn erdoorheen. Dit ziet er vaak onnatuurlijk uit.
GeoNDC: Omdat het programma de hele geschiedenis van die plek kent (het "recept" van hoe de natuur groeit), kan het de vlek op een slimme manier invullen. Het weet: "Op deze plek in juli groeien de gewassen snel, dus hier moet de groene kleur zijn." Het vult de gaten in alsof het een kunstenaar is die een beschadigd schilderij herstelt, maar dan op basis van wiskunde en logica.

4. Waarom is dit belangrijk?

Snelheid: Je kunt nu in een paar seconden de geschiedenis van een hele planeet doorzoeken, in plaats van urenlang te wachten.
Opslag: Je kunt 20 jaar aan wereldwijde data opslaan op een gewone laptop, terwijl dit normaal gesproken een serverkamer vol zou vullen.
Toekomst: Het maakt het mogelijk om AI (kunstmatige intelligentie) direct te laten werken met deze data. In plaats van eerst data te downloaden en om te zetten, kan de AI direct "praten" met de data.

Kortom:
GeoNDC verandert aardobservatie van een zware, statische bibliotheek van losse foto's in een levend, interactief computermodel. Het is alsof we de aarde niet meer als een stapel papieren kaarten hebben, maar als een slimme app die je direct kunt vragen: "Laat me zien hoe de wereld eruitzag, en vul de gaten in waar de wolken waren."

Each language version is independently generated for its own context, not a direct translation.

Titel

GeoNDC: Een Querybare Neuronale Data Cube voor Aardobservatie op Planetaire Schaal

1. Het Probleem

Aardobservatie (Earth Observation - EO) heeft gedurende decennia enorme ruimtetijd-archieven opgebouwd (bijv. van MODIS en Landsat), die essentieel zijn voor het monitoren van klimaatverandering en ecosysteemdynamiek. Echter, deze data worden traditioneel opgeslagen als discrete, bestand-gebaseerde rasterbestanden (zoals GeoTIFF of NetCDF). Dit creëert een aantal kritieke knelpunten:

Opslag en Transmissie: De data volumes zijn enorm, wat leidt tot hoge kosten voor opslag en overdracht.
Toegang en Query: Het opvragen van specifieke data (bijv. een tijdsreeks voor één pixel) vereist het openen en doorzoeken van duizenden bestanden, wat I/O-intensief en traag is.
Onvolledigheid: Satellietobservaties zijn vaak onderbroken door wolken, schaduwen en sensorfouten. Traditionele workflows vereisen aparte preprocessing-stappen (zoals compositing of interpolatie) om deze gaten op te vullen, wat vaak leidt tot tijdsdiscontinuïteiten of spectrale onnauwkeurigheden.
Fragmentatie: Opslag, toegang en reconstructie zijn gescheiden stappen in de huidige workflows, waardoor er geen unified framework bestaat dat compactheid, directe query en continue reconstructie combineert.

2. Methodologie: Het GeoNDC Framework

GeoNDC (Geographic Neural Data Cube) reformuleert aardobservatie-archieven niet als bestanden, maar als een continue, impliciete neurale ruimtetijd-veld. In plaats van pixelwaarden op een raster op te slaan, leert het model een functie die de aardoppervlakte toewijst aan elke coördinaat $(x, y, t)$ .

Kernarchitectuur:

Decoupled Dual-Branch Architectuur: Om de anisotropie van aarddata (scherpe ruimtelijke randen vs. gladde temporele evolutie) efficiënt te modelleren, gebruikt GeoNDC twee takken:
1. Statische High-Resolution 2D Tak: Verwerkt geografische coördinaten $(x, y)$ via een multi-resolutie 2D HashGrid. Dit behoudt scherpe ruimtelijke details (zoals kustlijnen en stedelijke randen) zonder tijdsdegradatie.
2. Dynamische Ruwe 3D Temporele Tak: Verwerkt gescalde ruimtelijke coördinaten en tijd $(s\cdot x, s\cdot y, t)$ via een 3D HashGrid. Door ruimtelijke downscaling te gebruiken, leert deze tak gladde, regionale temporele trends (fenologie) en voorkomt het "striping"-artefacten.
Verwerking: De features van beide takken worden samengevoegd en door een MLP-decoder (Multi-Layer Perceptron) geleid om de fysische waarden (bijv. reflectantie, LAI) te voorspellen.
Training met Onvolledige Data: Het model wordt getraind op een gemaskerde objectieve functie. Slechts geldige observaties (zonder wolken) dragen bij aan de verliesfunctie. Het model leert zo de continue ruimtetijd-manifold te reconstrueren, waardoor het gaten in de data (bijv. door wolken) kan invullen op basis van de geleerde temporele context, zonder externe gap-filling algoritmen.
Opslag Protocol (.gndc): Het resultaat is een compact binair bestand dat de neurale parameters bevat, vergezeld van metadata (CRS, bounding box) en optionele correctielagen (zoals een validiteitsmasker en een spaarzaam residu-pakket voor hoge-frequentie details die niet perfect door het neurale veld worden gevangen).

3. Belangrijkste Bijdragen

Unificatie van Opslag, Query en Reconstructie: GeoNDC introduceert een AI-native representatie waarbij compressie, directe ruimtetijd-query en continue reconstructie in één framework zijn geïntegreerd.
Extreme Compressie: Het toont aan dat planetaire schaalarchieven met een factor van honderden kunnen worden gecomprimeerd terwijl de dominante ruimtetijd-dynamiek behouden blijft.
Native Gap-Filling: Het biedt een methode voor continue reconstructie onder onvolledige waarnemingen die inherent is aan de representatie zelf, in plaats van een aparte preprocessing-stap.
Client-Side Interactiviteit: Het model kan volledig op client-hardware (inclusief browsers via WebGPU) worden uitgevoerd, waardoor interactieve exploratie van decennia aan data mogelijk is zonder backend-server.

4. Resultaten

De auteurs hebben GeoNDC getest op drie verschillende datasets:

Sentinel-2 (Hoge Resolutie, 10m):
- Reconstructie: Behoudt hoge-frequentie ruimtelijke details (steden, velden) met een $R^2 > 0.96$ in geldige gebieden.
- Gap-Filling: Onder gesimuleerde wolkgaten (tot 2 km groot) behaalde het model een $R^2 > 0.85$ , significant beter dan lineaire interpolatie (die $R^2 \approx 0.63$ haalde).
- Compressie: Een 4,2 GB dataset werd gecomprimeerd naar 292 MB.
Global MODIS MCD43A4 (Planetaire Schaal, 20 jaar):
- Compressie: Een 20-jarige globale archive (168 GB in float64) werd gereduceerd tot 0,44 GB. Dit is een compressieverhouding van ongeveer 380:1 ten opzichte van de ruwe data en 95:1 ten opzichte van een geoptimaliseerde Int16-basis.
- Nauwkeurigheid: Gemiddelde $R^2 > 0.98$ over alle spectrale banden en een gemiddelde RMSE van 0,021.
- Query Snelheid: Het ophalen van een volledige 20-jarige tijdsreeks voor één pixel duurde 8 ms (vs. 612 ms voor conventionele rasterbestanden).
HiGLASS Biophysicale Producten (LAI en FPAR):
- Synergie: LAI en FPAR werden gezamenlijk gecodeerd in één model, wat leidde tot een gezamenlijke compressie van 7,2 GB naar 385 MB.
- Nauwkeurigheid: Bijna perfecte correlatie ( $R^2 > 0.98$ voor beide variabelen), waarbij de reconstructie-error zelfs onder de oorspronkelijke kwantisatie-intervallen viel (sub-quantization fidelity).

5. Betekenis en Toekomstperspectief

GeoNDC markeert een fundamentele verschuiving in aardobservatie: van "data als bestanden" naar "data als modellen".

Toegankelijkheid: Het maakt planetaire schaal-analyse mogelijk op standaard hardware (zoals een laptop of mobiele browser), wat de drempel voor wetenschappelijk onderzoek verlaagt.
AI-Ready Infrastructuur: Het biedt een compacte, direct querybare laag die ideaal is voor AI-toepassingen, waarbij compressie en reconstructie geen aparte stappen meer zijn.
Beperkingen: Het is een lossy representatie en vereist een zware initiële trainingsfase. Het is bedoeld als een aanvulling op, niet als vervanging van, autoritaire ruwe archieven. Toekomstig werk richt zich op het verbeteren van de weergave van plotselinge gebeurtenissen (zoals overstromingen) en het integreren van onzekerheidskwantificatie.

Kortom, GeoNDC biedt een nieuwe, schaalbare manier om de enorme hoeveelheid aardobservatie-data te beheren, waardoor het niet alleen op te slaan is, maar direct en efficiënt te analyseren en te visualiseren.