GeoNDC: A Queryable Neural Data Cube for Planetary-Scale Earth Observation

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous essayez de stocker l'histoire complète de la Terre, jour après jour, pendant 20 ans, avec des photos prises depuis l'espace. C'est une montagne de données ! Actuellement, nous stockons ces images comme des millions de fichiers photos séparés (des "rasters"). C'est lourd, difficile à transporter, et pour voir ce qui s'est passé à un endroit précis à une heure précise, il faut fouiller dans des milliers de boîtes.

Les auteurs de cet article, GeoNDC, proposent une idée révolutionnaire : transformer ces montagnes de fichiers en un seul "livre de recettes" intelligent.

Voici comment cela fonctionne, expliqué simplement avec des analogies :

1. Le problème : La bibliothèque encombrée

Imaginez une bibliothèque géante où chaque jour de l'année, pour chaque carré de la Terre, vous avez une photo physique. Si vous voulez savoir comment un champ a changé en été, vous devez courir chercher des milliers de photos, les empiler et les comparer. C'est lent, ça prend de la place, et si une photo manque (à cause d'un nuage), il y a un trou dans votre histoire.

2. La solution GeoNDC : Le "Chef Cuisinier" numérique

Au lieu de stocker toutes les photos, GeoNDC apprend à comprendre la Terre.
Imaginez que vous ne stockez pas les photos, mais que vous donnez à un chef cuisinier (une intelligence artificielle) les ingrédients et les règles pour recréer n'importe quelle image de la Terre à n'importe quel moment.

L'analogie du Chef : Au lieu de vous donner 10 000 photos de gâteaux, on vous donne la recette exacte. Si vous voulez voir le gâteau d'aujourd'hui, le chef le "dessine" instantanément. Si vous voulez voir celui de demain, il le dessine aussi.
La compression magique : Au lieu de 168 Go de données (l'équivalent de milliers de disques durs), GeoNDC réduit tout cela à 0,44 Go (la taille d'un film HD). C'est comme transformer une bibliothèque entière en un seul petit carnet de recettes qui contient tout le savoir nécessaire pour reconstruire l'histoire.

3. Comment ça marche ? (Les deux branches du cerveau)

Pour que ce "chef" soit aussi précis, GeoNDC utilise une astuce intelligente en deux parties :

La branche "Carte fixe" (Le décor) : Elle mémorise les choses qui ne bougent pas beaucoup : les côtes, les routes, les bâtiments. C'est comme le décor d'une pièce de théâtre qui reste le même.
La branche "Histoire vivante" (L'action) : Elle mémorise ce qui change : la croissance des plantes, les saisons, la neige qui fond. C'est comme les acteurs qui bougent sur le décor.

En séparant le décor de l'action, le système devient très efficace et rapide.

4. Le super-pouvoir : Réparer les trous (Les nuages)

Les satellites ont un gros problème : les nuages cachent la Terre. Dans les méthodes actuelles, si un nuage cache un champ, on a un trou noir dans nos données. On essaie de deviner ce qu'il y a dessous en regardant les photos d'avant et d'après, mais c'est souvent imparfait.

Avec GeoNDC, comme le système a appris la "mémoire" de la Terre (comment les plantes poussent, comment les saisons changent), il peut imaginer ce qui se cache sous le nuage avec une grande précision.

L'analogie : Si vous regardez un film et que quelqu'un passe devant l'écran pendant 2 secondes, votre cerveau devine ce qui se passe derrière la personne parce qu'il connaît l'histoire du film. GeoNDC fait la même chose pour la Terre : il comble les trous des nuages de manière fluide et logique.

5. Pourquoi c'est génial pour tout le monde ?

Vitesse : Au lieu de charger 46 fichiers pour voir l'histoire d'un point précis, GeoNDC vous donne la réponse en 8 millisecondes (plus vite que le clignement d'un œil). C'est comme demander à Google Maps de vous montrer l'historique d'une rue en un instant, sans attendre.
Accessibilité : Vous n'avez pas besoin d'un super-ordinateur. Ce "carnet de recettes" est si petit que vous pouvez le télécharger sur votre ordinateur portable, et même sur votre téléphone, pour explorer l'histoire de la planète en direct.
Précision : Même si c'est une reconstruction, c'est incroyablement précis. Pour les scientifiques, c'est comme avoir une version "prête à l'emploi" des données, sans avoir à faire le travail de nettoyage et d'assemblage.

En résumé

GeoNDC ne remplace pas les photos brutes (on garde toujours les originaux pour la sécurité), mais il crée une version intelligente, légère et interactive de notre planète.

C'est le passage d'une époque où l'on stockait la Terre comme une pile de papiers poussiéreux, à une époque où l'on la stocke comme un logiciel vivant que l'on peut interroger, explorer et comprendre instantanément, partout et à tout moment. C'est une révolution pour surveiller notre environnement et comprendre les changements climatiques.

Each language version is independently generated for its own context, not a direct translation.

Résumé Technique : GeoNDC

1. Problématique

L'observation de la Terre (OT) a généré des archives spatio-temporelles massives (ex. MODIS, Landsat, Sentinel) essentielles pour le suivi des changements environnementaux. Cependant, ces données sont actuellement stockées sous forme de fichiers raster discrets (ex. GeoTIFF, NetCDF). Cette approche présente plusieurs limitations critiques à l'échelle planétaire :

Coûts élevés : Stockage, transmission et gestion de volumes de données gigantesques.
Difficulté d'accès : La requête de données nécessite souvent de lire, décompresser et assembler des milliers de fichiers discrets, créant des goulots d'étranglement d'E/S (Entrée/Sortie).
Discontinuité : Les observations sont intrinsèquement discrètes, incomplètes (nuages, ombres) et fragmentées dans le temps, obligeant les scientifiques à utiliser des méthodes de post-traitement (interpolation, compositing) qui peuvent introduire des artefacts.
Absence d'unification : Il n'existe pas de représentation unique qui combine simultanément une compression extrême, une requête géospatiale directe et une reconstruction temporelle continue.

2. Méthodologie : GeoNDC

GeoNDC (Geographic Neural Data Cube) propose de reformuler les archives d'OT non plus comme des fichiers, mais comme un champ neural implicite continu (Implicit Neural Representation - INR).

Formulation Mathématique :
Au lieu de stocker un tenseur discret $D \in \mathbb{R}^{H \times W \times T \times C}$ , GeoNDC apprend une fonction continue $\Phi_\theta(x, y, t)$ paramétrée par un réseau de neurones. Pour n'importe quelle coordonnée spatio-temporelle $(x, y, t)$ , le réseau prédit l'état de surface $\hat{v}$ .
L'entraînement se fait sur des observations valides uniquement, en minimisant une fonction de perte masquée (Eq. 4) qui ignore les pixels contaminés (nuages), permettant ainsi au modèle d'apprendre la continuité sous-jacente sans être biaisé par les données manquantes.
Architecture du Réseau (Dual-Branch) :
Pour gérer l'anisotropie des données (structures spatiales complexes vs évolution temporelle lisse), GeoNDC utilise une architecture à deux branches découplées :
1. Branche Spatiale 2D Haute Résolution : Utilise un HashGrid 2D multi-résolution sur les coordonnées $(x, y)$ pour capturer les détails fins et les frontières géométriques (lignes côtières, parcelles urbaines) sans dégradation temporelle.
2. Branche Temporelle 3D Grossière : Utilise un HashGrid 3D sur des coordonnées spatiales réduites $(s \cdot x, s \cdot y, t)$ . Cette mise à l'échelle spatiale force le réseau à apprendre des tendances régionales lisses et à éviter le surapprentissage temporel (artefacts de rayures).
  Les embeddings de ces deux branches sont concaténés et décodés par un MLP (Perceptron Multicouche) pour prédire la valeur.
Correction par Résidus Epars :
Pour atteindre une fidélité spectrale quasi-parfaite, le système peut ajouter une couche de correction optionnelle : les résidus (différence entre la vérité terrain et la prédiction) dépassant un seuil sont quantifiés et stockés dans un paquetage éparse.
Protocole de Stockage (.gndc) :
Les données sont sérialisées dans un fichier binaire compact contenant :
1. Un en-tête géospatial global (CRS, bornes, normalisation).
2. La charge utile neuronale (paramètres du HashGrid et du MLP).
3. Une couche de correction physique optionnelle (masques de validité et résidus).

3. Contributions Clés

Représentation Unifiée : GeoNDC est la première approche à unifier le stockage compact, la requête géospatiale directe et la reconstruction temporelle continue dans un seul cadre "AI-native".
Compression Écologique : Transformation d'archives de décennies en modèles exécutables de quelques centaines de mégaoctets, rendant l'analyse planétaire possible sur du matériel grand public.
Reconstruction Continue et Robuste : Capacité à reconstruire des données manquantes (nuages) de manière cohérente avec la dynamique phénologique apprise, sans nécessiter d'étapes de prétraitement externes.
Accessibilité Web : Implémentation d'un visualiseur fonctionnant entièrement dans le navigateur via WebGPU, permettant l'exploration interactive de données planétaires sans serveur backend.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données distincts :

Sentinel-2 (Haute Résolution, 10m) :
- Reconstruction : Fidélité spectrale élevée ( $R^2 > 0.97$ ) pour les bandes Rouge et NIR.
- Reconstruction de trous (Inpainting) : Sous une occlusion simulée de nuages (jusqu'à 2 km), GeoNDC maintient un $R^2 > 0.85$ , surpassant largement l'interpolation linéaire traditionnelle ( $R^2 \approx 0.63$ ).
- Compression : Réduction de 4,2 Go à 292 Mo.
MODIS Global (Échelle Planétaire, 20 ans, 5km) :
- Compression : L'archive de 20 ans (168 Go en float64, ou 42 Go en Int16 optimisé) est compressée en 0,44 Go.
  - Ratio de compression : ~380:1 (vs float64) et ~95:1 (vs Int16).
- Fidélité : $R^2$ moyen > 0,98 sur les 7 bandes spectrales.
- Performance de Requête : Accès à une série temporelle de 20 ans en 8 ms (vs 612 ms pour les fichiers raster), soit un gain de vitesse de 81x. Le modèle tient entièrement dans la VRAM d'une carte graphique grand public (RTX 4080).
Produits Biophysiques HiGLASS (LAI et FPAR, 20m) :
- Encodage Synergique : Représentation conjointe de deux variables corrélées dans un seul modèle.
- Précision : Reconstruction quasi-parfaite ( $R^2 > 0,98$ pour LAI et FPAR). L'erreur moyenne (MAE) est inférieure à l'intervalle de quantification des données originales, rendant la représentation "quasi sans perte" pour les applications écologiques.
- Gain de stockage : 7,2 Go de données brutes compressés en 385 Mo.

5. Signification et Impact

GeoNDC marque un changement de paradigme fondamental : passer de "l'observation de la Terre comme fichiers" à "l'observation de la Terre comme modèles".

Infrastructure Prête pour l'IA : En fournissant une couche de données compacte, continue et directement interrogeable, GeoNDC élimine les frictions d'E/S et permet une intégration fluide des flux de travail d'analyse et d'apprentissage automatique.
Démocratisation de l'Analyse Planétaire : La capacité à stocker et interroger 20 ans de données globales sur un seul ordinateur portable ou via un navigateur web rend l'analyse à long terme accessible sans infrastructure cloud lourde.
Transparence Scientifique : En distinguant les observations brutes des reconstructions neurales (via des masques de validité), le système maintient l'intégrité scientifique tout en offrant une continuité temporelle pour les études de dynamique des écosystèmes.

En conclusion, GeoNDC ne remplace pas les archives brutes autoritaires, mais fournit une couche d'accès et d'analyse supérieure, transformant les archives statiques en objets computationnels dynamiques et portables.