💻 computer science

TerraDiT- $\Omega$ : Unified Spatial Control for Satellite Image Synthesis with Any Geospatial Primitive

L'article présente TerraDiT- $\Omega$ , un cadre génératif unifié qui synthétise des images satellites directement à partir de diverses primitives géospatiales natives (telles que des polygones, des polylignes, des boîtes englobantes et des points) via un nouveau mécanisme d'Attention Locale Sensible à la Géométrie, permettant ainsi un contrôle spatial flexible pour la planification urbaine et améliorant les tâches de GeoAI en aval grâce à l'augmentation contrôlable de données synthétiques.

Auteurs originaux : Brian Wei, Srikumar Sastry, Daniel Cher, Eric Xing, Nathan Jacobs

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Brian Wei, Srikumar Sastry, Daniel Cher, Eric Xing, Nathan Jacobs

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez construire une maquette de ville réaliste en argile, mais qu'au lieu de la sculpter à la main, vous disposiez d'un robot magique capable de créer la ville instantanément pour vous. Le problème est que le robot est habitué à créer des images de forêts et de plages (des images naturelles), où les choses sont douces et se mélangent. Mais les images satellites de villes sont différentes : elles sont composées de formes nettes et distinctes comme des routes, des bâtiments et des parcs, tous serrés les uns contre les autres.

Si vous essayez de dire au robot : « Mets un bâtiment ici », en utilisant un simple point ou un contour flou, il s'embrouille. Il pourrait placer le bâtiment au mauvais endroit, ou faire passer une route pour une rivière. Les tentatives précédentes pour corriger cela consistaient à transformer les plans précis de la ville en cartes de pixels flous (comme une photo à basse résolution) ou simplement à donner au robot quelques points aléatoires. Ces deux méthodes étaient maladroites : l'une perdait les détails fins, l'autre était trop vague.

Entrez dans l'ère de TerraDiT-Ω : Le « Urbaniste Universel »

Ce document présente un nouveau système d'IA appelé TerraDiT-Ω. Considérez-le comme un architecte super intelligent capable de prendre des instructions sous n'importe quel format que vous possédez, qu'il s'agisse d'un plan détaillé, d'un croquis sommaire ou de simples notes adhésives.

Voici comment il fonctionne, décomposé en concepts simples :

1. Parler la langue des cartes

La plupart des modèles d'IA ont besoin que les instructions soient converties dans un format de « pixels » spécifique (comme un livre de coloriage numérique où l'on colorie chaque carré). TerraDiT-Ω est différent. Il parle la langue native des cartes : les Primitives Géospatiales.

Polygones : Comme dessiner la forme exacte d'un parc avec un stylo.
Polylignes : Comme dessiner une route sinueuse.
Boîtes (Boxes) : Comme mettre un carré autour d'un bâtiment.
Points : Comme déposer une épingle sur un arbre.

Le système ne vous force pas à convertir ces formes en pixels flous. Il les comprend directement, tout comme un urbaniste humain comprend un plan.

2. La magie de la « conscience géométrique »

La recette secrète de ce système est un nouvel outil qu'ils appellent l'Attention Locale Sensible à la Géométrie (GALA - Geometry-Aware Local Attention).

Imaginez que vous essayiez de peindre une autoroute.

L'IA classique : Pourrait voir une instruction de « route » et peindre une ligne droite, mais si la route est courbe, elle se perd. Elle traite la route comme une masse générique.
TerraDiT-Ω : Utilise GALA pour « ressentir » la forme. Si vous donnez une polyligne courbe, GALA dit à l'IA : « Hé, cette route tourne ! Assure-toi que les pixels suivent exactement cette courbe. » Si vous donnez une boîte, elle sait qu'elle doit remplir ce rectangle spécifique.

C'est comme donner à l'artiste un aimant qui attire la peinture exactement là où la forme le dicte, garantissant qu'une autoroute reste une autoroute et qu'un bâtiment reste un bâtiment, même lorsqu'ils sont entassés.

3. Budgets flexibles (L'analogie du « Budget »)

L'un des plus grands problèmes lors de la création de ces cartes est que dessiner chaque bâtiment parfaitement (budget d'annotation élevé) prend un temps infini et coûte très cher. Mais simplement déposer quelques points (faible budget d'annotation) ne suffit pas pour obtenir un bon résultat.

TerraDiT-Ω est comme un entrepreneur flexible :

Faible budget : Vous lui donnez quelques points (épingles). Il fait de son mieux pour deviner la disposition.
Budget moyen : Vous donnez des boîtes. Il devient plus précis.
Haut budget : Vous donnez des polygones et des lignes précises. Il crée une ville parfaite et de haute fidélité.

La beauté de la chose est qu'il utilise le même cerveau pour les trois scénarios. Vous n'avez pas besoin de différents robots pour différents budgets ; un seul robot s'adapte à toutes les informations que vous lui donnez.

4. Pourquoi est-ce important ? (Les résultats)

Les auteurs ont testé ce système et ont découvert deux choses principales :

De meilleures images : Lorsqu'ils ont demandé à l'IA de générer des images satellites basées sur ces formes, les résultats étaient beaucoup plus réalistes et structurellement corrects que les méthodes précédentes. Les routes étaient réellement connectées et les bâtiments ne flottaient pas dans le ciel.
De meilleures données d'entraînement : Ils ont utilisé l'IA pour créer des images satellites factices afin d'aider à entraîner d'autres systèmes d'IA (comme ceux qui détectent les voitures ou l'utilisation des sols). Parce que les images factices de TerraDiT-Ω étaient si précises, les autres systèmes d'IA ont appris plus rapidement et ont mieux performé lors de tâches réelles.

Résumé

En résumé, TerraDiT-Ω est une nouvelle façon de générer des images satellites qui respecte la géométrie précise du monde réel. Au lieu de forcer les données cartographiques dans un moule pixelisé et flou, il prend les formes brutes (lignes, boîtes, points) et utilise un mécanisme spécial de « détection de géométrie » pour construire une image réaliste qui correspond parfaitement au plan, peu importe le niveau de détail que vous fournissez.

Résumé Technique : TerraDiT-Ω

Énoncé du Problème

Bien que les modèles génératifs aient progressé de manière significative dans la synthèse d'images naturelles, l'application de ces modèles à l'imagerie satellitaire reste un défi en raison de la complexité structurelle unique des scènes de télédétection (RS). Contrairement aux images naturelles, les scènes satellitaires sont définies par des arrangements denses et interconnectés de petites géométries sémantiquement distinctes. Les approches existantes tentent de combler ce fossé en adaptant les cadres d'images naturelles en utilisant soit des rasters denses (par exemple, des masques de segmentation), soit des invites (prompts) éparses (par exemple, des annotations de points). Cependant, ces méthodes souffrent de deux limitations fondamentales :

Dégradation Géométrique : La conversion des primitives géospatiales natives (vecteurs) en rasters basés sur des pixels aplatit les relations spatiales complexes, telles que les passages supérieurs superposés ou les zones d'utilisation des sols qui s'intersectent, entraînant une perte de fidélité structurelle.
Désalignement du Flux de Travail : Les cartes sémantiques denses nécessitent des efforts d'annotation prohibitifs (moyenne de 2,5 heures par tuile), tandis que les signaux éparses comme les invites de points sous-spécifient les configurations géométriques cruciales. Cela force les praticiens à déployer des architectures distinctes pour différents budgets d'annotation, entravant les flux de travail GeoAI de bout en bout et évolutifs.

Les modèles actuels peinent également à gérer les degrés variables de détails structurels à travers les différents formats d'entrée, s'appuyant souvent sur des jetons (tokens) apprenables génériques qui ne parviennent pas à capturer les priors géométriques spécifiques des objets orientés ou allongés courants en RS.

Méthodologie

Les auteurs proposent TerraDiT-Ω, un cadre de contrôle spatial unifié qui génère des imageries satellitaires directement à partir de primitives géospatiales natives (polygones, polylignes, boîtes englobantes et points) sans nécessiter de conversion de format. Le système est construit sur un squelette de type Transformer de Diffusion Latente (DiT) basé sur le flux (Flow-based).

Composants Clés

Encodeur de Primitives Unifié :
- Ce module mappe divers formats géospatiaux vers une représentation partagée.
- Il traite les polygones, les polylignes, les boîtes englobantes et les points en utilisant des mappages de caractéristiques de Fourier, concaténés avec des légendes d'instances encodées par un modèle LongCLIP gelé.
- Les primitives manquantes sont représentées par des plongements (embeddings) nuls appris, permettant au modèle de gérer des budgets d'annotation mixtes ou partiels.
Attention Locale Sensible à la Géométrie (GALA) :
- Pour remédier aux limites de l'apprentissage spatial implicite, les auteurs introduisent GALA, un mécanisme de conditionnement qui injecte des indices géométriques explicites dans l'espace d'attention.
- MetaRBF+ : Pour chaque jeton d'instance, ce module prédit les paramètres d'un prior gaussien anisotrope tourné $(\sigma_x, \sigma_y, \theta)$ . Contrairement aux précédents priors alignés sur les axes (par exemple, dans TerraDiT-Σ), cela permet au mécanisme d'attention de s'adapter aux géométries orientées et allongées.
- Modulation du Champ Géométrique Spatial (SGF) : Pour des conditions géométriques plus riches (polygones, polylignes, boîtes), le modèle calcule un champ spatial dense.
  - Pour les polygones et les boîtes, un champ de distance signée (SDF) avec une décroissance sigmoïde est utilisé pour créer des frontières nettes.
  - Pour les polylignes, une fonction de contraste basée sur la distance étend le support de la ligne pour capturer l'épaisseur visuelle (par exemple, pour les rivières).
- Le prior d'attention final est un produit normalisé du noyau gaussien et du champ géométrique spatial, modulant multiplicativement les logits d'attention entre les jetons d'image et de primitive. Cela garantit que les points induisent une focalisation locale douce, tandis que les polygones et les polylignes imposent une adhérence géométrique stricte.
Entraînement et Données :
- Le modèle est entraîné sur le jeu de données Git-10M, utilisant des données vectorielles OpenStreetMap (OSM) pour les primitives et des données de contexte de texte/géolocalisation globale.
- L'entraînement implique un cadre de diffusion à temps continu avec prédiction de vitesse, un alignement de représentation (REPA) utilisant un encodeur DINOv3 spécifique au satellite, et des stratégies de dropout adaptatif pour assurer la robustesse à travers diverses densités d'annotation.

Principales Contributions

Cadre Unifié : TerraDiT-Ω est le premier cadre génératif opérant directement sur n'importe quelle primitive géospatiale native, permettant une synthèse contrôlable de pointe à travers un spectre de budgets d'annotation allant des points éparses aux polygones précis.
Attention Locale Sensible à la Géométrie (GALA) : Le mécanisme de conditionnement proposé préserve explicitement les indices géométriques dans les primitives vectorielles, améliorant considérablement la fidélité dans les scènes densément structurées en modélisant la rotation et les contraintes spatiales.
Augmentation de Données Synthétiques Polyvalente : L'architecture unifiée unique supporte la génération de données synthétiques pour de multiples tâches en aval (segmentation, détection, extraction de routes, classification) sans nécessiter de pipelines spécifiques à la tâche ou de rasterisation.

Résultats Expérimentaux

Les auteurs ont évalué TerraDiT-Ω sur trois jeux de données mis de côté : Git-Rand-15k (échantillonnage global aléatoire), Git-Spatial-15k (maintien spatial) et Git-Dense-3.5k (scènes à haute densité).

Qualité de Synthèse : TerraDiT-Ω surpasse systématiquement les modèles d'images généraux (par exemple, SDXL, PixArt) et les précédents modèles de base géospatiaux (par exemple, GeoSynth-OSM, VectorSynth, TerraDiT-Σ) en termes de métriques FID, sFID et LPIPS. Notamment, la performance augmente avec la complexité de l'annotation ; le modèle obtient les meilleurs résultats lorsqu'il est conditionné sur l'ensemble complet des primitives ( $\Omega$ ).
Fidélité Spatiale : Les métriques quantitatives (SSIM) et les visualisations qualitatives démontrent que TerraDiT-Ω maintient une connectivité relationnelle correcte (par exemple, passages supérieurs, réseaux routiers) là où les bases de référence basées sur le raster échouent. Le modèle réduit efficacement les hallucinations de mise en page en fournissant des détails géométriques exacts.
Utilité en Aval : Les données synthétiques générées par TerraDiT-Ω améliorent les performances sur quatre tâches clés de RS :
- Détection d'Objets (DIOR) : Amélioration du mAP@50-95 et du mAP@50.
- Segmentation de l'Occupation des Sols (OpenEarthMap) : Augmentation du mIoU et des scores F1.
- Extraction de Graphes Routiers (Échelle de la Ville) : Amélioration de la connectivité topologique (TOPO) et de la géométrie locale (APLS).
- Classification de Scènes (AID) : Gains de précision significatifs, particulièrement dans les régimes de faibles données.
Études d'Ablation : Le retrait de la rotation ( $\theta$ ) ou de la modulation SGF dégrade les performances, confirmant la nécessité d'une modélisation géométrique explicite. GALA surpasse les autres mécanismes d'attention (GSA, IMA, ALA) dans l'adhérence aux géométries complexes.

Signification et Revendications

L'article affirme que TerraDiT-Ω représente une étape importante vers des flux de travail GeoAI robustes et de bout en bout. En éliminant le besoin de conversion de format entre les primitives vectorielles et les masques rasters, le cadre comble le fossé entre les annotations denses coûteuses et les invites éparses imprécises.

Les auteurs soulignent que leur approche est naturellement compatible avec les sources de données géospatiales existantes (comme OSM) et supporte des mises en page contrôlables à travers divers budgets d'annotation. Cette flexibilité permet la génération de données synthétiques de haute fidélité qui améliorent directement les performances des modèles en aval sans la surcharge de calcul de la pré-calcul de masques denses ou la perte géométrique de la rasterisation. Ce travail positionne l'outil comme une solution unifiée et polyvalente pour la synthèse d'images satellitaires qui s'aligne sur les réalités structurelles de la télédétection.