🤖 AI

CITYREP: A Unified Benchmark for Urban Representations Across Cities, Tasks, and Modalities

Pour remédier aux limites des évaluations actuelles de la représentation urbaine, telles que la fuite spatiale et le manque de généralisation, les auteurs proposent CityRep, un benchmark unifié intégrant des splits spatialement structurés et un cadre standardisé pour évaluer rigoureusement les modèles sur plusieurs villes, tâches et modalités.

Auteurs originaux : Junyuan Liu, Xinglei Wang, Zichao Zeng, Jiazhuang Feng, Quan Qin, Ilya Ilyankou, Guangsheng Dong, Tao Cheng

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junyuan Liu, Xinglei Wang, Zichao Zeng, Jiazhuang Feng, Quan Qin, Ilya Ilyankou, Guangsheng Dong, Tao Cheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment fonctionnent les villes. Vous avez de nombreux « enseignants » différents (modèles d'IA) qui ont étudié les villes de manières diverses : certains ont examiné des photos satellites, d'autres ont lu des listes de boutiques et de restaurants, et certains ont simplement mémorisé des adresses de rues.

Le problème est qu'jusqu'à présent, il n'existait aucun moyen équitable de déterminer quel enseignant est réellement le meilleur. La plupart des tests consistaient à soumettre le robot à un quiz où les réponses étaient cachées juste à côté des questions. Si le robot mémorisait le quartier sur lequel il était testé, il obtenait un score parfait, mais il ne parvenait pas réellement à comprendre la ville. C'était comme un étudiant qui mémorise la clé des réponses au lieu d'apprendre la matière.

CityRep est une nouvelle « olympiade » équitable pour ces robots comprenant les villes. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Tricher à l'examen

Par le passé, les chercheurs testaient ces modèles d'IA en sélectionnant au hasard des îlots urbains pour l'entraînement et les tests. Comme les villes sont connectées (ce qui se passe dans une rue se produit souvent dans la suivante), l'IA pouvait simplement « jeter un coup d'œil » aux données d'entraînement pour deviner les réponses du test. Cela rendait les scores impressionnants, mais les modèles étaient en réalité terribles pour comprendre de nouvelles villes, jamais vues auparavant.

L'analogie : Imaginez un étudiant passant un examen de mathématiques. Si le professeur place la clé des réponses pour la question 5 juste à côté de la question 6, l'étudiant obtient 100 %. Mais si vous déplacez l'étudiant dans une autre salle de classe avec un nouvel examen, il pourrait échouer. CityRep empêche ce « coup d'œil ».

2. La Solution : Le Benchmark « CityRep »

Les auteurs ont créé un terrain de test unifié appelé CityRep. Imaginez-le comme un examen de conduite standardisé qui se déroule dans 8 villes différentes (Londres, New York, Singapour, etc.) avec 8 défis différents (prédire le trafic, la population, la qualité de l'air, etc.).

Pour rendre cela équitable, ils ont introduit trois règles principales :

Règle n°1 : Le Traducteur Universel (Alignement Spatial)
Certains modèles d'IA parlent « Pixel » (images satellites), d'autres parlent « Adresse » (numéros de rue), et certains parlent « Région » (quartiers). Vous ne pouvez pas les comparer directement. CityRep agit comme un traducteur. Il prend la sortie de n'importe quel modèle et la convertit dans le format requis pour le test spécifique. C'est comme convertir toutes les réponses dans une seule langue avant de les corriger.
Règle n°2 : La Règle « Pas de Coup d'Œil » (Séparations Spatiales)
Au lieu de mélanger au hasard les questions de l'examen, CityRep divise la ville en grands blocs séparés (comme une grille). Il entraîne l'IA sur un ensemble de blocs et la teste sur un ensemble de blocs complètement différent, situé loin.
L'analogie : Au lieu de tester un étudiant sur un quartier qu'il vient d'étudier, vous le testez sur un quartier qu'il n'a jamais visité. Si le modèle obtient toujours un bon score, il comprend réellement la ville, et pas seulement la carte.
Règle n°3 : Le Défi Multi-Tâches
Un modèle peut être excellent pour prédire où vivent les gens, mais terrible pour prédire la pollution de l'air. CityRep les teste sur 8 choses différentes :
- Morphologie : À quoi sert le terrain ? (Maisons vs usines)
- Démographie : Combien de personnes y vivent et quel est leur âge ?
- Économie : Combien d'argent y est généré ? (PIB, lumières nocturnes)
- Environnement : L'air est-il pollué ? Le sol est-il chaud ?

3. Ce qu'ils ont découvert

Les chercheurs ont testé 11 « enseignants » différents (modèles d'IA) en utilisant ce nouveau système équitable. Voici ce qui s'est produit :

Le Score « Coup d'Œil » vs Le Vrai Score : Lorsqu'ils ont utilisé l'ancienne méthode « aléatoire » et injuste, les scores étaient élevés et le classement semblait d'une certaine manière. Lorsqu'ils sont passés à la nouvelle méthode « pas de coup d'œil », les scores ont chuté et le classement a changé du tout au tout. Certains modèles qui semblaient être des gagnants étaient en réalité simplement bons pour mémoriser.
Les Grands Gagnants : Les modèles qui ont appris à partir d'images satellites (observant la ville entière depuis l'espace) ont généralement obtenu les meilleurs résultats dans toutes les tâches. Ils semblent posséder le plus de « connaissances générales » sur le fonctionnement des villes.
Pas de Solution Universelle : Même les meilleurs modèles ont eu du mal avec certaines villes ou certaines tâches. Un modèle excellent pour prédire la population à New York pourrait avoir des difficultés avec la même tâche à Mumbai. Cela prouve que l'on ne peut pas simplement choisir un modèle et dire qu'il est le « meilleur » pour tout ; il faut le tester dans de nombreux endroits différents.

La Conclusion

CityRep est un outil pour empêcher les chercheurs de sur-vendre leurs modèles d'IA. Il les oblige à prouver que leurs modèles peuvent réellement comprendre la réalité complexe et désordonnée des villes, et non pas simplement mémoriser une carte spécifique. En utilisant cette méthode de test équitable basée sur les blocs, nous pouvons enfin voir quels modèles sont vraiment prêts à nous aider à construire des villes meilleures et plus intelligentes à l'avenir.

Où le trouver : Les auteurs ont rendu toutes les données, le code et les outils disponibles gratuitement sur GitHub afin que n'importe qui puisse exécuter ces tests lui-même.

Résumé technique : CityRep, une référence unifiée pour les représentations urbaines

1. Énoncé du problème

L'apprentissage de représentations urbaines vise à encoder des observations urbaines hétérogènes (par exemple, imagerie par télédétection, images de rue, points d'intérêt et coordonnées géographiques) dans des embeddings spatiaux à usage général. Ces embeddings sont destinés à servir de composants fondamentaux pour diverses tâches en aval et pour les modèles de fondation urbains émergents. Cependant, l'évaluation de ces représentations souffre de trois limitations critiques :

Portée étroite : Les évaluations existantes se concentrent généralement sur une ou deux villes, un nombre limité de tâches ou un seul type d'étiquette. Cela restreint la capacité à déterminer si une représentation est véritablement à usage général ou simplement efficace dans des conditions spécifiques et étroites.
Supports spatiaux incompatibles : Les modèles de représentation fonctionnent sur des supports spatiaux disparates (grilles raster, régions vectorielles, cellules H3 ou coordonnées continues), tandis que les tâches en aval définissent souvent les unités différemment. Sans un mécanisme d'alignement standardisé, une comparaison équitable entre des modèles hétérogènes est impossible.
Fuite spatiale dans l'évaluation : La plupart des études reposent sur des séparations aléatoires entre l'entraînement et le test. Dans les contextes urbains, où les données présentent une forte autocorrélation spatiale, des séparations aléatoires permettent aux modèles d'obtenir des performances gonflées en interpolant entre des échantillons d'entraînement et de test voisins, plutôt qu'en généralisant véritablement à des zones non vues. Cela conduit à des conclusions excessivement optimistes sur la transférabilité des modèles.

2. Méthodologie : Le cadre CityRep

Pour combler ces lacunes, les auteurs proposent CityRep, une référence unifiée conçue pour évaluer les représentations urbaines à travers des modalités de données, des villes et des tâches en utilisant des protocoles structurés spatialement. Le cadre se compose de trois composants principaux :

A. Évaluation et alignement agnostiques de l'unité spatiale

CityRep introduit un module d'alignement standardisé pour rendre les représentations hétérogènes comparables. Au lieu de forcer tous les modèles sur une grille universelle unique, le cadre aligne les représentations natives sur les unités spatiales spécifiques des tâches en aval ( $U_{c,t}$ ) pour chaque ville ( $c$ ) et chaque tâche ( $t$ ).

Mécanisme : Pour les embeddings au niveau raster ou régional, le système agrège les embeddings au sein des unités de tâche ou partage les embeddings à travers des unités plus grossières. Pour les embeddings au niveau entité (par exemple, les points d'intérêt), il agrège d'abord les entités vers un support intermédiaire (cellules H3) avant de les mapper vers les unités de tâche afin d'éviter la perte de caractéristiques. Pour les encodeurs de coordonnées, il interroge l'encodeur aux coordonnées représentatives des unités de tâche.
Objectif : Cela permet d'évaluer des modèles basés sur des rasters, des régions, des entités ou des coordonnées sous la même interface en aval.

B. Protocole de séparation structuré spatialement

Pour atténuer la fuite spatiale, CityRep remplace les séparations aléatoires par des séparations spatiales par blocs.

Protocole : L'étendue spatiale d'une tâche est partitionnée en blocs non chevauchants (par exemple, une grille de $10 \times 10$ ). Les ensembles d'entraînement, de validation et de test sont formés en assignant des blocs entiers à des sous-ensembles disjoints, plutôt que des échantillons individuels.
Raison d'être : Cela garantit que les échantillons de test sont spatialement séparés des échantillons d'entraînement, obligeant les modèles à démontrer une véritable généralisation à des zones géographiques non vues plutôt qu'une interpolation locale.

C. Suite de références multi-villes et multi-tâches

CityRep couvre 8 villes (Londres, New York, Singapour, Sydney, Mumbai, Nairobi, Jakarta, Le Cap) et 8 tâches en aval organisées en quatre domaines urbains :

Morphologie : Classification de l'occupation des sols (LUC) et régression de la densité routière (RDE).
Démographie : Régression de la population (POP) et prédiction de la distribution par âge (AGE).
Économie : Régression du PIB et régression des lumières nocturnes (NTL).
Environnement : Régression des PM2,5 et régression de la température de surface (LST).

La référence évalue 11 modèles représentatifs, notamment des encodeurs de position (PE), des méthodes basées sur les points d'intérêt (Place2Vec, CaLLiPer), des encodeurs de coordonnées (Space2Vec, SatCLIP), des modèles d'entités cartographiques (CityFM, Urban2Vec) et des modèles de fondation de télédétection à grande échelle (TESSERA, AlphaEarth, AETHER).

3. Résultats clés

Les auteurs ont mené une étude empirique à grande échelle avec les constatations suivantes :

Impact des protocoles de séparation : Les performances sont hautement sensibles au protocole de séparation. Les séparations aléatoires gonflent systématiquement les scores (particulièrement pour les tâches raster denses comme la population et la LST) et modifient le classement des modèles par rapport aux séparations spatiales. Cela confirme que les séparations aléatoires mesurent l'interpolation locale plutôt que le transfert vers des zones non vues.
Performance des modèles : Les représentations géospatiales préentraînées à grande échelle (AETHER, AlphaEarth, TESSERA) ont obtenu le transfert global le plus fort à travers les tâches et les villes, suggérant qu'une couverture spatiale étendue et un préentraînement à grande échelle sont précieux pour la prédiction urbaine hétérogène. Cependant, des modèles spécialisés ou plus simples (par exemple, CityFM pour la LST, CaLLiPer pour la distribution par âge) sont restés compétitifs sur des tâches spécifiques, indiquant que la modalité d'entrée seule ne dicte pas la performance ; l'architecture et la stratégie d'alignement comptent.
Variabilité contextuelle : Les classements des modèles et les écarts de performance varient considérablement selon les villes et les tâches. Aucune ville n'est constamment facile ou difficile pour tous les problèmes de prédiction. Par exemple, une ville peut être facile pour la prédiction socioéconomique mais difficile pour la prédiction environnementale. Cela souligne que les évaluations sur une seule ville offrent une image incomplète de la robustesse des modèles.
Stabilité de la sonde linéaire : Les résultats sont restés globalement cohérents lorsqu'ils ont été évalués avec une tête en aval linéaire par rapport à un MLP non linéaire, suggérant que la supériorité des modèles de fondation de télédétection n'est pas uniquement un artefact de la capacité du modèle en aval.

4. Signification et affirmations

L'article positionne CityRep comme une étape nécessaire vers le développement de modèles de fondation urbains. Sa signification réside dans :

Standardisation : Il fournit une interface unifiée et reproductible pour comparer des représentations urbaines hétérogènes, dépassant les comparaisons étroites et à configuration unique.
Évaluation rigoureuse : En imposant des séparations structurées spatialement, il offre une évaluation plus réaliste de la généralisation, empêchant la surestimation des capacités des modèles courante dans la littérature actuelle.
Insight diagnostique : La référence révèle que la qualité de la représentation urbaine n'est pas statique ; elle fluctue en fonction du contexte urbain, du domaine de la tâche et de la disponibilité des données. Cela remet en question la notion d'un seul modèle « meilleur » pour tous les scénarios urbains.
Disponibilité des ressources : Les auteurs publient des jeux de données, des pipelines d'évaluation, des références traitées et des outils diagnostiques pour faciliter la comparaison équitable et la recherche future.

Les auteurs notent modestement que, bien que CityRep fasse progresser l'évaluation, il est contraint par la qualité des données géospatiales publiques disponibles et n'explore pas encore pleinement comment la rareté des données multimodales façonne les embeddings mondiaux. Ils présentent CityRep comme une référence de recherche pour guider le développement de représentations urbaines à usage général plutôt que comme un système d'aide à la décision pour un déploiement direct dans les politiques publiques.