Technische Samenvatting: CityRep: Een Unificerend Benchmark voor Stedelijke Representaties

1. Probleemstelling

Stedelijk representatieleren beoogt heterogene stedelijke observaties (bijvoorbeeld remote sensing, straatbeeldbeelden, punten van interesse en geografische coördinaten) te coderen in algemene ruimtelijke embeddings. Deze embeddings zijn bedoeld als fundamentele componenten voor diverse downstream-taken en opkomende stedelijke foundation-modellen. De evaluatie van deze representaties lijdt echter onder drie kritieke beperkingen:

1. Beperkte Scope: Bestaande evaluaties richten zich doorgaans op één of twee steden, een beperkt aantal taken of één enkel labeltype. Dit beperkt de mogelijkheid om te beoordelen of een representatie werkelijk algemeen toepasbaar is, of slechts effectief onder specifieke, krappe omstandigheden.
2. Incompatibele Ruimtelijke Ondersteuning: Representatiemodellen werken op uiteenlopende ruimtelijke ondersteuningen (rasterroosters, vectorregio's, H3-cellen of continue coördinaten), terwijl downstream-taken vaak andere eenheden definiëren. Zonder een gestandaardiseerd uitlijningsmechanisme is een eerlijke vergelijking tussen heterogene modellen onmogelijk.
3. Ruimtelijke Lekkage in Evaluatie: De meeste studies vertrouwen op willekeurige train-test splits. In stedelijke contexten, waar data sterke ruimtelijke autocorrelatie vertoont, zorgen willekeurige splits ervoor dat modellen een geïnfleerde prestatie behalen door te interpoleren tussen nabijgelegen trainings- en teststalen, in plaats van echt te generaliseren naar ongezonde gebieden. Dit leidt tot te optimistische conclusies over de overdraagbaarheid van modellen.

2. Methodologie: Het CityRep-kader

Om deze hiaten aan te pakken, stellen de auteurs CityRep voor, een unificerend benchmark ontworpen om stedelijke representaties te evalueren over data-modaliteiten, steden en taken heen, met behulp van ruimtelijk gestructureerde protocollen. Het kader bestaat uit drie kerncomponenten:

A. Ruimtelijke Eenheden-Onafhankelijke Evaluatie & Uitlijning

CityRep introduceert een gestandaardiseerd uitlijningsmodule om heterogene representaties vergelijkbaar te maken. In plaats van alle modellen te dwingen op één universeel rooster, lijnt het kader native representaties uit op de specifieke ruimtelijke eenheden van downstream-taken ($U_{c,t}$) voor elke stad ($c$) en taak ($t$).

• Mechanisme: Voor raster- of regio-niveau embeddings aggregeert het systeem embeddings binnen taakeenheden of deelt het embeddings over grovere eenheden heen. Voor entiteitsniveau embeddings (bijvoorbeeld POI's) worden eerst entiteiten geaggregeerd naar een intermediaire ondersteuning (H3-cellen) voordat ze worden gemapt naar taakeenheden om het missen van kenmerken te voorkomen. Voor coördinaat-encoders wordt de encoder bevraagd bij representatieve coördinaten van taakeenheden.
• Doel: Dit stelt modellen die gebaseerd zijn op rasters, regio's, entiteiten of coördinaten in staat om geëvalueerd te worden onder dezelfde downstream-interface.

B. Ruimtelijk Gestructureerd Split-protocol

Om ruimtelijke lekkage te mitigeren, vervangt CityRep willekeurige splits door op blokken gebaseerde ruimtelijke splits.

• Protocol: Het ruimtelijke bereik van een taak wordt gepartitioneerd in niet-overlappende blokken (bijvoorbeeld een $10 \times 10$-rooster). Train-, validatie- en testsets worden gevormd door volledige blokken toe te wijzen aan disjuncte subsets, in plaats van individuele stalen.
• Redenering: Dit zorgt ervoor dat teststalen ruimtelijk gescheiden zijn van trainingsstalen, waardoor modellen gedwongen worden echte generalisatie te tonen naar ongezonde geografische gebieden in plaats van lokale interpolatie.

C. Multi-Stad, Multi-Taak Benchmark Suite

CityRep beslaat 8 steden (Londen, New York, Singapore, Sydney, Mumbai, Nairobi, Jakarta, Kaapstad) en 8 downstream-taken georganiseerd in vier stedelijke domeinen:

1. Morfologie: Landgebruiksclassificatie (LUC) en regressie van wegdichtheid (RDE).
2. Demografie: Regressie van bevolking (POP) en voorspelling van leeftijdsverdeling (AGE).
3. Economie: Regressie van BBP en regressie van nachtelijk licht (NTL).
4. Milieu: Regressie van PM2.5 en regressie van landoppervlaktetemperatuur (LST).

De benchmark evalueert 11 representatieve modellen, waaronder positie-encoders (PE), op POI's gebaseerde methoden (Place2Vec, CaLLiPer), coördinaat-encoders (Space2Vec, SatCLIP), kaart-entitiemodels (CityFM, Urban2Vec) en grootschalige foundation-modellen voor remote sensing (TESSERA, AlphaEarth, AETHER).

3. Belangrijkste Resultaten

De auteurs voerden een grootschalige empirische studie uit met de volgende bevindingen:

• Impact van Split-protocollen: De prestatie is zeer gevoelig voor het split-protocol. Willekeurige splits inflateren consequent de scores (met name voor dichte raster-taken zoals bevolking en LST) en veranderen de modelrangschikkingen in vergelijking met ruimtelijke splits. Dit bevestigt dat willekeurige splits lokale interpolatie meten in plaats van overdracht naar ongezonde gebieden.
• Modelprestaties: Grootschalige voorgetrainde geospatiale representaties (AETHER, AlphaEarth, TESSERA) behaalden de sterkste algehele overdracht over taken en steden heen, wat suggereert dat brede ruimtelijke dekking en grootschalige voortraining waardevol zijn voor heterogene stedelijke voorspelling. Echter, gespecialiseerde of eenvoudigere modellen (bijvoorbeeld CityFM voor LST, CaLLiPer voor leeftijdsverdeling) bleven concurrerend op specifieke taken, wat aangeeft dat de invoermodaleiteit alleen de prestatie niet bepaalt; architectuur en uitlijnstrategie zijn van belang.
• Contextuele Variabiliteit: Modelrangschikkingen en prestatiekloven variëren aanzienlijk tussen steden en taken. Geen enkele stad is consequent makkelijk of moeilijk voor alle voorspellingsproblemen. Zo kan een stad bijvoorbeeld makkelijk zijn voor sociaaleconomische voorspelling maar moeilijk voor milieuvorvoorspelling. Dit onderstreept dat evaluaties op basis van één stad een onvolledig beeld geven van modelrobustheid.
• Stabiliteit van Lineaire Probes: De resultaten bleven breed consistent wanneer geëvalueerd met een lineaire downstream-head versus een niet-lineaire MLP, wat suggereert dat de superioriteit van foundation-modellen voor remote sensing niet uitsluitend een artefact is van de capaciteit van het downstream-model.

4. Betekenis en Claims

Het artikel positioneert CityRep als een noodzakelijke stap richting de ontwikkeling van stedelijke foundation-modellen. De betekenis hiervan ligt in:

1. Standaardisatie: Het biedt een reproduceerbare, unificerende interface voor het vergelijken van heterogene stedelijke representaties, en gaat voorbij aan krappe, enkelvoudige setting-vergelijkingen.
2. Rigoureuze Evaluatie: Door ruimtelijk gestructureerde splits af te dwingen, biedt het een realistischere beoordeling van generalisatie, waardoor de overschatting van modelcapaciteiten die in de huidige literatuur voorkomt, wordt voorkomen.
3. Diagnostisch Inzicht: De benchmark onthult dat de kwaliteit van stedelijke representaties niet statisch is; deze fluctueert op basis van stedelijke context, taakdomein en data-beschikbaarheid. Dit daagt het idee uit van één enkel "beste" model voor alle stedelijke scenario's.
4. Beschikbaarheid van Middelen: De auteurs publiceren datasets, evaluatiepijplijnen, verwerkte benchmarks en diagnostische tools om eerlijke vergelijking en toekomstig onderzoek te faciliteren.

De auteurs merken bescheiden op dat CityRep, hoewel het de evaluatie vooruit helpt, beperkt wordt door de kwaliteit van beschikbare publieke geospatiale data en nog niet volledig onderzoekt hoe schaarste aan multimodale data globale embeddings vormgeeft. Ze presenteren CityRep als een onderzoeksbenchmark om de ontwikkeling van algemeen toepasbare stedelijke representaties te sturen, in plaats van als een beslissingsysteem voor direct beleidsimplementatie.