CityLens: Evaluating Large Vision-Language Models for Urban Socioeconomic Sensing

Dit paper introduceert CityLens, een uitgebreid benchmark voor het evalueren van Large Vision-Language Models bij het voorspellen van stedelijke sociaaleconomische indicatoren op basis van satelliet- en straatbeeldbeelden uit 17 wereldsteden.

De kern

Stel je voor dat je een stadsplanner bent die een nieuwe wijk moet bouwen of een bestaande moet verbeteren. Om goede beslissingen te nemen, heb je gegevens nodig: hoeveel mensen wonen hier? Is het hier rijk of arm? Hoe gezond zijn de mensen? Hoeveel mensen nemen de bus?

Vroeger moest je wachten tot de overheid een volkstelling deed, wat jaren kan duren. Maar wat als je gewoon naar een foto van de stad kon kijken en direct wist hoe het er daar voorstaat?

Dat is precies wat dit nieuwe onderzoek, genaamd CityLens, probeert uit te vinden. Het is een grote test om te zien of slimme computerprogramma's (die we LVLMs noemen, ofwel "grote visuele-taalmodellen") dit kunnen.

Hier is een uitleg in gewone taal, met een paar leuke vergelijkingen:

1. De "Stads-CT" (De Test)

Stel je voor dat je een arts bent die een patiënt moet onderzoeken. In plaats van een mens, is de "patiënt" een hele stad.

• De Foto's: De "arts" krijgt twee soorten foto's te zien:
  • Satellietfoto's: Van bovenaf, alsof je uit een vliegtuig kijkt (je ziet de vorm van de straten en gebouwen).
  • Straatbeeldfoto's: Vanuit ooghoogte, alsof je zelf op de stoep staat (je ziet de gevels, bomen, auto's en winkels).
• De Diagnose: De computer moet op basis van deze foto's een diagnose stellen: "Hoeveel mensen hebben hier een diploma?", "Hoeveel mensen worden hier ziek?" of "Hoeveel geld verdienen ze gemiddeld?".

2. De "Slimme Studenten" (De Modellen)

De onderzoekers hebben 17 verschillende slimme computerprogramma's uitgenodigd om deze test te doen. Dit zijn de nieuwste en slimste modellen die er momenteel zijn (zoals GPT-4, Gemini, Llama, etc.).
Je kunt je deze modellen voorstellen als superstudenten die alles op internet hebben gelezen en ook heel goed kunnen kijken naar plaatjes. Ze zijn geweldig in het beschrijven van wat ze zien ("Ik zie een boom en een rode auto"), maar kunnen ze ook de sociale betekenis daarvan begrijpen?

3. De Drie Manieren om te Toetsen

De onderzoekers hebben de studenten op drie manieren getest, net zoals een leraar een examen kan geven:

1. Directe Voorspelling: "Kijk naar deze foto's en zeg me direct: wat is het gemiddelde inkomen?" (Dit is heel moeilijk, alsof je een getal moet raden zonder rekenmachine).
2. Geschaalde Voorspelling: "Geef een cijfer van 0 tot 10 voor hoe rijk deze buurt is." (Iets makkelijker, want je hoeft geen exact bedrag te noemen).
3. De "Ooggetuige" Methode: "Kijk naar de foto en geef een score voor 13 verschillende dingen: hoeveel groen zie je? Hoeveel auto's? Hoe groot zijn de huizen?" De computer geeft deze scores, en een andere simpele rekenmachine gebruikt die scores om het eindresultaat te berekenen.

4. Wat bleek er? (De Resultaten)

De resultaten waren een mix van "wow" en "uh oh":

• Het Goede Nieuws: De computers zijn heel goed in het zien van zichtbare dingen. Als je vraagt: "Hoe hoog zijn de gebouwen?" of "Hoeveel bussen zie je?", doen ze het uitstekend. Het is alsof ze een goede foto kunnen analyseren.
• Het Moeilijke Nieuws: Ze worstelen met onzichtbare dingen. Als je vraagt: "Hoe vaak krijgen mensen hier depressie?" of "Hoeveel mensen hebben een universitair diploma?", zakken ze vaak door de vloer.
  • De Analogie: Stel je voor dat je naar een foto van een huis kijkt. Je ziet dat het mooi is. Maar kun je zien of de bewoners gelukkig zijn? Of of ze veel geld hebben? Dat is niet altijd te zien aan de gevel. De computers proberen dit te raden, maar maken vaak fouten. Ze zien soms dingen die er niet zijn (hallucinaties) of missen subtiele hints.

5. De Belangrijkste Les

De onderzoekers ontdekten dat de beste manier om deze computers te gebruiken, niet is om ze direct het antwoord te laten geven.

• Het werkt beter als je ze gebruikt als een assistent die eerst de details beschrijft (bijv. "Ik zie veel groen, oude gebouwen en weinig auto's") en dan een simpele rekenmachine die van die beschrijvingen een schatting maakt.
• Ook bleek dat meer foto's helpen. Als je de computer 20 foto's van een buurt geeft in plaats van 1, krijgt hij een beter beeld van de hele wijk, net als wanneer je een wijk niet alleen van bovenaf bekijkt, maar ook een stukje doorloopt.

6. Waarom is dit belangrijk?

Steden zijn complex. Als we beter kunnen begrijpen hoe een wijk eruitziet en hoe dat samenhangt met de mensen die er wonen, kunnen we:

• Geld eerlijker verdelen.
• Beter plannen waar scholen of ziekenhuizen nodig zijn.
• De leefbaarheid van steden verbeteren.

Conclusie:
CityLens is als een grote "rijbewijstest" voor slimme computers in de stad. Ze hebben hun rijbewijs nog niet helemaal gehaald, maar ze leren snel. Ze zijn geweldig in het zien van de "huid" van de stad (gebouwen, straten), maar moeten nog leren om de "ziel" van de stad (armen, rijken, gezondheid) te begrijpen. De onderzoekers hopen dat deze test helpt om de computers in de toekomst slimmer te maken, zodat ze stedenplanners kunnen helpen om betere beslissingen te nemen.

(Kortom: De computers zien de stad, maar moeten nog leren de stad echt te begrijpen.)

Technische samenvatting

Titel: CityLens: Evaluatie van Grote Visueel-Talige Modellen (LVLM's) voor Sociaaleconomische Sensing in Steden

1. Probleemstelling

Het begrijpen en kwantificeren van sociaaleconomische omstandigheden in stedelijke gebieden (zoals inkomen, onderwijs, gezondheid en criminaliteit) is essentieel voor duurzaam stadsbeleid en planning. Traditionele methoden voor "urban socioeconomic sensing" maken vaak gebruik van klassieke deep learning-modellen of kennisgrafieken. Deze methoden hebben echter beperkingen:

• Ze hebben moeite met ongestructureerde of multimodale data.
• Ze generaliseren slecht over verschillende landen en culturen.
• Ze kunnen subjectieve en cultureel significante aspecten van een plaats niet interpreteren.

Hoewel Grote Visueel-Talige Modellen (LVLM's) belovend zijn vanwege hun vermogen om meerdere modaliteiten te integreren en culturele nuances te begrijpen, ontbreekt er tot nu toe een systematisch en uniek benchmark om hun prestaties in deze specifieke domein te evalueren. Bestaande werken zijn vaak beperkt in geografische dekking, diversiteit van indicatoren en multimodale integratie.

2. Methodologie

De auteurs introduceren CityLens, een uitgebreid benchmark dat is ontworpen om de capaciteiten van LVLM's te testen bij het voorspellen van sociaaleconomische indicatoren op basis van satellietbeelden en straatbeeldfoto's.

A. Dataset Constructie

• Dekking: De dataset omvat 17 steden verspreid over 6 continenten (o.a. New York, Shanghai, Londen, Nairobi, Tokio).
• Indicatoren: Er zijn 11 indicatoren geselecteerd uit 6 domeinen: Economie, Onderwijs, Criminaliteit, Vervoer, Gezondheid en Milieu.
  • Voorbeelden: BBP, huisprijzen, bevolkingsdichtheid, percentage forenzen met auto, geweldsmisdrijven, mentale gezondheid, levensverwachting en bachelorgraad-ratio.
• Data-structuur: Elke regio (een eenheid van voorspelling) wordt weergegeven door 1 satellietbeeld en 10 straatbeeldfoto's.
• Selectiecriteria: Indicatoren werden geselecteerd op basis van hun visuele relevantie (kunnen mensen ze afleiden uit beelden?) en om redundantie te verminderen (via Pearson-correlatieanalyse).

B. Evaluatie Paradigma's
Om de prestaties grondig te testen, worden drie verschillende evaluatiestrategieën gebruikt:

1. Directe Metrische Voorspelling (Direct Metric Prediction): Het model krijgt beelden en moet direct de exacte numerieke waarde van de indicator voorspellen (bijv. "Wat is het percentage forenzen?").
2. Genormaliseerde Metrische Schatting (Normalized Metric Estimation): De waarden worden omgezet naar een schaal van 0.0 tot 9.9. Het model moet een genormaliseerde waarde schatten om te testen of het relatieve niveaus kan onderscheiden zonder de last van exacte numerieke precisie.
3. Functie-gebaseerde Regressie (Feature-Based Regression): Het model fungeert als een "feature extractor". Het moet 10 straatbeelden analyseren en scores geven voor 13 vooraf gedefinieerde visuele attributen (bijv. groen, voertuigen, gevels, stoep). Deze scores worden vervolgens gebruikt als input voor een traditioneel regressiemodel (LASSO) om de uiteindelijke indicator te voorspellen.

C. Experimenteel Opzet

• Er zijn 17 state-of-the-art LVLM's getest (o.a. Gemma3, Qwen2.5-VL, Llama4, GPT-4o, Gemini).
• Er zijn experimenten uitgevoerd met Chain-of-Thought (CoT) prompting, verschillende visuele encoders en fine-tuning.

3. Belangrijkste Resultaten

• Algemene Uitdaging: De benchmark vormt een aanzienlijke uitdaging voor huidige LVLM's. Hoewel modellen op visueel duidelijke taken (zoals Building Height of Public Transport) redelijke resultaten laten zien (R² tot ~0.59), presteren ze slecht op abstractere indicatoren zoals Mental Health en Bachelor Ratio (R² vaak dicht bij 0 of zelfs negatief).
• Functie-gebaseerde Regressie is Superieur: De methode waarbij het model visuele features extrahert die door een regressiemodel worden verwerkt, presteert over het algemeen beter dan het laten voorspellen van de eindwaarde door het LVLM zelf. Dit suggereert dat LVLM's beter zijn in het extraheren van gestructureerde visuele representaties dan in het direct genereren van nauwkeurige numerieke schattingen.
• Invloed van Modellen en Architectuur:
  • Grotere modelgrootte garandeert niet altijd betere prestaties (bijv. Gemma3-27B deed het soms slechter dan Gemma3-12B op specifieke taken).
  • Modellen met CLIP als visuele encoder presteerden over het algemeen beter dan die met DINOv2 of SigLIP.
  • Chain-of-Thought (CoT) prompting had een gemengd effect: het hielp bij complexe redeneringstaken (zoals huisprijzen) maar verslechterde soms de prestaties bij taken die meer op directe visuele kenmerken leunen.
• Geografische Variatie: Modellen presteerden significant beter in steden van het "Global North" (bijv. San Francisco, Londen) dan in steden van het "Global South" (bijv. Mumbai, Nairobi), wat wijst op geografische bias en een gebrek aan generalisatievermogen voor diverse stedelijke contexten.
• Input Modaliteiten: Straatbeeldfoto's bleken cruciaal en vaak belangrijker dan satellietbeelden voor de voorspelling van sociaaleconomische indicatoren, omdat ze fijnmazigere semantische informatie bieden (gevels, winkels, infrastructuur).
• Potentieel van Fine-tuning: Wanneer modellen werden gefine-tuned op de taak, verbeterden de prestaties aanzienlijk, wat aantoont dat LVLM's potentie hebben voor dit domein, maar dat ze specifieke training nodig hebben.

4. Bijdragen

1. CityLens Benchmark: De grootste en meest uitgebreide benchmark tot nu toe voor sociaaleconomische sensing in steden, met dekking van 17 steden, 11 indicatoren en 17 modellen.
2. Uitgebreide Evaluatie: Een systematische vergelijking van drie evaluatieparadigma's, wat inzicht geeft in de sterke en zwakke punten van LVLM's bij numerieke schatting versus visuele analyse.
3. Diepgaande Analyse: Een gedetailleerde analyse van factoren zoals modelarchitectuur, inputconfiguratie, geografische bias en de impact van prompt-ontwerp (CoT) op de prestaties.
4. Openbare Beschikbaarheid: De dataset (inclusief een open-source versie via Mapillary) en de code zijn openbaar beschikbaar gemaakt om reproduceerbaarheid te waarborgen.

5. Betekenis en Toekomstperspectief

CityLens biedt een unificerend kader om de beperkingen van LVLM's in de stedelijke context te diagnosticeren. De resultaten tonen aan dat hoewel LVLM's veelbelovende perceptuele vaardigheden hebben, ze nog niet klaar zijn voor het nauwkeurig voorspellen van complexe sociaaleconomische indicatoren zonder specifieke aanpassing.

De studie benadrukt de noodzaak van:

• Ontwikkeling van domeinspecifieke LVLM's voor stedelijke sensing.
• Verdere onderzoek naar het verminderen van geografische en culturele bias.
• Het combineren van visuele perceptie met geospatiale kennis en redeneermodules voor robuustere voorspellingen.

CityLens fungeert als een cruciale stap richting het gebruik van AI voor het creëren van eerlijkere, inclusievere en datagedreven stedelijke beleidsplanning.