Streetscape Analysis with Generative AI (SAGAI): Vision-Language Assessment and Mapping of Urban Scenes

Dit artikel introduceert SAGAI, een modulaire workflow die open data en vision-language-modellen combineert om zonder specifieke training gestructureerde ruimtelijke indicatoren en kaarten van stedelijke straatbeelden te genereren voor diverse stadsplanningsdoeleinden.

De kern

Stel je voor dat je een stad wilt begrijpen, niet door naar de blauwe lijnen op een plattegrond te kijken (de "skelet" van de stad), maar door te voelen hoe het er echt aan toe is: is de straat veilig? Is er veel groen? Zijn de stoepen breed genoeg om te wandelen?

Vroeger was dit een enorm karwei. Je moest mensen sturen die met een klembord langs de straten liepen en alles handmatig noteerden. Dat kostte tijd, geld en energie. Of je gebruikte slimme computers, maar die moesten eerst jarenlang "leren" op duizenden foto's voordat ze iets konden zien, en ze waren vaak maar goed voor één specifieke taak (zoals alleen bomen tellen).

SAGAI is de nieuwe, slimme oplossing die in dit artikel wordt gepresenteerd. Het is als het geven van een super-intelligente, digitale assistent aan elke stadsplanner.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. De Idee: Een "Vertaler" voor Straten

Stel je voor dat je een robot hebt die niet alleen foto's kan zien, maar ze ook kan lezen en begrijpen alsof het een mens is. Dit noemen ze een "Vision-Language Model" (een model dat beeld en taal combineert).

SAGAI gebruikt zo'n robot (genaamd LLaVA) en vraagt hem simpelweg: "Kijk naar deze foto van een straat. Is dit een drukke stad of een rustig dorp? Zie je winkels? Hoe breed is de stoep?"

De robot geeft direct een antwoord in cijfers, zonder dat je hem eerst maandenlang hebt moeten trainen. Het is alsof je een vriend vraagt om een foto te beoordelen, in plaats van een computer die eerst een examen moet doen.

2. De Vier Stappen: Een Productielijn

Het proces van SAGAI werkt als een strakke fabriekslijn met vier stations:

• Station 1: De Prikker (OSM Point Generator)
  De computer pikt een digitale kaart (OpenStreetMap) en steekt duizenden kleine "prikjes" in de straten, alsof je een speldenkussen maakt. Elke prik staat voor een punt waar we een foto willen maken.
• Station 2: De Fotograaf (Street View Downloader)
  De computer rent naar Google Street View, stopt bij elke prik en maakt vier foto's (voor, achter, links, rechts). Het is alsof een onzichtbare drone langs elke straat vliegt en een fotoalbum maakt.
• Station 3: De Beoordelaar (LLaVA Model)
  Dit is het hart van het systeem. De computer geeft de foto's aan de slimme robot. De robot kijkt naar de foto en zegt: "Aha, dit is een stad (score 1), ik zie 2 winkels, en de stoep is ongeveer 1,5 meter breed."
  Het mooie: Je kunt de robot vragen wat je maar wilt. Wil je weten of het er veilig uitziet? Of of er veel groen is? Je verandert gewoon de vraag (de "prompt") en de robot doet het opnieuw.
• Station 4: De Kaartmaker (Geospatial Aggregation)
  Alle duizenden antwoorden worden samengevoegd. De computer tekent een nieuwe kaart. Waar de robot "veel winkels" zag, kleurt de straat paars. Waar hij "smalle stoepen" zag, wordt de straat rood. Plotseling heb je een visueel verhaal van de hele stad.

3. Wat hebben ze ontdekt? (De Proefjes)

De auteurs hebben dit systeem getest in twee steden: Nice (Frankrijk) en Wenen (Oostenrijk).

• Het beste resultaat: De robot is een uitstekend scheidsrechter tussen "stad" en "platteland". Hij ziet heel snel of je in een drukke wijk bent of in een bos. (90%+ correct).
• Het gemiddelde resultaat: Hij kan redelijk goed winkels tellen. Soms telt hij een reclamebord als een winkel, maar over het algemeen is hij behulpzaam.
• De uitdaging: Het meten van stoepbreedte is lastig. Het is voor de robot als voor een mens om de exacte breedte van een stoep te raden op een platte foto zonder meetlat. Soms denkt hij dat een grasstrook een stoep is. Toch geeft het wel een goed idee van waar de brede en smalle plekken zitten.

4. Waarom is dit geweldig?

• Iedereen kan het gebruiken: Je hebt geen dure supercomputer nodig. Het draait gratis in je browser (Google Colab).
• Snel en schaalbaar: Wat vroeger maanden duurde met mensen die langs de straten liepen, doet de computer nu in een paar uur voor een hele regio.
• Flexibel: Je kunt het systeem vragen om te zoeken naar "veiligheid", "schoonheid" of "toegankelijkheid" door simpelweg de vraag te veranderen. Het is als een Zwitsers zakmes voor stadsplanning.

Conclusie

SAGAI is als het geven van een paar superoogglazen aan stadsplanners. Het vult de gaten in onze kaarten met de "huid" van de stad (de gevels, de stoepen, de winkels) die we normaal gesproken niet digitaal hebben. Het is niet perfect (soms maakt de robot fouten, net als wij), maar het is een enorme sprong voorwaarts om onze steden sneller, slimmer en menselijker in te delen.

Kortom: Het is de eerste stap naar een wereld waar we onze steden niet alleen meten met linialen, maar met een slimme, digitale blik.

Technische samenvatting

Probleemstelling

De beoordeling van stadsstraten (streetscapes) is essentieel voor het begrijpen van loopbaarheid, veiligheid, commerciële vitaliteit en sociaal leven. Echter, traditionele methoden zoals veldonderzoek, audits en handmatige foto-interpretatie zijn tijdrovend, arbeidsintensief en moeilijk schaalbaar. Bestaande geautomatiseerde oplossingen, vaak gebaseerd op Convolutional Neural Networks (CNN's) en objectdetectie, vereisen uitgebreide gelabelde datasets en taakspecifiek training. Dit maakt ze duur om te implementeren en beperkt hun toepasbaarheid tot strikt gedefinieerde kenmerken. Er is een behoefte aan een schaalbare, reproduceerbare methode die fijnmazige visuele kwaliteiten (zoals gevels, straatmeubilair, groen en schoonheid) kan analyseren zonder zware infrastructuur of specifieke training.

Methodologie: De SAGAI-werkstroom

Het paper introduceert SAGAI (Streetscape Analysis with Generative Artificial Intelligence), een modulaire workflow die open data en Vision-Language Models (VLM's) combineert om straatniveau-scènes te scoren. De workflow bestaat uit vier modules, volledig geïmplementeerd in Python en draaiend in gratis Google Colab-omgevingen:

1. Module 1: OSM Point Generator

   • Genereert steekproefpunten langs het straatnetwerk binnen een door de gebruiker gedefinieerde bounding box.
   • Haalt automatisch straatgeometrieën op van OpenStreetMap (OSM).
   • Deelt punten uit op basis van instelbare parameters (afstand tussen punten en offset van kruispunten) en koppelt deze aan straatsegmenten.

2. Module 2: Street View Batch Downloader

   • Automatiseert het ophalen van straatbeeldbeelden via de Google Street View Static API.
   • Downloadt voor elk punt beelden in vier richtingen (standaard 0°, 90°, 180°, 270°).
   • Filtert ongeldige beelden (bijv. "geen beelden"-placeholders) en genereert een gestructureerde dataset van geo-referentieerde beelden.

3. Module 3: Scene Assessment met LLaVA

   • Het kernproces: gebruikt het LLaVA v1.6 model (met een Mistral-7B backbone) in een 4-bit gekwantiseerde vorm voor efficiëntie.
   • Past zero-shot inference toe: het model gebruikt natuurlijke taal prompts om visuele informatie te extraheren zonder taakspecifieke training.
   • De prompts zijn modulair opgebouwd en kunnen worden aangepast voor verschillende taken, zoals:
     • T1: Binaire classificatie (stedelijk vs. landelijk).
     • T2: Telling van zichtbare winkelpuien.
     • T3: Schatting van de breedte van stoepen.
   • Het model genereert gestructureerde numerieke scores op basis van de prompts.

4. Module 4: Geospatial Scoring Aggregation and Mapping

   • Aggregeert de scores van individuele beelden naar punt- en straatniveau.
   • Bereidt de data voor voor cartografische visualisatie (thematische kaarten) en statistische analyse.
   • Biedt opties voor het berekenen van gemiddelden of sommen per straatsegment.

Belangrijkste Bijdragen

• Zero-Shot Generatieve AI voor Stadsanalyse: SAGAI is een van de eerste werkstromen die VLM's (zoals LLaVA) succesvol toepast op grootschalige geospatiale analyse zonder fine-tuning. Dit elimineert de noodzaak voor grote, gelabelde datasets.
• Open Source en Toegankelijkheid: De volledige workflow is open-source (beschikbaar op GitHub) en draait op gratis cloud-omgevingen (Google Colab). Dit democratiseert geavanceerde stadsanalyse voor onderzoekers zonder toegang tot high-performance computing.
• Modulariteit en Flexibiliteit: Door het gebruik van aanpasbare prompts kan de tool eenvoudig worden aangepast aan verschillende onderzoeksvragen (bijv. loopbaarheid, veiligheid, ontwerp) zonder de code te hoeven herschrijven.
• Integratie van "Skin" en "Skelet": De methode combineert geometrische data (het "skelet" van de stad uit OSM) met visuele kwaliteiten (de "huid" van de stad, zoals materialen en groen) die normaal gesproken ontbreken in geodatabases.

Resultaten

De methode werd getest in twee case studies: Nice (Frankrijk) en Wenen (Oostenrijk), met verschillende stedelijke morfologieën.

• Classificatie (T1 - Stedelijk vs. Landelijk): Toonde de beste prestaties met een algehele nauwkeurigheid van ~91-92%. Het model onderscheidde duidelijk stedelijke kernen van perifere of natuurlijke gebieden.
• Telling (T2 - Winkelpuien): Toonde gemiddelde prestaties (~64% algehele nauwkeurigheid). Het model had moeite met het onderscheiden van niet-commerciële elementen (zoals reclameborden of geparkeerde vrachtwagens) van daadwerkelijke winkelpuien, vooral in complexe omgevingen.
• Meting (T3 - Stoepbreedte): Toonde de laagste precisie (~54% algehele nauwkeurigheid). Het model had moeite met het nauwkeurig schatten van afstanden en verwarde soms grasstroken met stoepen. Scores bleven vaak onder de 2 meter, zelfs bij bredere stoepen.
• Beperkingen: De analyse toonde aan dat het model worstelt met contextuele ambiguïteit (bijv. hybride landschappen) en dat menselijke annotatoren soms ook moeite hadden met onduidelijke beelden. Er werden systematische fouten geïdentificeerd, zoals het niet detecteren van geschilderde randen als stoep.

Betekenis en Toekomstperspectief

SAGAI markeert een verschuiving in de geospatiale AI van discriminatieve modellen (wat is dit?) naar generatieve modellen (beschrijf en analyseer dit).

• Schalbaarheid: Het bewijst dat complexe visuele taken consistent en met redelijke nauwkeurigheid kunnen worden uitgevoerd op grote schaal zonder dure training.
• Toepassingsgebied: De tool is direct inzetbaar voor loopbaarheidsaudits, infrastructuurplanning en ruimtelijke rechtvaardigheidsanalyses.
• Toekomstige Ontwikkelingen: De auteurs plannen verbeteringen zoals het gebruik van zwaardere modelbackbones (bijv. LLaMA-2 13B), few-shot learning (waarbij gebruikers een klein aantal gelabelde voorbeelden kunnen toevoegen voor lokale kalibratie), en parallelisatie voor hogere doorvoersnelheden. Ook wordt gekeken naar het integreren van historische beelden voor diachrone analyse van stedelijke transformaties.

Kortom, SAGAI biedt een transparante, open-source methode om de "huid" van de stad kwantitatief en kwalitatief te analyseren, waardoor een brug wordt geslagen tussen AI-gestuurde beeldanalyse en actiebaar stedelijk inzicht.