💻 computer science

How Many Visual Levers Drive Urban Perception? Interventional Counterfactuals via Multiple Localised Edits

Dit paper stelt een raamwerk voor dat gebruikmaakt van gestructureerde, lokale beeldredacties om te onderzoeken welke specifieke visuele elementen in straatbeelden de menselijke perceptie van bijvoorbeeld veiligheid beïnvloeden.

Oorspronkelijke auteurs: Jason Tang, Stephen Law

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jason Tang, Stephen Law

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een stad loopt en plotseling een ongemakkelijk gevoel krijgt. Je weet niet precies waarom, maar de straat voelt "onveilig". Is het die kapotte lantaarnpaal? Die muur vol graffiti? Of die overwoekerde struiken die het zicht blokkeren?

In dit wetenschappelijke onderzoek proberen onderzoekers van de University College London (UCL) een soort "digitale afstandsbediening" voor de stad te bouwen. Ze willen niet alleen weten dat een straat onveilig voelt, maar ze willen de knoppen vinden waarmee je dat gevoel kunt veranderen.

Hier is de uitleg van hun methode in begrijpelijke taal:

1. De "Digitale Afstandsbediening" (De Levers)

Stel je voor dat elke straat een enorme mengtafel is in een muziekstudio. De onderzoekers hebben verschillende "schuifregelaars" (levers) bedacht. In plaats van de muziek harder te zetten, draaien zij aan visuele knoppen:

De "Schoonmaak-knop": Wat gebeurt er als we de graffiti weghalen of het vuilnis opruimen?
De "Groen-knop": Wat als we wat planten en bloemen toevoegen?
De "Onderhoud-knop": Wat als we de wegmarkeringen en stoepranden weer fris verven?

2. De "Virtuele Photoshop-Assistent" (De Generatieve AI)

Het probleem is dat je niet zomaar een echte straat kunt verbouwen om te testen wat werkt. Daarom gebruiken de onderzoekers AI (een soort super-slimme Photoshop).

De AI krijgt de opdracht: "Neem deze foto van een straat in Amsterdam en doe alsof de zebrapaden net zijn geschilderd." De AI maakt dan een 'nepfoto' van de nieuwe situatie.

3. De "Strenge Controleur" (De Validity Audit)

AI kan soms een beetje wild te werk gaan. Als je vraagt om een zebrapad te schilderen, kan de AI per ongeluk ook de hele kleur van de lucht veranderen of een boom laten verdwijnen. Dat is niet handig, want dan weet je niet meer waarom de straat er anders uitziet.

Daarom hebben ze een digitale "controleur" ingezet. Deze controleur kijkt naar de nieuwe foto en zegt: "Ho stop! Je hebt wel het zebrapad aangepast, maar je hebt ook de gebouwen veranderd. Deze foto telt niet mee." Alleen de foto's die precies de juiste verandering laten zien zonder de rest van de straat te verpesten, worden gebruikt.

4. De "Digitale Stemmer" (De Evaluatie)

Als ze een perfecte 'nepfoto' hebben, laten ze een computerprogramma (dat getraind is op menselijke meningen) de foto beoordelen. De computer geeft een score: "Deze straat voelt nu 20% veiliger aan."

Wat hebben ze ontdekt? (De Resultaten)

In hun eerste test met 50 straten in steden als San Francisco, Singapore en Amsterdam, zagen ze een paar interessante dingen:

De "Weg-ververser" werkt het best: Het opfrissen van wegmarkeringen en zebrapaden gaf de grootste sprong in het gevoel van veiligheid. Het is alsof de stad zegt: "Wij hebben de boel onder controle."
Onderhoud is goud waard: Het weghalen van graffiti en het repareren van gevels zorgde voor een heel positief effect.
De "Groen-val": Dit was een verrassing. Meer planten maken de straat vaak veiliger in de ogen van de computer, maar het "snoeien van struiken" (om het zicht beter te maken) werd soms juist negatiever beoordeeld. Dit laat zien dat de computer soms een beetje te simpel denkt: "Groen = fijn", terwijl een mens weet dat "Te veel struiken = slecht zicht = onveilig".

Waarom is dit belangrijk?

In plaats van alleen maar te zeggen: "Deze buurt is onveilig", kunnen stadsplanners in de toekomst deze tool gebruiken om te zeggen: "Als we specifiek deze drie dingen aanpassen, zal de buurt door de bewoners als veel veiliger worden ervaren."

Het is een manier om van "gevoel" naar "actieplan" te gaan!

Technische Samenvatting: Hoeveel visuele hefbomen sturen de perceptie van de stedelijke omgeving aan?

1. Probleemstelling

Huidige computervisie-modellen kunnen op grote schaal subjectieve eigenschappen van straatbeelden voorspellen, zoals veiligheid, rijkdom en levendigheid. Deze modellen zijn echter beperkt tot correlaties: ze kunnen aangeven welke pixels belangrijk zijn (via saliency maps of SHAP), maar ze kunnen niet verklaren welke specifieke, lokale veranderingen in een scène de menselijke perceptie daadwerkelijk zouden verschuiven. Er is een gebrek aan methoden die causale, semantisch begrijpelijke interventies testen (bijv.: "Wat gebeurt er met de veiligheidsbeleving als we dit specifieke stuk graffiti verwijderen?").

2. Methodologie

De auteurs stellen een lever-based interventional counterfactual framework voor. In plaats van te kijken naar individuele pixels, werkt het systeem met "hefbomen" (levers): gestructureerde, semantische interventies.

Het proces bestaat uit drie fasen:

Fase 1: Constructie van lever-kandidaten: Een vocabulaire van interventies wordt gedefinieerd op basis van urban design-theorie (bijv. groenvoorziening, onderhoud, infrastructuur). Een Vision-Language Model (VLM) fungeert als 'planner' om deze concepten te koppelen aan specifieke regio's in een afbeelding (bijv. "voeg groen toe bij deze ingang").
Fase 2: Stochastische Interventie & Validatie-audit: Met behulp van prompt-conditioned diffusion editing (zoals InstructPix2Pix) worden de beelden gegenereerd. Omdat generatieve modellen vaak onbedoelde veranderingen aanbrengen, ondergaat elke edit een strenge validatie-audit door een VLM. Een edit wordt alleen behouden als deze voldoet aan vier criteria:
1. Same-place preservation (de locatie moet herkenbaar blijven).
2. Locality (de verandering mag niet buiten het beoogde gebied treden).
3. Realism (het moet er echt uitzien).
4. Plausibility (de interventie moet logisch zijn voor die scène).
Fase 3: Model-gebaseerde Evaluatie: De effectiviteit van de edit wordt gemeten door het verschil ( $\Delta$ ) in de veiligheidsscore te berekenen tussen het originele beeld en de bewerkte versie, gebruikmakend van een vooraf getraind perceptiemodel (ViT-B/16).

3. Belangrijkste Bijdragen

Nieuwe Formule voor Uitlegbaarheid: De introductie van de lever als de fundamentele eenheid van verklaring: $l = (c, s, d, \tau)$ (concept, ondersteuning, richting, template).
Generation-and-Audit Pipeline: Een systeem dat niet alleen beelden genereert, maar ook automatisch controleert of deze beelden semantisch en ruimtelijk correct zijn.
Pilot Benchmark: Een dataset van 50 scènes uit vijf verschillende steden wereldwijd om de haalbaarheid van deze methode te testen.

4. Resultaten

De pilotstudie leverde de volgende inzichten op:

Effectiviteit van Lever-families:
- Mobility Infrastructure (bijv. het herstellen van zebrapaden en wegmarkeringen) vertoonde de grootste gemiddelde stijging in de voorspelde veiligheidsscore ( $+0.579$ ).
- Physical Maintenance (bijv. het verwijderen van graffiti of het repareren van gevels) was de meest consistente familie met positieve verschuivingen ( $+0.344$ ).
- Environmental Amenity was gemengd: het toevoegen van groen werkte zeer positief ( $+0.650$ ), maar het snoeien van bomen (om het zicht te verbeteren) werkte negatief, wat suggereert dat het model een simpele "meer groen = veiliger" bias heeft.
Haalbaarheid: De meeste interventies (zoals wegmarkeringen) zijn goed te genereren, maar het repareren van verlichting bleek technisch moeilijk voor de huidige generatieve modellen (lage validatieratio).
Geen correlatie met baseline: Scènes die van zichzelf al als "onveilig" worden beoordeeld, bieden niet noodzakelijkerwijs meer mogelijkheden voor effectieve interventies dan veilige scènes.

5. Betekenis en Toekomst

Dit werk markeert een verschuiving in Explainable AI (XAI): van het achteraf verklaren van pixels naar het actief testen van semantische scenario's. Hoewel de huidige resultaten gebaseerd zijn op een computermodel (proxy), biedt het een gestructureerde methode om menselijke experts te laten beoordelen welke stedelijke ingrepen de grootste impact hebben op de publieke perceptie. Toekomstig onderzoek zal zich richten op het verbeteren van de generatieve controle en het direct afstemmen van de modellen op menselijke voorkeuren.