How Many Visual Levers Drive Urban Perception? Interventional Counterfactuals via Multiple Localised Edits

Riassunto Tecnico: "How Many Visual Levers Drive Urban Perception?"

1. Il Problema (Problem Statement)

I modelli di visione artificiale applicati alla percezione urbana (come la valutazione della sicurezza, della ricchezza o della vivacità di una strada tramite immagini street-view) sono attualmente limitati dalla loro natura correlazionale. Sebbene questi modelli possano prevedere con precisione un attributo soggettivo (es. "questa strada è sicura"), non sono in grado di spiegare perché lo siano. I metodi di spiegabilità (XAI) tradizionali, come le mappe di salienza o SHAP, identificano quali pixel sono associati a un punteggio, ma non riescono a determinare quali cambiamenti visivi localizzati e plausibili potrebbero effettivamente spostare il giudizio umano. Il problema centrale è quindi passare da una spiegazione basata sulla correlazione a una basata sull'intervento controfattuale.

2. Metodologia (Methodology)

Gli autori propongono un framework di interventi controfattuali basati su "leve" (levers). Invece di manipolare singoli pixel, il sistema manipola concetti semantici strutturati. Il processo si articola in tre fasi:

• Fase 1: Costruzione dei Candidati (Lever Candidate Construction): Viene definito un vocabolario di "leve" basato sulla letteratura dell'urban design (es. verde urbano, manutenzione, illuminazione). Un pianificatore basato su VLM (Vision-Language Model) identifica le regioni della scena dove tali leve possono essere applicate (es. "aggiungi verde vicino a questo ingresso"). Ogni leva è definita dalla quadrupla $l = (c, s, d, \tau)$: concetto, supporto spaziale, direzione dell'intervento e template di editing.
• Fase 2: Intervento Stocastico e Audit di Validità (Bounded Stochastic Intervention): Utilizzando modelli di diffusione (prompt-conditioned image editing), vengono generati degli edit per ogni leva. Per garantire che l'edit sia utile e non un artefatto, ogni immagine viene sottoposta a un audit di validità tramite un VLM che verifica quattro criteri:
  1. Preservazione del luogo: La scena deve rimanere la stessa.
  2. Località: L'intervento deve essere limitato all'area target.
  3. Realismo: L'immagine deve apparire naturale.
  4. Plausibilità: L'intervento deve avere senso nel contesto urbano.
• Fase 3: Valutazione basata su Proxy (Model-based Evaluation): Gli edit che superano l'audit vengono valutati da un modello di percezione pre-addestrato (ViT-B/16 su dataset Place Pulse 2.0) per misurare lo spostamento ($\Delta$) del punteggio di sicurezza. Questo funge da segnale di priorità per la futura validazione umana.

3. Contributi Chiave (Key Contributions)

1. Formalizzazione dell'Intervento: Introduzione di una formula matematica per l'unità esplicativa basata su leve semantiche strutturate.
2. Pipeline di Generazione e Audit: Un sistema end-to-end che non si limita a generare immagini, ma le "filtra" attraverso un rigoroso processo di verifica della coerenza semantica e spaziale.
3. Benchmark Pilota: Un dataset di 50 scene in cinque città diverse che fornisce una diagnostica sulla fattibilità degli edit generativi nel contesto urbano.

4. Risultati (Results)

Lo studio pilota su 50 scene ha prodotto i seguenti risultati:

• Efficacia delle Leve: Tra 177 edit validi, il cambiamento medio nel punteggio di sicurezza è stato di $+0.366$.
• Famiglie di Leve Dominanti:
  • Mobility Infrastructure (Infrastrutture di Mobilità): Ha mostrato il maggior spostamento positivo ($+0.579$), guidato dalla ridipintura di strisce pedonali e segnaletica orizzontale.
  • Physical Maintenance (Manutenzione Fisica): È la famiglia più consistente ($+0.344$), includendo la rimozione di graffiti e la pulizia delle superfici.
  • Environmental Amenity (Servizi Ambientali): Risultati eterogenei; l'aggiunta di verde è fortemente positiva ($+0.650$), mentre la gestione della chioma degli alberi è stata negativa (probabilmente perché riduce la visibilità).
• Diagnostica di Validità: Il tasso di copertura degli edit validi è stato del 70.8%. Le riparazioni dell'illuminazione sono risultate la sfida tecnica maggiore (basso tasso di successo nell'editing).
• Analisi Geografica: Città come San Francisco e Santiago hanno mostrato i maggiori incrementi di sicurezza percepita tramite le leve, mentre Abuja e Singapore sono rimaste vicine allo zero.

5. Significato e Implicazioni (Significance)

Il lavoro segna un cambio di paradigma nella Explainable AI (XAI) applicata all'urbanistica: la spiegazione non è più un'attribuzione post-hoc di pixel, ma un'ipotesi auditable (verificabile) di cambiamento semantico.

Sebbene il paper sia un "pilota" (utilizzando un modello come proxy invece del giudizio umano diretto), stabilisce un framework robusto per:

• Pianificazione Urbana: Identificare quali interventi fisici specifici hanno il massimo potenziale per migliorare la percezione di sicurezza.
• Sviluppo di Modelli: Fornire un metodo per allineare i modelli di visione artificiale con i valori e le percezioni umane attraverso il ragionamento controfattuale.
• Standard di XAI: Proporre un nuovo standard dove la spiegazione deve essere sia semanticamente coerente che generativamente fattibile.