Streetscape Analysis with Generative AI (SAGAI): Vision-Language Assessment and Mapping of Urban Scenes

Il paper introduce SAGAI, un flusso di lavoro modulare che utilizza modelli visione-linguaggio su dati aperti per generare indicatori spaziali strutturati e mappe cartografiche delle scene urbane, permettendo un'analisi scalabile e personalizzabile degli ambienti urbani senza necessità di addestramento specifico.

L'essenziale

Immagina di voler capire come "si sente" una città camminando per le sue strade. Non ti interessa solo la forma degli edifici (la loro "scheletro"), ma anche i dettagli che rendono la vita piacevole o difficile: c'è un marciapiede largo? Ci sono negozi accoglienti? L'aria è verde o grigia?

Fino a poco tempo fa, per ottenere queste informazioni, bisognava assumere squadre di persone con taccuini e telecamere per percorrere chilometri a piedi. Era lento, costoso e impossibile da fare per intere città.

Questo articolo presenta SAGAI, un nuovo "super-assistente" digitale che fa questo lavoro per te, ma in modo completamente automatico e gratuito.

Ecco come funziona, spiegato con un'analogia semplice:

🕵️‍♂️ SAGAI: Il Detective Digitale delle Città

Immagina SAGAI come un detective molto curioso che ha due superpoteri:

1. Occhi di falco (per vedere le foto delle strade).
2. Un cervello che parla (per capire cosa vede e descriverlo in parole semplici).

Il detective non ha bisogno di studiare per mesi per imparare a riconoscere un marciapiede o un negozio. Basta che tu gli dica: "Ehi, guarda questa foto e dimmi se è una strada di città o di campagna, conta i negozi e misura la larghezza del marciapiede". Lui lo fa istantaneamente.

🛠️ Come lavora SAGAI? (I 4 Passi Magici)

Il sistema funziona come una catena di montaggio digitale composta da quattro passaggi:

1. Il Mappatore (La Bussola):
   Prima di tutto, SAGAI prende una mappa digitale gratuita (OpenStreetMap) e disegna dei puntini lungo tutte le strade della città che vuoi analizzare. Immagina di spargere dei semi lungo un sentiero: ogni seme è un punto dove il detective dovrà guardare.

2. Il Fotografo (La Macchina):
   Per ogni puntino, il sistema va automaticamente su Google Street View e scatta (o scarica) quattro foto: una davanti, una dietro, una a destra e una a sinistra. È come se il detective girasse su se stesso per vedere tutto l'angolo.

3. L'Analista (Il Cervello):
   Qui entra in gioco l'Intelligenza Artificiale (un modello chiamato LLaVA). SAGAI mostra le foto all'AI e le fa una domanda in linguaggio naturale, proprio come se parlassi con un amico.

   • Domanda: "Vedi dei negozi?"
   • Risposta dell'AI: "Sì, ne vedo due."
   • Domanda: "Quanto è largo il marciapiede?"
   • Risposta dell'AI: "Circa 1 metro."
     L'AI non ha bisogno di essere addestrata specificamente per ogni città; capisce tutto grazie alla sua capacità di leggere le immagini e rispondere in parole.

4. Il Cartografo (La Mappa Finale):
   Infine, SAGAI prende tutte queste risposte e le disegna su una mappa colorata. Se una zona è piena di negozi, diventa rossa; se i marciapiedi sono larghi, diventa verde. In pochi minuti ottieni una mappa completa della "salute" visiva della città.

🌍 Cosa ha scoperto? (Le Prove sul Campo)

Gli autori hanno provato SAGAI in due città molto diverse: Nizza (Francia) e Vienna (Austria).

• Il successo: L'AI è bravissima a distinguere se una foto è di una zona urbana (piena di case e strade) o rurale (campagna). È quasi perfetta, come un umano esperto.
• Il buon lavoro: Nel contare i negozi, va bene, ma a volte confonde un cartellone pubblicitario con un negozio vero. È come se un bambino confondesse un'immagine su un libro con un oggetto reale.
• La sfida: Misurare la larghezza esatta del marciapiede è difficile. L'AI a volte esita o sbaglia di poco, perché le foto possono essere ingannevoli (erba che sembra marciapiede, ombre, ecc.). Tuttavia, anche con questi errori, fornisce dati molto utili per capire le tendenze generali.

🚀 Perché è una rivoluzione?

Prima, per fare questo lavoro servivano:

• Soldi per assumere persone.
• Computer potenti e costosi.
• Mesi di tempo.

Ora, con SAGAI:

• È gratis: Funziona su Google Colab (un computer nel cloud gratuito).
• È veloce: Analizza migliaia di immagini in poche ore.
• È flessibile: Se domani vuoi sapere "quanto è pulita la strada" invece di "quanto è largo il marciapiede", non devi riscrivere il codice. Basta cambiare la domanda (il "prompt") che fai all'AI.

In sintesi

SAGAI è come dare a ogni urbanista, studente o cittadino curioso una lente magica che può scansionare l'intera città in un batter d'occhio, trasformando milioni di foto in dati comprensibili. Non sostituisce l'occhio umano, ma ci aiuta a vedere il quadro generale di tutte le città del mondo, rendendo la pianificazione urbana più intelligente, veloce e accessibile a tutti.

Sommario tecnico

1. Il Problema e il Contesto

La valutazione delle qualità e delle funzioni degli spazi urbani (streetscapes) è fondamentale per comprendere la vivibilità, la sicurezza e la vitalità commerciale delle città. Tuttavia, i metodi tradizionali presentano limitazioni significative:

• Metodi manuali: Le indagini sul campo, gli audit e l'interpretazione manuale delle foto sono laboriosi, costosi e difficili da scalare oltre piccole aree pilota.
• Modelli vettoriali esistenti: L'elaborazione geospaziale delle geometrie degli edifici (scheletro morfometrico) permette di analizzare la massa 3D, ma non coglie gli aspetti "cutanei" dello spazio urbano (facciate, arredo urbano, marciapiedi, verde, pulizia) che influenzano la percezione umana.
• Limiti dell'AI discriminativa: I modelli di visione artificiale tradizionali (CNN, R-CNN, YOLO) richiedono dataset etichettati estesi e addestramento specifico per ogni compito, rendendoli costosi da deployare su larga scala e limitati a categorie predefinite.

Il paper propone un approccio basato su Modelli Vision-Language (VLM) generativi per superare queste barriere, permettendo un'analisi scalabile, interpretabile e senza necessità di addestramento specifico (zero-shot).

2. Metodologia: Il Workflow SAGAI

SAGAI (Streetscape Analysis with Generative Artificial Intelligence) è un flusso di lavoro modulare in Python, progettato per essere eseguito su Google Colab (tier gratuito), che integra dati OpenStreetMap (OSM), Google Street View (GSV) e il modello LLaVA v1.6 (basato su Mistral-7B).

Il processo si articola in quattro moduli principali:

1. Generatore di Punti OSM:

   • Recupera automaticamente le geometrie stradali da OpenStreetMap all'interno di un'area definita dall'utente.
   • Genera punti di campionamento lungo la rete stradale con un intervallo di spaziatura e un offset dalle intersezioni configurabili.
   • Output: Un GeoPackage con la rete stradale pulita e i punti di campionamento.

2. Download Batch di Street View:

   • Interroga la Google Street View Static API per scaricare immagini a 360° (o direzioni predefinite: 0°, 90°, 180°, 270°) per ogni punto generato.
   • Include un filtro per scartare immagini non valide (es. segnaposto "nessuna immagine").
   • Output: Un dataset strutturato di immagini georeferenziate.

3. Valutazione della Scena con LLaVA (Core):

   • Utilizza il modello LLaVA v1.6 in formato quantizzato a 4-bit per l'inferenza efficiente su hardware consumer.
   • Applica prompt in linguaggio naturale personalizzabili per estrarre informazioni strutturate dalle immagini.
   • Compiti predefiniti:
     • T1: Classificazione binaria (Urbano vs. Rurale).
     • T2: Conteggio delle vetrine commerciali.
     • T3: Stima della larghezza dei marciapiedi.
   • Il modello genera risposte scalari concise grazie a tecniche di campionamento a bassa temperatura e criteri di arresto specifici.

4. Aggregazione Spaziale e Mappatura:

   • Aggrega i punteggi numerici ottenuti a livello di punto e li mappa sui segmenti stradali.
   • Calcola statistiche (media, somma) per creare mappe tematiche interpretabili.
   • Output: Mappe geospaziali che visualizzano indicatori come la "caratteristica urbana", la densità commerciale o la larghezza dei marciapiedi.

3. Contributi Chiave

• Workflow Zero-Shot: SAGAI non richiede addestramento specifico per task o dataset etichettati. La flessibilità è ottenuta modificando i prompt in linguaggio naturale.
• Accessibilità e Open Source: Il sistema è completamente open-source, scritto in Python, e può essere eseguito gratuitamente su Google Colab senza hardware specializzato.
• Integrazione di Dati Aperti: Combina dati vettoriali aperti (OSM) con immagini di street view e modelli di intelligenza generativa per creare indicatori spaziali strutturati.
• Analisi della "Pelle" Urbana: Permette di quantificare elementi spesso ignorati dai GIS tradizionali (arredo, marciapiedi, facciate) su larga scala.
• Riproducibilità: Fornisce script modulari, prompt predefiniti e notebook pronti all'uso per studi di caso replicabili.

4. Risultati Sperimentali

Lo studio è stato validato su due aree di studio contrastanti: Nizza (Francia) e Vienna (Austria), utilizzando un campione di validazione manuale di 300 immagini per task.

• Classificazione Urbano/Rurale (T1):
  • Prestazioni: Eccellenti. Accuratezza totale del 91,67% (92,73% a Nizza, 91,49% a Vienna).
  • Il modello distingue chiaramente i nuclei urbani densi dalle aree periferiche o naturali.
• Conteggio Vetrine Commerciali (T2):
  • Prestazioni: Moderate. Accuratezza totale del 64,17%.
  • Il modello performa bene nel rilevare la presenza/assenza (classe 0), ma fatica con i conteggi intermedi (1 vs 2+), spesso confondendo cartelloni pubblicitari o veicoli commerciali con vetrine reali.
• Stima Larghezza Marciapiedi (T3):
  • Prestazioni: Basse ma informative. Accuratezza totale del 54,05%.
  • Il modello tende a sottostimare le larghezze (raramente supera i 2 metri) e confonde spesso strisce d'erba con marciapiedi. Tuttavia, fornisce segnali spaziali coerenti (es. strade principali più larghe).

Analisi degli Errori:
Gli errori non sono sempre dovuti a fallimenti del modello, ma spesso a ambiguità intrinseche delle scene (es. paesaggi ibridi) o a prompt non sufficientemente specifici. Il modello mostra difficoltà nel ragionamento contestuale complesso (es. distinguere un marciapiede da un'erba ornamentale senza istruzioni specifiche).

5. Significato e Prospettive Future

Il paper dimostra che i modelli Vision-Language generativi possono essere utilizzati efficacemente per l'analisi urbana su larga scala, colmando il divario tra l'analisi visiva qualitativa e la quantificazione geospaziale automatizzata.

• Implicazioni per la Ricerca: SAGAI offre un nuovo strumento per audit di camminabilità, valutazione della sicurezza, pianificazione infrastrutturale e analisi dell'equità spaziale.
• Flessibilità: La natura modulare permette di adattare il sistema a nuovi temi di ricerca semplicemente modificando i prompt.
• Sviluppi Futuri:
  • Miglioramento dell'accuratezza tramite prompt engineering avanzato (es. chiedere al modello di indicare incertezza).
  • Implementazione di un modulo few-shot learning per calibrare il modello su dataset locali piccoli.
  • Utilizzo di modelli più potenti (es. LLaMA-2 13B, Mixtral) o encoder visivi più avanzati.
  • Integrazione di dati storici (es. Mapillary) per analisi diacroniche delle trasformazioni urbane.

In conclusione, SAGAI rappresenta un passo significativo verso l'automazione dell'analisi degli ambienti urbani, rendendo accessibili indicatori micro-scala precedentemente ottenibili solo tramite costose indagini manuali, pur richiedendo attenzione nella validazione dei risultati per compiti di misurazione fine.