Using street view images and visual LLMs to predict heritage values for governance support: Risks, ethics, and policy implications

Sintesi Tecnica: Utilizzo di immagini di Street View e modelli linguistici visivi (VLM) per la previsione dei valori del patrimonio culturale a supporto della governance

Definizione del problema
L'attuazione della Direttiva sulla prestazione energetica nell'uso dell'energia degli edifici (EPBD) dell'Unione Europea richiede che gli stati membri sviluppino Piani Nazionali di Ristrutturazione degli Edifici entro il 2026. Tali piani necessitano di una panoramica completa del patrimonio edilizio nazionale, inclusi gli edifici con valori storici, per guidare le esenzioni o i requisiti energetici adattati. In Svezia, esiste una barriera significativa: non esiste un registro nazionale completo degli edifici con valori di patrimonio culturale. I record esistenti sono frammentati, basandosi su elenchi ufficiali ai sensi della Legge sul patrimonio storico (che copre circa lo 0,15% del patrimonio edilizio) e su liste municipali incomplete ai sensi della Legge sulla pianificazione e l'edilizia. Inoltre, i dati esistenti spesso mancano di affidabilità o granularità. La Soprintendenza Nazionale per il Patrimonio Svedese ha cercato di utilizzare strumenti innovativi per colmare queste lacune di dati in modo efficiente, esplorando specificamente l'uso di modelli linguistici visivi (LLM) per valutare gli indicatori del patrimonio da immagini a livello stradale su scala nazionale.

Metodologia
Lo studio ha impiegato un approccio di prompting zero-shot utilizzando il modello multimodale di OpenAI (gpt-4o-2024-08-06) per analizzare le immagini di street view del patrimonio edilizio svedese.

• Acquisizione e processamento dei dati: L'analisi è iniziata con 272.174 Certificati di Prestazione Energetica (EPC) collegati al registro nazionale degli immobili. Attraverso l'elaborazione geospaziale (corrispondenza tra impronte degli edifici e linee centrali stradali e calcolo delle linee di vista), gli autori hanno recuperato 281.018 immagini utilizzabili di Google Street View rappresentanti 186.038 edifici unici. Dopo aver filtrato per visibilità e qualità, 154.710 EPC unici sono stati valutati con successo.
• Prompt Engineering: Invece di perfezionare il modello (fine-tuning), i ricercatori hanno utilizzato il prompting zero-shot. Il prompt è stato progettato sulla base delle checklist ufficiali per i rilievi oculari degli edifici della Soprintendenza Nazionale per il Patrimonio Svedese e del Boverket. Al modello è stata assegnata una persona ed è stato istruito a produrre dati strutturati in formato JSON, identificando specifiche caratteristiche della facciata (ad es. anno di costruzione, numero di piani, vetrate, materiali) e assegnando un punteggio di "indicatore di patrimonio previsto" (1–100).
• Validazione e integrazione nella governance: Per mitigare i rischi di allucinazioni e bias degli LLM, lo studio ha incorporato un processo di validazione "human-in-the-loop". Sono stati organizzati workshop con esperti di patrimonio della Soprintendenza Nazionale per il Patrimonio Svedese e dell'Università di Uppsala. È stato sviluppato uno strumento di mappatura web per visualizzare i punteggi previsti insieme alle immagini delle facciate per la revisione degli esperti. La decisione finale è stata quella di utilizzare l'output dell'LLM non per la certificazione del singolo edificio, ma come indicatore statistico a livello di patrimonio edilizio per informare l'attuazione dell'EPBD.

Risultati chiave

• Prestazioni predittive: L'LLM ha dimostrato diversi gradi di accuratezza. Ha identificato con successo monumenti ben documentati (ad es. la Turning Torso) e ha mostrato un ragionevole allineamento con i dati dei Certificati di Prestazione Energetica riguardo al numero di piani. Tuttavia, ha avuto difficoltà con le previsioni dell'anno di costruzione, mostrando una tendenza a sovrastimare le età estreme (ad es. prevedendo edifici di 1000 anni) e a sottorappresentare decenni specifici (ad es. gli anni 1910, 1940).
• Bias e rappresentatività: Lo studio ha identificato significativi bias nei risultati del modello.
  • Bias geografico e socio-economico: Gli edifici a Stoccolma e nelle aree agiate (reddito disponibile medio più elevato) hanno ricevuto punteggi di indicatore di patrimonio significativamente più alti rispetto a edifici simili in altre regioni o aree a basso reddito.
  • Bias materico: Il modello ha assegnato punteggi di patrimonio inferiori agli edifici in legno, comuni in contesti modesti e quotidiani, favorendo invece le strutture in pietra e mattoni.
  • Approccio conservativo: Il modello ha mostrato un bias conservativo, assegnando raramente punteggi estremamente alti (90+). Di conseguenza, i ricercatori hanno impostato una soglia di 50 per identificare il "valore del patrimonio previsto", che ha catturato solo un ulteriore 1–2% del patrimonio edilizio oltre alle categorie ufficialmente protette.
• Applicazione nell'EPBD: Sulla base della validazione degli esperti e della distribuzione statistica dei punteggi, la Soprintendenza Nazionale per il Patrimonio Svedese ha adottato gli indicatori derivati dall'LLM per il processo EPBD. Il metodo ha permesso l'inclusione di ulteriori 5,0 milioni di metri quadrati di superficie utile riscaldata nella categoria di considerazione del patrimonio, colmando una lacuna critica di dati per la pianificazione nazionale.

Contributi chiave

1. Framework di governance per l'IA: Il documento fornisce un caso di studio concreto su come le autorità pubbliche possano integrare le previsioni zero-shot degli LLM nel processo decisionale politico. Dimostra un flusso di lavoro in cui l'IA gestisce il compito "meccanico" di estrazione dei dati da vasti dataset di immagini, mentre gli esperti umani mantengono la supervisione per la validazione e il processo decisionale strategico.
2. Trasparenza metodologica: Utilizzando prompt strutturati basati su checklist ufficiali esistenti e richiedendo output in formato JSON, gli autori hanno mitigato i rischi di "sycophancy" (la tendenza del modello ad assecondare l'utente) e hanno reso i risultati più interpretabili e verificabili rispetto alla generazione di testo non strutturato.
3. Identificazione dei bias: Lo studio documenta esplicitamente i bias socio-economici e geografici inerenti agli attuali modelli linguistici multimodali quando applicati alla valutazione del patrimonio, evidenziando come questi modelli tendano a riprodurre le valutazioni sociali esistenti piuttosto che rivalutarle criticamente.
4. Scalabilità: La ricerca dimostra che il prompting zero-shot può essere scalato per analizzare centinaia di migliaia di edifici senza la necessità di costosi dati di addestramento specifici per regione, offrendo una soluzione rapida, seppur imperfetta, per contesti con scarsità di dati.

Significato e rivendicazioni
Il documento sostiene che, sebbene le previsioni zero-shot degli LLM non possano sostituire la valutazione esperta del patrimonio o servire come registro legale definitivo per i singoli edifici, esse offrono uno strumento prezioso ed efficiente per l'analisi a livello di patrimonio edilizio. Il significato primario risiede nel permettere alle autorità di generare una panoramica di "primo passaggio" degli indicatori del patrimonio su tutto il patrimonio edilizio nazionale, cosa precedentemente impossibile a causa della frammentazione dei dati e dei vincoli di risorse.

Gli autori sottolineano che il valore di questo approccio non risiede nell'accuratezza assoluta di ogni singola previsione, ma nella sua capacità di supportare lo sviluppo dei Piani Nazionali di Ristrutturazione degli Edifici identificando potenziali beni del patrimonio che altrimenti rimarrebbero invisibili nei registri ufficiali. Tuttavia, il documento si conclude con un forte avvertimento: questi strumenti devono essere utilizzati con supervisione critica, poiché riproducono intrinsecamente i bias relativi alla ricchezza, alla posizione e allo stile architettonico. Il metodo è presentato come un meccanismo supplementare di supporto alle decisioni che riduce il carico di lavoro per gli esperti del patrimonio, consentendo loro di concentrarsi su compiti strategici e valutazioni complesse caso per caso, piuttosto che come sostituto del giudizio umano nella governance del patrimonio.