Using street view images and visual LLMs to predict heritage values for governance support: Risks, ethics, and policy implications

Technische Samenvatting: Het gebruik van Street View-beelden en visuele LLM's om erfgoedwaarden te voorspellen ter ondersteuning van het bestuur

Probleemstelling
De implementatie van de Europese Richtlijn betreffende de energieprestaties van gebouwen (EPBD) vereist dat lidstaten tegen 2026 nationale plannen voor de renovatie van gebouwen ontwikkelen. Deze plannen vereisen een uitgebreid overzicht van de nationale gebouwvoorraad, inclusche gebouwen met erfgoedwaarden, om uitzonderingen of aangepaste energievereisten te sturen. In Zweden bestaat er een aanzienlijke barrière: er is geen uitgebreid nationaal register van gebouwen met erfgoedwaarden. Bestaande gegevens zijn gefragmenteerd en leunen op officiële lijsten onder de Wet op de Historische Omgeving (die ~0,15% van de voorraad beslaat) en onvolledige gemeentelijke lijsten onder de Wet op de Planologie en Bouw. Bovendien ontbreken bij bestaande gegevens vaak betrouwbaarheid of granulariteit. De Zweedse Rijksdienst voor het Cultureel Erfgoed zocht naar manieren om deze gegevenslacunes efficiënt op te vullen door middel van nieuwe instrumenten, waarbij specifiek werd verkend of visuele Large Language Models (LLM's) gebruikt kunnen worden om erfgoedindicatoren te beoordelen aan de hand van straatniveaubeelden op nationale schaal.

Methodologie
De studie maakte gebruik van een zero-shot prompting-benadering met behulp van het multimodale model van OpenAI (gpt-4o-2024-08-06) om straatbeeldbeelden van de Zweedse gebouwvoorraad te analyseren.

• Data-acquisitie en verwerking: De analyse begon met 272.174 Energieprestatiecertificaten (EPC's) die gekoppeld zijn aan het nationale vastgoedregister. Door middel van geospatiale verwerking (het koppelen van gebouwcontouren aan wegcentra en het berekenen van zichtlijnen) haalden de auteurs 281.018 bruikbare Google Street View-beelden op, die 186.038 unieke gebouwen vertegenwoordigen. Na filtering op zichtbaarheid en kwaliteit werden 154.710 unieke EPC's succesvol beoordeeld.
• Prompt Engineering: In plaats van het model te finetunen, gebruikten de onderzoekers zero-shot prompting. De prompt werd ontworpen op basis van de officiële checklists voor visuele gebouwinspecties van de Zweedse Rijksdienst voor het Cultureel Erfgoed en Boverket. Het model kreeg een persona toegewezen en kreeg de instructie om gestructureerde gegevens in JSON-formaat te produceren, waarbij specifieke gevelkenmerken (bijv. bouwjaar, aantal verdiepingen, ruiten, materialen) werden geïdentificeerd en een "voorspelde erfgoedindicator" score (1–100) werd toegekend.
• Validatie en Bestuurlijke Integratie: Om de risico's van LLM-hallucinaties en bias te beperken, incorporeerde de studie een human-in-the-loop validatieproces. Er werden expertworkshops gehouden met erfgoedspecialisten van de Zweedse Rijksdienst voor het Cultureel Erfgoed en de Universiteit van Uppsala. Een webgebaseerde mappingtool werd ontwikkeld om de voorspelde scores samen met gevelbeelden te visualiseren voor beoordeling door experts. De uiteindelijke beslissing was om de LLM-output niet te gebruiken voor de certificering van individuele gebouwen, maar als een statistische indicator op het niveau van de gebouwvoorraad om de implementatie van de EPBD te informeren.

Belangrijkste Resultaten

• Voorspellende Prestaties: Het LLM vertoonde variërende gradaties van nauwkeurigheid. Het identificeerde succesvol goed gedocumenteerde monumenten (bijv. de Turning Torso) en toonde een redelijke overeenstemming met de gegevens van de Energieprestatiecertificaten wat betreft het aantal verdiepingen. Het had echter moeite met het voorspellen van het bouwjaar, waarbij het een neiging vertoonde tot het overschatten van extreme leeftijden (bijv. het voorspellen van 1000 jaar oude gebouwen) en het ondervertegenwoordigen van specifieke decennia (bijv. de jaren 1910, 1940).
• Bias en Representativiteit: De studie identificeerde significante biases in de outputs van het model.
  • Geografische en Sociaaleconomische Bias: Gebouwen in Stockholm en in welvarende gebieden (hoger gemiddeld besteedbaar inkomen) ontvingen aanzienlijk hogere scores voor de erfgoedindicator vergeleken met vergelijkbare gebouwen in andere regio's of minder welvarende gebieden.
  • Materiaal-bias: Het model kende lagere erfgoedscores toe aan houten gebouwen, die veel voorkomen in bescheiden, alledaagse omgevingen, terwijl het de voorkeur gaf aan stenen en bakstenen constructies.
  • Conservatieve Benadering: Het model vertoonde een conservatieve bias en kende zelden extreem hoge scores (90+) toe. Bijgevolg stelden de onderzoekers een drempelwaarde van 50 vast om "voorspelde erfgoedwaarde" te identificeren, wat slechts een extra 1–2% van de gebouwvoorraad bovenop de officieel beschermde categorieën vastlegde.
• Toepassing in EPBD: Op basis van de expertvalidatie en de statistische verdeling van de scores, heeft de Zweedse Rijksdienst voor het Cultureel Erfgoed de door LLM afgeleide indicatoren overgenomen voor het EPBD-proces. De methode maakte het mogelijk om een extra 5,0 miljoen vierkante meter verwarmd vloeroppervlak op te nemen in de categorie erfgoedoverweging, waarmee een kritieke gegevenslacune werd opgevuld voor de nationale planning.

Belangrijkste Bijdragen

1. Governance Kader voor AI: Het artikel biedt een concrete casestudy van hoe overheidsinstanties zero-shot LLM-voorspellingen in het beleidsproces kunnen integreren. Het demonstreert een workflow waarbij AI de "routiniematige" taak van data-extractie uit enorme beelddatasets afhandelt, terwijl menselijke experts het toezicht op validatie en strategische besluitvorming behouden.
2. Methodologische Transparantie: Door gebruik te maken van gestructureerde prompts gebaseerd op bestaande officiële checklists en door JSON-outputs te vereisen, hebben de auteurs de risico's van "sycophancy" (het model dat de gebruïker instemt) verminderd en de resultaten interpreteerbaarder en controleerbaarder gemaakt dan ongestructureerde tekstgeneratie.
3. Identificatie van Bias: De studie documenteert expliciet de sociaaleconomische en geografische biases die inherent zijn aan huidige multimodale LLM's bij toepassing op erfgoedbeoordeling, waarbij wordt benadrukt dat deze modellen de neiging hebben om bestaande maatschappelijke waarderingen te reproduceren in plaats van deze kritisch te herwaarderen.
4. Schaalbaarheid: Het onderzoek bewijst dat zero-shot prompting kan worden geschaald om honderdduizenden gebouwen te analyseren zonder de noodzaak van dure, regio-specifieke trainingsdata, wat een snelle, zij het imperfecte, oplossing biedt voor omgevingen met een tekort aan gegevens.

Betekenis en Claims
Het artikel beweert dat hoewel zero-shot LLM-voorspellingen de expertise van erfgoedbeoordelaars niet kunnen vervangen of kunnen dienen als een definitief juridisch register voor individuele gebouwen, ze wel een waardevol en efficiënt instrument bieden voor analyse op het niveau van de gebouwvoorraad. De primaire betekenis ligt in het in staat stellen van autoriteiten om een "eerste pass" overzicht van erfgoedindicatoren over de gehele nationale gebouwvoorraad te genereren, wat voorheen onmogelijk was door gefragmenteerde gegevens en beperkte middelen.

De auteurs benadrukken dat de waarde van deze benadering niet ligt in de absolute nauwkeurigheid van elke individuele voorspelling, maar in het vermogen om de ontwikkeling van Nationale Plannen voor de Renovatie van Gebouwen te ondersteunen door potentiële erfgoedactiva te identificeren die anders onzichtbaar zouden blijven in officiële registers. Het artikel sluit echter af met een sterke waarschuwing: deze instrumenten moeten worden gebruikt met kritisch toezicht, aangezien ze inherent de biases met betrekking tot rijkdom, locatie en architecturale stijl reproduceren. De methode wordt gepresenteerd als een aanvullend besluitvormingsmechanisme dat de last voor erfgoedexperts vermindert, waardoor zij zich kunnen concentreren op strategische taken en complexe casus-specifieke evaluaties, in plaats van als een vervanging voor menselijk oordeel in het erfgoedbeheer.