Technische Samenvatting: Kunnen Large Language Models menselijke beoordelaars vervangen? Betrouwbaarheid en validiteit van de beoordeling van stedelijke ontwerpkwaliteit

1. Probleemstelling

De beoordeling van de kwaliteit van stedelijk ontwerp leunt traditioneel op getrainde menselijke waarnemers die fijnmazige omgevingsattributen (bijv. beslotenheid, transparantie, gevelconditie) evalueren met behulp van gestandaardiseerde checklists. Hoewel de proliferatie van geo-getagde straatbeeldbeelden enorme visuele datasets heeft gecreëerd, beperkt het arbeidsintensieve karakter van menselijke beoordelingssystemen de schaalbaarheid ervan ernstig. De opkomst van multimodale Large Language Models (LLM's), die in staat zijn visuele input te interpreteren en gestructureerde beoordelingsrubrieken toe te passen, roept een fundamentele methodologische vraag op: Kunnen LLM's betrouwbare vervangers zijn voor getrainde menselijke beoordelaars bij de beoordeling van stedelijk ontwerp?

Huidige onderzoeksverschillen omvatten een gebrek aan systematische evaluatie met betrekking tot de inter-beoordelaarsbetrouwbaarheid van AI-gebaseerde beoordelingen en de mate waarin AI-outputs overeenstemmen met menselijke oordelen. Bestaande AI-benaderingen richten zich vaak op extractie van kenmerken via computer vision in plaats van het toepassen van de complexe, contextuele evaluatiecriteria die door menselijke experts worden gebruikt. Deze studie onderzoekt of LLM's kunnen dienen als geldige, betrouwbare substituten voor menselijke beoordelaars of dat hun nut beperkt is tot ondersteunende rollen.

2. Methodologie

Studiegebied en Steekproef

De studie werd uitgevoerd in Hwagok-dong, Seoul, een dichte, laagbouw woonwijk die wordt gekenmerkt door heterogene gebouwcondities, smalle straten en aanzienlijke variatie in de kwaliteit van het straatbeeld.

• Steekproef: 40 observatiepunten werden geselecteerd met behulp van een systematische ruimtelijke steekproefmethode (intervallen van 100 meter), gevolgd door een willekeurige steekproef om representatieve dekking te garanderen en selectiebias te minimaliseren.
• Data: Hoogwaardige straatbeeldbeelden werden op elk punt vastgelegd.

Beoordelingsprotocol

Drie verschillende groepen evalueerden de 40 observatiepunten met behulp van een identieke gestandaardiseerde rubric, afgeleid van gevestigde kaders (bijv. Ewing & Clemente, 2013):

1. Menselijke beoordelaars: Drie getrainde waarnemers voerden veldonderzoeken uit.
2. LLM-beoordelaars: Drie multimodale modellen (GPT-5.3 Thinking, Gemini 3.5 Flash en Claude Sonnet 4.6) werden voorzien van dezelfde gestandaardiseerde instructies en visuele inputs.

Variabelen

De stedelijke ontwerpkwaliteit werd geoperationaliseerd in twee soorten variabelen:

• Continue variabelen: Aantallen (bijv. commerciële borden, straatverlichting) en proportionele maten (bijv. raam-naar-muur verhouding, boombedekking, sky view factor).
• Categorische variabelen: Aanwezigheid/afwezigheid of typen kenmerken (bijv. rijstrookmarkeringen, bouwmaterialen, hekken, CCTV-camera's).

Statistische Analyse

De studie maakte gebruik van een drieledig kader voor betrouwbaarheid en validiteit:

1. Binnen-groep Betrouwbaarheid:
   • Continue variabelen: Intraclass Correlation Coefficient (ICC) met een two-way random-effects model voor absolute overeenstemming [ICC(2,1)].
   • Categorische variabelen: Fleiss' kappa ($\kappa$) om de overeenstemming tussen meerdere beoordelaars te kwantificeren.
2. Cross-groep Overeenstemming (Mens vs. LLM):
   • Continue variabelen: Bland–Altman analyse om systematische bias en 9 wel 95% grenzen van overeenstemming (LOA) te kwantificeren.
   • Categorische variabelen: Fleiss' kappa berekend tussen de menselijke groep en de LLM-groep.
3. Constructvaliditeit:
   • Ordinary Least Squares (OLS) regressiemodellen werden geschat om het gepercipieerde comfortniveau (afhankelijke variabele) te voorspellen met behulp van door mensen en LLM's afzonderlijk beoordeelde ontwerpvariabelen. Dit testte of door AI beoordeelde variabelen betekenisvolle associaties behielden met menselijke uitkomsten.

3. Belangrijkste Resultaten

3.1 Inter-beoordelaarsbetrouwbaarheid

• Menselijke beoordelaars: Toonden over het algemeen een sterke betrouwbaarheid voor visueel expliciete, telbare kenmerken (bijv. commerciële borden, detailhandel, beveiligingsroosters voor ramen; ICC > 0,6). De betrouwbaarheid nam af voor variabelen die proportionele schatting of detectie van kleine details vereisten (bijv. illegaal parkeren, bankjes).
• LLM-beoordelaars: Toonden een selectief prestatiepatroon.
  • Hoge betrouwbaarheid: LLM's presteerden vergelijkbaar met mensen voor structureel stabiele, visueel begrensde attributen (bijv. bouwmaterialen, aanwezigheid van detailhandel, beveiligingsroosters voor ramen).
  • Lage betrouwbaarheid: De betrouwbaarheid daalde aanzienlijk voor variabelen die proportionele schatting vereisen (bijv. boombedekking, sky view factor) of detectie van kleinschalige, gedeeltelijk geblokkeerde elementen (bijv. straatverlichting, veiligheidsvoorzieningen).
• Vergelijking: Menselijke beoordelaars waren consistenter dan LLM's over de meeste variabelen, met name die waarbij contextuele interpretatie nodig is.

3.2 Mens-LLM Overeenstemming

• Systematische Bias: Bland–Altman analyse toonde aan dat LLM's systematisch lagere waarden toekenden dan mensen voor de meeste continue variabelen.
• Grenzen van Overeenstemming: Brede grenzen van overeenstemming werden waargenomen voor variabelen die betrokken zijn bij proportionele beoordeling (bijv. raam-naar-muur verhouding, sky view factor, boombedekking), wat aangeeft dat menselijke en AI-beoordelingen niet uitwisselbaar zijn voor deze metrieken.
• Categorische Onovereenstemming: De cross-groep Fleiss' kappa was over het algemeen matig. Hoewel de overeenstemming substantieel was voor "excessieve reclame" ($\kappa = 0,670$), was deze zwak of negatief voor kleinschalige elementen zoals vuilnisbakken, CCTV-camera's en draden/palen. In sommige gevallen (bijv. vuilnisbakken) waren de classificaties van mensen en LLM's systematisch verschillend in plaats van slechts inconsistent.

3.3 Constructvaliditeit

• Model Fit: Zowel door mensen als door LLM's beoordeelde modellen verklaarden een vergelijkbaar aandeel van de variantie in comfort (43,0% vs. 42,6%), wat suggereert dat LLM's geaggregeerde omgevingsinformatie vastleggen.
• Variabele-specifieke Divergentie:
  • Consistente Associaties: Boombedekking, raam-naar-muur verhouding en de aanwezigheid van hekken vertoonden consistente directionele associaties met comfort in beide modellen.
  • Divergerende Associaties: Variabelen zoals pilotis-parkeren, rijstrookmarkeringen en bouwmaterialen vertoonden significante verschillen in richting of significantie tussen de twee modellen. Zo was pilotis-parkeren bijvoorbeeld positief geassocieerd met comfort in het menselijke model, maar niet in het LLM-model.

4. Belangrijkste Bijdragen

1. Differentiatie van Betrouwbaarheid, Overeenstemming en Validiteit: De studie maakt onderscheid tussen interne consistentie (betrouwbaarheid) en cross-groep equivalentie (overeenstemming). Het toont aan dat een AI-systeem intern consistent kan zijn (betrouwbaar), terwijl het nog steeds faalt in het reproduceren van menselijke oordelen (lage overeenstemming), wat de aanname uitdaagt dat hoge betrouwbaarheid impliceert dat er een vervanging mogelijk is.
2. Element-specifieke Prestaties: Het onderzoek identificeert dat de prestaties van LLM's element-specifiek in plaats van universeel zijn. LLM's zijn effectief voor visueel expliciete, architectonisch leesbare attributen, maar hebben moeite met kwaliteiten die proportionele schatting, contextuele inferentie of detectie van fijnmazige details vereisen.
3. Methodologisch Kader: De studie biedt een rigoureus statistisch kader (combinatie van ICC, Fleiss' kappa en Bland–Altman analyse) voor het evalueren van AI als meetinstrument in stedelijke planning, waarbij verder wordt gegaan dan eenvoudige voorspellende nauwkeurigheid om de uitwisselbaarheid van metingen te beoordelen.

5. Betekenis en Claims

Het artikel concludeert dat multimodale LLM's nog geen algemene vervangers zijn voor getrainde menselijke beoordelaars bij de beoordeling van de kwaliteit van stedelijk ontwerp.

• Selectieve Geschiktheid: LLM's zijn het best geschikt als selectieve meetinstrumenten voor specifieke klassen van visueel expliciete en structureel stabiele variabelen. Ze zijn nog niet in staat om volledig de genuanceerde, contextuele oordelen te repliceren die nodig zijn voor het beoordelen van kwaliteiten zoals openheid, groen en onderhoudstoestand in complexe, laagbouw omgevingen.
• Hybride Workflow: De auteurs stellen een hybride workflow voor waarbij AI de visueel expliciete variabelen afhandelt om de beoordeling op te schalen, terwijl menselijke beoordelaars essentieel blijven voor contextgevoelige, proportionele of laag-frequente kenmerken.
• Matige Claims over Validiteit: Hoewel LLM's enkele betekenisvolle associaties behouden met menselijk welzijn (met name voor variabelen zoals boombedekking en beslotenheid), reproduceren ze niet het volledige patroon van relaties dat in menselijke beoordelingen wordt waargenomen. De studie stelt dat AI moet worden beschouwd als een complementair en screenend hulpmiddel in plaats van een volledig autonome evaluator, vooral in dichte woonomgevingen waar subtiele omgevingssignalen cruciaal zijn.

De studie benadrukt dat de toekomstige rol van LLM's in stedelijk ontwerp waarschijnlijk complementair, selectief en hybride zal zijn, in plaats van een volledige vervanging van menselijke expertise.