AI vs Human Expert Reasoning: Assessing Agreements in Building Typology Predictions based on Street View Imagery
Deze studie toont aan dat Vision-Language Modellen, met name wanneer deze worden verbeterd met Chain-of-Thought prompting, een nauwkeurigheid van ongeveer 70% kunnen bereiken bij het voorspellen van gebouwtypologieën op basis van straatbeeld door gebruik te maken van visuele patroonherkenning, hoewel ze verschillen van menselijke experts doordat ze minder vertrouwen op bredere contextuele aanwijzingen en domeinkennis.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een stad probeert te begrijpen, maar in plaats van door de straten te lopen, kijk je ernaar door een gigantische, hoogtechnologische camera die alles van de grond tot aan de hemel ziet. Dit is de wereld van stedelijke analyse, een vakgebied waar wetenschappers en planners proberen in kaart te brengen hoe steden functioneren, van de materialen waarvan gebouwen zijn gemaakt tot het aantal verdiepingen dat ze hebben. Lange tijd moesten experts, om deze informatie te verkrijgen, elk gebouw afzoeken, aantekeningen maken en raden waar het voor werd gebruikt—een traag, duur en uitputtend werk. Maar onlangs is er een nieuw soort "brein" in het spel gekomen: het Vision-Language Model (VLM). Denk aan een VLM als een superintelligënte robot die bijna elk boek op het internet heeft gelezen en ook heeft geleerd om plaatjes te "zien". Het kan naar een foto van een huis kijken en je niet alleen vertellen hoe het eruitziet, maar ook waar het van gemaakt is, hoeveel verdiepingen het heeft en wat mensen er binnenin doen, door wat het ziet te combineren met wat het weet over taal. De grote vraag die iedereen zich stelt is: Kan deze robot het werk net zo goed doen als een menselijke expert, zoals een architect of een ingenieur, vooral op plekken waar data moeilijk te vinden is?
Dit artikel neemt die vraag mee naar de drukke, chaotische en levendige straten van Noord-Jakarta, Indonesië, een plek waar gebouwen vaak met de hand worden gebouwd, door de jaren heen worden uitgebreid en niet altijd de officiële regels volgen. De onderzoekers wilden zien of deze AI-robots straatbeeldfoto's konden bekijken en correct de "typologie" (het chique woord voor het type en het gebruik) van duizenden gebouwen konden raden. Ze organiseerden een vriendelijke competitie tussen drie van de meest beroemde AI-modellen—GPT-4o, Claude 3.5 Sonnet en Gemini 2.0 Flash—en een team van menselijke experts. De mensen, die civieltechnisch ingenieurs en architecten waren, fungeerden als de "gouden standaard" en gaven de juiste antwoorden op basis van hun jarenlange training. De AI-modellen kregen een speciale set instructies, of "prompts", om te zien of vragen om "stap voor stap na te denken" (een techniek genaamd Chain-of-Thought) hen zou helpen betere cijfers te halen.
De resultaten waren een mix van indrukwekkende hoogtepunten en enkele grappige, menselijke fouten. De AI-modellen bleken behoorlijk goed in het raden van de basiszaken. Wanneer het ging om het tellen van het aantal verdiepingen van een gebouw, stemden de robots en de mensen in 70% tot 80% van de gevallen overeen. Het is alsof de AI heel goed is in het tellen van de ramen om de hoogte te raden. Echter, wanneer het ging om het raden waar het gebouw voor werd gebruikt (zoals een winkel, een woning of een fabriek), daalde de overeenstemming naar ongeveer 60-70%. De AI raakte soms in de war omdat een huis en een kleine winkel er vanaf de straatkant heel erg op elkaar kunnen lijken. De studie vond dat de "Chain-of-Thought"-methode, waarbij de AI wordt gedwongen om zijn redenering uit te leggen voordat hij een antwoord geeft, de modellen stabieler en betrouwbaarder maakte, vergelijkbaar met hoe een student beter presteert op een toets wanneer hij zijn berekeningen laat zien.
Een van de meest interessante ontdekkingen was hoe de AI en de mensen anders dachten. De AI was als een detective die alleen vertrouwt op wat hij met zijn ogen kan zien: het richtte zich zwaar op fysieke zaken zoals "muren", "ramen", "materialen" en "hoogte". De menselijke experts daarentegen waren als ervaren locals die de buurt kenden. Ze keken naar dezelfde foto's, maar hielden ook rekening met de "vibe" van de buurt, de staat van het gebouw en de context van de omgeving. Bijvoorbeeld, als een gebouw er een beetje versleten uitzag maar in een druk marktgebied stond, zou een mens kunnen raden dat het een winkel is, terwijl de AI misschien alleen "oude bakstenen" ziet en gokt dat het een magazijn is. Het artikel suggereert dat hoewel de AI nog niet perfect is, het ongeveer 70% van het werk kan doen dat mensen doen, en dat het op enorme schaal kan, door in een fractie van de tijd naar 30.000 gebouwen te kijken.
De onderzoekers concluderen dat deze AI-tools nog niet klaar zijn om menselijke experts volledig te vervangen, vooral niet voor lastige taken zoals het raden van het gebruik van gebouwen in rommelige, informele wijken. Echter, ze zijn krachtige partners. Ze kunnen fungeren als een "eerste ronde", die snel door duizenden afbeeldingen sorteert om planners een goed idee te geven van hoe een stad eruitziet, wat een enorme hulp is in plaatsen waar data schaars of verouderd is. De studie laat zien dat door de capaciteit van de AI om visuele patronen te herkennen te combineren met de menselijke expertise in het begrijpen van context, we een veel duidelijker beeld van onze steden kunnen vormen. Het gaat er niet om dat de robot wint; het gaat erom dat de robot en de mens samenwerken om het puzzelstukje van de stedelijke wereld op te lossen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.