Architectural Heritage Recognition with Deep Learning: An ANN and CNN Approach

Geschiedenis wordt vaak in steen geschreven, maar eeuwenlang heeft het begrijpen van de verhalen die in die steen zijn gekerfd, vertrouwd op het langzame, zorgvuldige werk van het menselijk oog. Wanneer een historicus of architect naar een gebouw uit het verre verleden kijkt, moeten zij de stijl identificeren—of het nu gaat om de hoog oprijzende bogen van het gotische tijdperk of de ingewikkelde kolommen van het oude Perzië—om de plaats ervan in de tijd te begrijpen. Dit handmatige proces is niet alleen tijdrovend, maar ook moeilijk schaalbaar wanneer men wordt geconfronteerd met duizenden afbeeldingen die verspreid liggen over archieven. De visuele complexiteit van deze structuren, met hun unieke texturen, vormen en materialen, maakt het moeilijk om ze systematisch te organiseren. In de afgelopen jaren heeft een tak van de informatica, bekend als deep learning, een nieuwe manier geboden om dit probleem aan te pakken. Deze systemen zijn ontworpen om te leren van data, net zoals een menselijk brein leert van ervaring, waardoor ze patronen in afbeeldingen kunnen herkennen die te subtiel of te talrijk zouden zijn voor een persoon om efficiënt te sorteren. Door computers te leren de specifieke details te zien die een bouwstijl definiëren, hopen onderzoekers hulpmiddelen te creëren die automatisch ons gedeelde architecturale erfgoed kunnen catalogiseren en bewaren.

In een recente studie hebben onderzoekers Majid Ali Baig en Sarah Abbas van de University of Management and Technology de ambitie gehad om een dergelijk hulpmiddel te bouwen. Zij richtten zich op de uitdaging om afbeeldingen van historische gebouwen automatisch te sorteren in hun juiste architecturale stijlen. Hiervoor ontwikkelden zij een computerprogramma gebaseerd op een type kunstmatige intelligentie dat een convolutioneel neuraal netwerk wordt genoemd. U kunt dit netwerk zien als een digitaal systeem dat naar een afbeelding kijkt en deze opdeelt in lagen van kenmerken, beginnend bij eenvoudige lijnen en vormen en geleidelijk opbouwend naar complexe patronen die een specifieke stijl definiëren. Het team begon met een grote collectie foto's van historische gebouwen die online beschikbaar waren, welke afbeeldingen van vijfentwintig verschillende architecturale stijlen bevatten. Voor hun initiële experiment selecteerden zij vier verschillende stijlen om hun systeem te testen: de oude Achaemenidische stijl, de middeleeuwse gotische stijl, de moderne deconstructivistische stijl en de sierlijke Art Nouveau-stijl.

De onderzoekers bereidden de afbeeldingen eerst voor zodat de computer ze kon lezen. Ze zetten elke foto om in een grijswaardenafbeelding, waarbij kleur werd verwijderd om puur te focussen op de vormen en structuren, en ze maakten ze allemaal uniform van grootte op 256 bij 256 pixels. Deze standaardisatie zorgde ervoor dat de computer appels met appels vergeleek, in plaats van in de war te raken door verschillende afbeeldingsformaten of kleurvariaties. Vervolgens voedden ze deze bewerkte afbeeldingen aan hun op maat gemaakte neurale netwerk. Het systeem was ontworpen met verschillende lagen die samenwerkten om de belangrijkste details uit elke foto te extraheren. Het gebruikte wiskundige technieken om het belang van verschillende kenmerken aan te passen, wat ervoor zorgde dat het systeem de juiste patronen leerde zonder in de war te raken door ruis of irrelevante details. Om het systeem zo effectief mogelijk te maken, gebruikten de onderzoekers een geautomatiseerd hulpmiddel om duizenden verschillende instellingen te testen, op zoek naar de perfecte combinatie van parameters die de computer de snelste en meest nauwkeurige leerervaring zou bieden.

De resultaten toonden aan dat de computer inderdaad kon leren om te onderscheiden tussen deze complexe architecturale stijlen. Na de training op de data bereikte het systeem een hoog niveau van nauwkeurigheid, waarbij het tijdens de trainingsfase in het overgrote deel van de gevallen de stijl van een gebouw correct identificeerde. Wanneer het werd getest op nieuwe afbeeldingen die het nog nooit eerder had gezien, behield het systeem een sterke prestatie en classificeerde het de architecturale stijl in ongeveer 85 procent van de gevallen correct. De onderzoekers maten ook hoe goed het systeem presteerde met behulp van specifieke metrieken die kijken naar zowel hoe vaak het juist was als hoe vaak het een correcte identificatie miste. Het systeem vertoonde een evenwichtig vermogen om de juiste stijl te vinden zonder te veel fouten te maken, met een score die een solide begrip reflecteerde van de visuele verschillen tussen de stijlen. De studie onthulde echter ook dat het systeem niet perfect was; het verwarde de gotische stijl soms met de romaanse stijl, wat suggereert dat sommige architecturale kenmerken zo vergelijkbaar zijn dat zelfs geavanceerde computermodellen moeite hebben om ze uit elkaar te houden.

Dit werk demonstreert dat deep learning een krachtige assistent kan zijn voor historici en conservatoren. Door het automatische sorteren van duizenden gebouwafbeeldingen kan het systeem helpen bij het organiseren van enorme collecties architecturale records veel sneller dan een mens dat zou kunnen. De onderzoekers merkten op dat hun aanpak schaalbaar is, wat betekent dat het uitgebreid kan worden om het volledige bereik van vijfentwintig stijlen in hun dataset te behandelen, en niet alleen de vier die zij hebben getest. Hoewel het huidige model een belangrijke stap voorwaarts is, erkennen de auteurs dat er nog werk te verrichten is. Toekomstige inspanningen zullen waarschijnlijk gericht zijn op het verfijnen van het systeem om meer stijlen aan te kunnen en het verbeteren van het vermogen om zeer vergelijkbare architecturale perioden te onderscheiden. Voor nu bewijst de studie dat computers kunnen worden aangeleerd om de visuele taal van de geschiedenis te herkennen, wat een nieuwe manier biedt om het gebouwde erfgoed dat ons omringt te documenteren en te begrijpen.