Visual Semantics and Multimodal Perception of Digitally Reconstructed Garden Scenes of Jiucheng Palace
Deze studie stelt een multimodale perceptiekader voor dat deep learning, eye-tracking, EEG en subjectieve beoordelingen integreert om de ruimtelijke expressie en de ervaringsmatige effectiviteit van digitaal gereconstrueerde scènes van de Jiucheng Palace-tuin kwantitatief te evalueren, waarbij de focus verschuift van traditionele morfologische nauwkeurigheid naar het optimaliseren van historische visualisatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je in een tuin staat die niet meer bestaat. Meer dan duizend jaar lang diende het Jiucheng-paleis in Shaanxi, China, als een groots keizerlijk toevluchtsoord waar keizers rust en politieke verlichting zochten. Vandaag de dag zijn alleen de stenen fundamenten van gebouwen en de vage contouren van oude heuvels overgebleven. Om te begrijpen hoe een verloren plek ooit aanvoelde, gebruiken onderzoekers digitale hulpmiddelen om het in drie dimensies te herbouwen, waarbij ze virtuele scènes creëren van hoe de tuinen eruit hadden kunnen zien. Maar een digitaal model is slechts zo goed als de ervaring die het biedt. Als de reconstructie er accuraat uitziet op een computerscherm, maar er niet in slaagt het gevoel van de oorspronkelijke ruimte over te brengen, mist het de essentie. Hier komt de wetenschap van de perceptie kijken. Het stelt een eenvoudige maar moeilijke vraag: wanneer we naar een digitale reconstructie van een historische tuin kijken, wat vertellen onze ogen, onze hersenen en onze emoties ons dan eigenlijk over de scène?
Een team van onderzoekers van de Northwest University in Xi'an nam het initiatief om dit te beantwoorden door de digitaal gereconstrueerde Jiucheng-paleis te bestudelen. Ze wilden verder gaan dan alleen controleren of de gebouwen de juiste vorm hadden. In plaats daarvan ontwikkelden ze een nieuwe manier om te meten hoe mensen deze virtuele tuinen ervaren. Ze richtten zich op drie verschillende soorten scènes die in de reconstructie te vinden waren: gebieden die worden gedomineerd door gebouwen en geplaveide paden, gebieden waar bergen en water elkaar ontmoeten, en gebieden gevuld met bomen en vegetatie. Om de reactie van de kijker te begrijpen, vroegen ze mensen niet alleen wat zij vonden. Ze gebruikten een combinatie van moderne instrumenten om de directe, onvrijwillige reacties van het lichaam te meten. Ze volgden waar mensen naar keken en hoe lang, maten hersengolven om te zien hoe ontspannen of betrokken de geest was, en stelden gedetailleerde vragen over de gevoelens die de scènes opriepen.
De onderzoekers creëerden vijftien verschillende afbeeldingen van hun digitale model, waarbij ze ervoor zorgden dat elke scène vanuit hetzelfde licht en vanuit dezelfde hoek werd bekeken, zodat het enige verschil de landschapsvorming zelf was. Vervolgens nodigden ze achtenblijftveertig vrijwilligers uit om deze afbeeldingen te bekijken terwijl ze sensoren droegen. Sommige van de vrijwilligers waren experts in tuinontwerp of architectuur, terwijl anderen geen speciale opleiding in deze velden hadden. Terwijl de deelnemers naar de foto's keken, registreerde een eye-tracker elke keer dat hun blik op een specifieke plek stopte, en een hersensensor mat de elektrische activiteit in hun hersenen. Achteraf vulden de deelnemers een enquête in waarin zij hun gevoelens over de ruimte beschreven, gebruikmakend van paren tegenovergestelde woorden zoals "open" versus "gesloten" of "kalm" versus "gespannen".
De resultaten onthulden een duidelijk patroon in hoe mensen de verschillende soorten scènes ervoeren. De afbeeldingen met bergen en water ontvingen consequent de hoogste lof. Deelnemers beschreven deze scènes als immersiever en emotioneel positiever dan de andere. Wanneer de onderzoekers naar de hersendata keken, vonden ze een overeenkomend signaal: de berg-water-scènes veroorzaerden een specifiek type hersengolf dat geassocieerd wordt met ontspanning en kalme aandacht, die sterker werd. In contrast hiermee genereerden de scènes die gedomineerd werden door gebouwen en stenen paden, hoewel helder en ordelijk, niet hetzelfde gevoel van gemak of emotionele verbinding. De scènes die voornamelijk gevuld waren met bomen en vegetatie bevonden zich ergens in het midden; ze boden een natuurlijk gevoel, maar misten de specifieke vonk van de berg-water-combinatie.
Interessant genoeg veranderde de manier waarop mensen naar de afbeeldingen keken niet zo sterk als hun gevoelens. De oogtracking-data toonden aan dat mensen ongeveer evenveel tijd besteedden aan het bekijken van alle drie de soorten scènes, en dat hun ogen in soortgelijke patronen bewogen. Dit suggereert dat hoewel de ogen een tuin op een standaardwijze scannen, de hersenen en het hart anders reageren afhankelijk van wat er daadwerkelijk in het zicht is. De studie vond dat de aanwezigheid van water een cruciale factor was. Scènes met een hoger aandeel zichtbaar water werden beoordeeld als mooier en meer als een echte tuin. Omgekeerd werden scènes met te veel gebouwen of geplaveide paden lager beoordeeld wat betreft hun vermogen om een tuinatmosfeer op te roepen. De onderzoekers ontdekten ook dat de openheid van de lucht in de afbeelding gekoppeld was aan hoe de hersenen de ruimte verwerkten, wat suggereert dat het gevoel onder een open hemel te staan een cruciaal onderdeel is van de ervaring.
Om deze bevindingen bruikbaar te maken voor toekomstige projecten, ontwikkelde het team een eenvoudig scoresysteem. Ze creëerden twee getallen die berekend kunnen worden voor elke digitale tuinscène. Het eerste getal meet het algemene gevoel dat een kijker van de scène krijgt, waarbij alle enquêteantwoorden en hersendata worden gecombineerd in één enkele score voor de "tuinervaring". Het tweede getal kijkt naar de ingrediënten van de afbeelding zelf — hoeveel water, hoeveel gebouwen en hoeveel open ruimte zichtbaar is — om te voorspellen hoe goed de scène als tuin zal werken. Met behulp van dit systeem bevestigden ze dat de berg-water-scènes het meest succesvol waren, met de hoogste scores op zowel de ervaring als de controle van de ingrediënten. De gebouw-zware scènes scoorden het laagst.
Dit werk suggereert dat wanneer we proberen verloren historische tuinen op een scherm tot leven te wekken, het niet genoeg is om de gebouwen goed te krijgen. De magie van een Chinese tuin ligt in de relatie tussen de natuurlijke wereld en de gebouwde omgeving, specifiek in hoe water, bergen en vegetatie zijn gerangschikt. Als een digitale reconstructie zich te veel op de architectuur richt en de stroom van water en de openheid van het landschap negeert, zal het er weliswaar accuraat uitzien, maar leeg aanvoelen. Door deze nieuwe methoden te gebruiken om de menselijke reactie te meten, kunnen onderzoekers nu hun digitale modellen verfijnen. Ze kunnen het gezichtspunt of de hoeveelheid zichtbaar water aanpassen om ervoor te zorgen dat de uiteindelijke afbeelding niet alleen de geschiedenis van de plek vastlegt, maar ook het gevoel van het daar zijn. Deze aanpak biedt een manier om digitale erfgoedprojecten te valideren, zodat ze de ware geest van het verleden overbrengen aan de mensen die ze vandaag de dag bekijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.