Visual Semantics and Multimodal Perception of Digitally Reconstructed Garden Scenes of Jiucheng Palace
Diese Studie schlägt ein multimodales Wahrnehmungsframework vor, das Deep Learning, Eye-Tracking, EEG und subjektive Bewertungen integriert, um die räumliche Ausdruckskraft und die erfahrungsorientierte Effektivität digital rekonstruierter Szenen des Jiucheng-Palast-Gartens quantitativ zu bewerten und so über die traditionelle morphologische Genauigkeit hinaus die historische Visualisierung zu optimieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stünden in einem Garten, der nicht mehr existiert. Über tausend Jahre lang diente der Jiucheng-Palast in Shaanxi, China, als prächtiger kaiserlicher Rückzugsort, in dem Kaiser Muße und politisches Refugium suchten. Heute bleiben nur die Steinfundamente von Gebäuden und die schwachen Umrisse alter Hügel zurück. Um zu verstehen, wie sich dieser verlorene Ort einst anfühlte, nutzen Forscher digitale Werkzeuge, um ihn dreidimensional wieder aufzubauen und virtuelle Szenen zu erschaffen, die zeigen könnten, wie die Gärten ausgesehen haben könnten. Aber ein digitales Modell ist nur so gut wie das Erlebnis, das es bietet. Wenn die Rekonstruktion auf einem Computerbildschirm zwar akkurat aussieht, aber es versäumt, das Gefühl des ursprünglichen Raums einzufangen, verfehlt sie ihr Ziel. Hier kommt die Wahrnehmungswissenschaft ins Spiel. Sie stellt eine einfache, aber schwierige Frage: Wenn wir auf eine digitale Rekonstruktion eines historischen Gartens blicken, was sagen uns unsere Augen, unser Gehirn und unsere Emotionen tatsächlich über die Szene?
Ein Forschungsteam der Northwest University in Xi'an machte sich daran, dies durch die Untersuchung des digital rekonstruierten Jiucheng-Palastes zu beantworten. Sie wollten über das bloße Überprüfen hinausgehen, ob die Gebäude die richtige Form hatten. Stattdessen entwickelten sie einen neuen Weg, um zu messen, wie Menschen diese virtuellen Gärten erleben. Sie konzentrierten sich auf drei verschiedene Arten von Szenen, die in der Rekonstruktion zu finden sind: Bereiche, die von Gebäuden und gepflasterten Wegen dominiert werden, Bereiche, in denen Berge und Wasser aufeinandertreffen, und Bereiche, die voller Bäume und Vegetation sind. Um die Reaktion der Betrachter zu verstehen, fragten sie die Menschen nicht einfach nur danach, was sie dachten. Sie nutzten eine Kombination moderner Werkzeuge, um die unmittelbaren, unwillkürlichen Reaktionen des Körpers zu messen. Sie verfolgten, wohin die Menschen blickten und wie lange sie dort verweilten, maßen Gehirnwellen, um zu sehen, wie entspannt oder engagiert der Geist war, und stellten detaillierte Fragen zu den Gefühlen, die die Szenen hervorriefen.
Die Forscher erstellten fünfzehn verschiedene Bilder aus ihrem digitalen Modell und stellten sicher, dass jede Szene aus demseldem Winkel beleuchtet und betrachtet wurde, sodass der einzige Unterschied die Landschaft selbst war. Dann luden sie achtundvierzig Freiwillige ein, diese Bilder unter dem Tragen von Sensoren zu betrachten. Einige der Freiwilligen waren Experten für Gartengestaltung oder Architektur, andere hatten keinerlei spezielle Ausbildung in diesen Bereichen. Während die Teilnehmer die Bilder betrachteten, zeichnete ein Eye-Tracker auf, wann immer ihr Blick auf einem bestimmten Punkt verweilte, und ein gehirnsensibles Gerät maß die elektrische Aktivität in ihren Gehirnen. Im Anschluss füllten die Teilnehmer eine Umfrage aus, in der sie ihre Gefühle über den Raum beschrieben, wobei sie Paare gegensätzlicher Wörter verwendeten, wie etwa „offen“ gegenüber „geschlossen“ oder „ruhig“ gegenüber „angespannt“.
Die Ergebnisse zeigten ein klares Muster darin, wie Menschen die verschiedenen Arten von Szenen erlebten. Die Bilder, die Berge und Wasser darstellten, erhielten konsistent die höchste Anerkennung. Die Teilnehmer beschrieben diese Szenen als immersiver und emotional positiver als die anderen. Als die Forscher die Gehirndaten untersuchten, fanden sie ein passendes Signal: Die Berg-Wasser-Szenen bewirkten, dass eine spezifische Art von Gehirnwelle, die mit Entspannung und ruhiger Aufmerksamkeit assoziiert wird, stärker wurde. Im Gegensatz dazu erzeugten die Szenen, die von Gebäuden und Steinwegen dominiert wurden, obwohl sie klar und geordnet waren, nicht das gleiche Gefühl von Leichtigkeit oder emotionaler Verbindung. Die Szenen, die hauptsächlich mit Bäumen und Vegetation gefüllt waren, lagen dazwischen und boten ein natürliches Gefühl, aber es fehlte ihnen der spezifische Funke der Berg-Wasser-Kombination.
Interessanterweise änderte sich die Art und Weise, wie die Menschen die Bilder betrachteten, nicht so stark wie ihre Gefühle. Die Eye-Tracking-Daten zeigten, dass die Menschen in etwa die gleiche Zeit in alle drei Arten von Szenen investierten und ihre Augen sich in ähnlichen Mustern bewegten. Dies deutet darauf hin, dass die Augen einen Garten zwar auf eine standardisierte Weise scannen können, das Gehirn und das Herz jedoch unterschiedlich reagieren, je nachdem, was tatsächlich in der Sicht ist. Die Studie fand heraus, dass die Anwesenheit von Wasser ein Schlüsselfaktor war. Szenen mit einem höheren Anteil an sichtbarem Wasser wurden als schöner und eher wie ein echter Garten bewertet. Umgekehrt wurden Szenen mit zu vielen Gebäuden oder gepflasterten Wegen hinsichtlich ihrer Fähigkeit, eine Gartenatmosphäre zu erzeugen, niedriger bewertet. Die Forscher entdeckten auch, dass die Offenheit des Himmels im Bild mit der Art und Weise verknüpft war, wie das Gehirn den Raum verarbeitete, was darauf hindeutet, dass das Gefühl, unter einem offenen Himmel zu stehen, ein entscheidender Teil des Erlebnisses ist.
Um diese Erkenntnisse für zukünftige Projekte nutzbar zu machen, entwickelte das Team ein einfaches Bewertungssystem. Sie erstellten zwei Zahlen, die für jede digitale Gartenszene berechnet werden können. Die erste Zahl misst das allgemeine Gefühl, das ein Betrachter von der Szene erhält, indem sie alle Umfrageantworten und Gehirndaten in einem einzigen Wert für die „Gartenerfahrung“ kombiniert. Die zweite Zahl betrachtet die Bestandteile des Bildes selbst – wie viel Wasser, wie viele Gebäude und wie viel offener Raum sichtbar sind – um vorherzusagen, wie gut die Szene als Garten funktionieren wird. Mit diesem System bestätigten sie, dass die Berg-Wasser-Szenen am erfolgreichsten waren und sowohl bei der Erfahrung als auch beim Bestandteil-Check am höchsten punkteten. Die gebäudeintensiven Szenen schnitten am schlechtesten ab.
Diese Arbeit legt nahe, dass es bei dem Versuch, verlorene historische Gärten auf einem Bildschirm wieder zum Leben zu erwecken, nicht ausreicht, die Gebäude richtig zu gestalten. Die Magie eines chinesischen Gartens liegt in der Beziehung zwischen der natürlichen Welt und der gebauten Umgebung, insbesondere darin, wie Wasser, Berge und Vegetation angeordnet sind. Wenn eine digitale Rekonstruktion sich zu sehr auf die Architektur konzentriert und den Fluss des Wassers sowie die Offenheit der Landschaft ignoriert, wird sie zwar akkurat aussehen, sich aber leer anfühlen. Durch die Verwendung dieser neuen Methoden zur Messung der menschlichen Reaktion können Forscher nun ihre digitalen Modelle verfeinern. Sie können den Blickwinkel oder die Menge des sichtbaren Wassers anpassen, um sicherzustellen, dass das endgültige Bild nicht nur die Geschichte des Ortes, sondern auch das Gefühl, dort zu sein, einfängt. Dieser Ansatz bietet eine Möglichkeit, digitale Kulturerbe-Projekte zu validieren und sicherzustellen, dass sie den wahren Geist der Vergangenheit an die Menschen, die sie heute betrachten, vermitteln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.