Visual Semantics and Multimodal Perception of Digitally Reconstructed Garden Scenes of Jiucheng Palace
本研究は、デジタル復元された旧城宮殿の庭園シーンにおける空間表現と体験的有効性を定量的に評価するために、ディープラーニング、アイトラッキング、EEG（脳波）、および主観的評価を統合したマルチモーダル知覚フレームワークを提案し、従来の形態学的正確性を超えて歴史的可視化を最適化するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
今はもう存在しない庭園の中に立っているところを想像してみてください。千年以上もの間、中国・陝西省の九城宮（Jiucheng Palace）は、皇帝たちが休息や政治的な避難所として利用した壮大な皇室の離宮でした。今日では、建物の石造りの基礎と、古代の丘の微かな輪郭だけが残っています。この失われた場所がかつてどのような雰囲気であったかを理解するために、研究者たちはデジタルツールを用いて、それを三次元で再構築し、その庭園がどのような姿であったかを示す仮想的なシーンを作り出しています。しかし、デジタルモデルは、それが提供する体験の質に依存します。もし再構築されたものがコンピュータ画面上では正確に見えても、元の空間の「感覚」を捉えることができなければ、それは本質を見失っていることになります。ここで知覚の科学が登場します。それは、シンプルでありながら困難な問いを投げかけます。「私たちが歴史的な庭園のデジタル再現版を見るとき、私たちの目、脳、そして感情は、そのシーンについて実際に何を伝えているのだろうか？」
西安にある西北大学の研究チームは、デジタル再構築された九城宮を研究することで、この問いに答えようとしました。彼らは単に建物が正しい形をしているかどうかを確認することを超えたいと考えていました。代わりに、彼らは人々がこれらの仮想的な庭園をどのように体験するかを測定する、新しい手法を構築しました。彼らは、再構築されたものに含まれる3つの異なるタイプのシーンに焦点を当てました。すなわち、建物と舗装された道が支配的なエリア、山と水が出会うエリア、そして樹木や植生に満ちたエリアです。見る人の反応を理解するために、彼らは単に人々に感想を聞くだけではありませんでした。彼らは、身体の即時的で不随意な反応を測定するための現代的なツールを組み合わせて使用しました。彼らは人々がどこを、どのくらいの時間見ていたかを追跡し、精神がどれほどリラックスしているか、あるいは没入しているかを調べるために脳波を測定し、そのシーンが呼び起こす感情について詳細な質問を行いました。
研究者たちは、デジタルモデルから15種類の異なる画像を生成しました。各シーンの照明と視点は同一になるように配慮されており、唯一の違いは風景そのものとなるように設計されました。そして、センサーを装着した48人のボランティアを招いて、これらの画像を見てもらいました。ボランティアの中には、庭園設計や建築の専門家もいれば、これらの分野の特別な訓練を受けていない人もいました。参加者が写真を見ている間、アイトラッカー（視線計測器）は、視線が特定の場所に留まるたびに記録を行い、脳波計は脳内の電気活動を測定しました。その後、参加者は「開放的」対「閉鎖的」、あるいは「穏やか」対「緊張」といった対照的な言葉を用いて、その空間に対して抱いた感情を記述するアンケートに回答しました。
結果は、人々が異なるタイプのシーンをどのように体験しているかについて、明確なパターンを明らかにしました。山と水が特徴的な画像は、一貫して最も高い評価を得ました。参加者は、これらのシーンを他のシーンよりも没入感があり、感情的にポジティブであると表現しました。研究者が脳のデータを見たとき、一致する信号が見つかりました。山と水のシーンは、リラクゼーションや穏やかな注意に関連する特定の種類の脳波を強めたのです。対照的に、建物と石の道に支配されたシーンは、明瞭で秩序立ってはいるものの、同じような安らぎや感情的なつながりを生み出すことはありませんでした。主に樹木や植生で満たされたシーンは、自然な感覚は提供するものの、山と水の組み合わせが持つ特有の輝きには欠けており、その中間的な位置づけとなりました。
興味深いことに、人々の目の動きは、彼らの感情の変化ほど大きくは変わりませんでした。アイトラッキングのデータによれば、人々は3つのタイプのシーンすべてに対して、ほぼ同じ時間をかけて眺めており、視線の動きも同様のパターンを示していました。これは、目は標準的な方法で庭園をスキャンするものの、脳と心は、そこに何があるかに応じて異なる反応を示すことを示唆しています。研究では、水の存在が重要な要因であることが分かりました。より多くの割合で水が見えるシーンは、より美しく、より真の庭園に近いと評価されました。逆に、建物や舗装された通路が多すぎるシーンは、庭園の雰囲気をもたらす能力において低い評価を受けました。また、研究者たちは、画像の空の開放性が脳による空間処理に結びついていることも発見しており、開かれた空の下にいるという感覚が、体験の極めて重要な部分であることを示唆しています。
これらの知見を将来のプロジェクトに役立てるために、チームはシンプルなスコアリングシステムを開発しました。彼らは、あらゆるデジタルの庭園シーンに対して算出できる2つの数値を考案しました。1つ目の数値は、すべてのアンケート回答と脳のデータを「庭園体験」という単一のスコアに統合し、視聴者がシーンから得る全体的な感覚を測定するものです。2つ目の数値は、画像の構成要素（見える水の量、建物の数、開放的な空間の量）を調べ、そのシーンが庭園としてどれほどうまく機能するかを予測するものです。このシステムを用いて、彼らは山と水のシーンが最も成功していることを確認しました。これらは「体験」と「構成要素チェック」の両方で最高スコアを獲得しました。建物が中心のシーンは、最も低いスコアとなりました。
この研究は、私たちが画面上で失われた歴史的な庭園を蘇らせようとする際、建物を正しく再現するだけでは不十分であることを示唆しています。中国の庭園の魔法は、自然界と造園された環境との関係性、具体的には水、山、そして植生がどのように配置されているかにあります。もしデジタル再構築が建築に集中しすぎ、水の流れや景観の開放性を無視してしまうならば、それは正確に見えても、空虚に感じられることになります。人間の反応を測定するこれらの新しい手法を用いることで、研究者はデジタルモデルを微調整できるようになります。彼らは視点や見える水の量を調整することで、最終的な画像が、その場所の歴史だけでなく、「そこにいる」という感覚をも確実に捉えられるようにできるのです。このアプローチは、デジタル遺産プロジェクトの妥当性を検証する方法を提供し、それらが今日の視聴者に対して、過去の真の精神を伝えることを保証するものとなります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。