A Heritage-Aware Evaluation Framework for Synthetic Training Images of Kizil Grotto Murals
本論文は、意味論、構成、色彩、および線における10個の重み付け指標を用いて、様々なAIモデルによって生成されたキジル窟壁画の合成画像を評価・選別するヘリテージ（遺産）を意識した評価フレームワークを提示し、最終的に高品質な学習データセットを作成するためのトップパフォーマーとしてMidjourneyを特定するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
中国西部の乾燥した風景の中に、かつて古代シルクロードの重要な中継地であった広大な洞窟群、キジル石窟が存在しています。これらの洞窟内部では、何千年も前に芸術家たちが、独特の視覚言語を用いて仏教の生活を描いた壁画を描きました。これらの絵画は単に美しいだけでなく、宗教的信仰、芸術的交流、そして古代の職人が用いた特定の技法を伝える歴史的記録でもあります。しかし、時間と環境が深刻なダメージを与えてきました。顔料は退色し、漆喰はひび割れ、壁の多くの部分が崩落しており、視覚的な物語に空白を残しています。これらの芸術作品を研究したり、コンピュータを使って修復したりしようとする研究者にとって、この損傷は深刻な問題を引き起こしています。すなわち、コンピュータにキジル様式のパターン、色彩、物語を認識させるための学習を行うのに十分な、鮮明で完全な画像がそもそも存在しないのです。
この不足を解消するために、科学者たちは人工知能、特に「生成モデル」として知られるテクノロジーに目を向けました。これらは、テキストによる説明や例に基づいて、ゼロから新しい画像を生成することができるコンピュータプログラムです。理論上、これらのツールはキジルの壁画のように見える新しい画像を何千枚も生成することができ、修復ソフトウェアを訓練するために必要な膨大なデータを提供できます。しかし、落とし穴があります。コンピュータが絵画のように見える画像を作れたとしても、それが「良い」絵画であるとは限りません。人工的な画像は、色彩は正しくても物語を歪めてしまったり、あるいは図形の一般的な形状は捉えていても、その芸術に意味を与える特定の文化的象徴を見逃してしまったりすることがあります。もし研究者がこれらの欠陥のある画像を訓練プログラムに読み込ませれば、コンピュータは誤った教訓を学んでしまい、将来の修復作業を台無しにする可能性があります。したがって、課題は単に多くの画像を作ることではなく、どの画像が遺産に忠実であり、どの画像が単なるデジタルノイズであるかを見極めることなのです。
北京郵電大学とキジル石窟研究チームの研究者たちは、まさにこの問題を解決するためのシステムを構築することに着手しました。彼らは、キジル石窟の壁画に特化した合成画像を評価するための新しい方法を開発し、厳格な品質管理チェックとして機能するフレームワークを作り上げました。コンピュータに単に画像が「良く」見えるかどうかを推測させるのではなく、彼らはキジル美術の独特な特性を、「物語（ストーリー）」、「構図」、「色彩」、「線（輪郭）」という4つの特定の領域に分解しました。そして、これらの領域に特定の重要度を割り当て、物語と文化的意味を正しく捉えることが最も重要であり、次に構図、色の正確さ、そして最後に線の滑らかさが重要であると決定しました。
このシステムをテストするために、研究者たちは慎重に準備された実物の画像セットから着手しました。彼らは、石窟の中でも比較的豊かで完全な壁画が残っていることで知られる第38窟から、1,479枚の写真を撮影しました。そこから、ひび割れや退色の視覚的ノイズを取り除くために94枚の画像を手動で修復し、さらに実験の「ゴールドスタンダード（黄金基準）」として使用するために、最も優れた24枚を選び出しました。これら24枚の参照画像には、人間の顔の生成に伴う複雑な困難を避けるため、動物、植物、装飾品といった非人間的な主題が含まれています。これら24枚の参照画像を用い、研究チームは4つの異なる人気のあるAIシステム（Stable Diffusion、Midjourney、DALL·E 3、Kandinsky）に対し、新しい画像を生成するよう指示を出しました。彼らは各システムに対し、特定のモチーフと色彩を指定した上で、キジルの壁画のスタイルで画像を生成するよう同じ指示を与えました。合計で、システムは評価対象となる1万枚以上の候補画像を生成しました。
この大規模なスクリーニングプロセスの結果は、文化遺産に関してすべての人工知能が平等に作られているわけではないことを明らかにしました。研究者たちは、Midjourneyというシステムが、物語、構図、色彩、線の総合的なスケールにおいて最高のスコアを出し、全体的に最も高い品質を生み出したことを発見しました。しかし、調査によれば、あらゆる面で完璧なシステムは一つも存在しませんでした。Midjourneyは正しい物語を捉え、主題を中央に配置することに長けていた一方で、別のシステムであるDALL·E 3は、元の絵画の質感や表面の詳細を維持することに優れていました。また、第三のシステムであるStable Diffusionは、古代の壁画に見られる特定の赤や青の色合いを一致させることに特に優れており、そして第四のシステムであるKandinskyは、全体的な文化的正確さにおいて最も苦戦しました。チームは、一つの領域における高スコアが、他の領域での失敗を隠してしまうことがあることを発見しました。例えば、ある画像は視覚的には非常に印象的であっても、正しい物語を伝えていない場合があり、その場合は修復モデルの訓練には使い物にならないのです。
研究者たちは、彼らの新しいフレームワークが「麦の中から籾殻を分ける（選別する）」ことに成功しており、合成画像のなかから、コンピュータの訓練に使用しても安全なものと、破棄すべきものを識別できると結論付けました。彼らは、これらの古代の壁画にとって最も重要な要素は「意味論的一貫性（セマンティック・コンシステンシー）」、つまり、生成された画像が実際に正しい文化的象徴や物語の要素を描いていることであると突き止めました。これなしでは、たとえ美しい画像であっても、それは誤解を招くものとなります。本研究は、デジタル遺産の課題を永遠に解決したと主張するものでも、あるいは一つの人工知能ツールが将来のあらゆるタスクにおける究極の勝者であると宣言するものでもありません。むしろ、キュレーターや科学者が数千枚の生成画像をスクリーニングするための、実践的かつ構造化された手法を提供し、古代の至宝を守るために使用されるデジタルツールが、オリジナルの芸術の誠実さを尊重したデータで訓練されることを保証するものです。人工知能がしばしば導入してしまう歪みやズレをフィルタリングすることで、このフレームワークは、キジル石窟のデジタルな未来が、その過去に対して忠実であり続けることを助けているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。