博物館の写真は、漆器のような繊細な対象物の主要な記録として、表面の光沢や描かれた文様の精緻さを捉える役割を果たしている。しかし、写真はあくまで平面的な画像に過ぎず、塗料の下にある素材の層や、一部が欠損している場合の対象物の真の状態を明らかにすることはできない。修復士や歴史家が、損傷した作品がどのような姿であったかを想像する必要があるとき、彼らは時に人工知能（AI）に頼ることがある。これらのコンピュータプログラムは、写真の欠損部分を埋め、人間の目にとって説得力のある完全な画像を作り出すことができる。しかし、説得力のある画像が、必ずしも正しい画像であるとは限らない。コンピュータは、存在しなかったパターンを捏造したり、本来見えるべきはずのひび割れを滑らかに消し去ったりすることがある。デジタル・ヘリテージにおける中心的な課題は、単に「美しい絵」を作ることではなく、その絵がどの程度間違っている可能性があるかを知ることである。コンピュータが修復画像を生成した場合、人間である専門家はどうすれば、それを信頼すべきか、あるいはより詳しく調べるべきかを判断できるのだろうか。
研究チームはある特定のアイデアを検証することで、この問いに答えるべく着手した。それは、「もしコンピュータが同じ欠損部分に対して複数の異なるバージョンを生成した場合、それらのバージョンの間の不一致の度合いが、結果の正確さの指標になり得るのではないか」というものだ。彼らは、主要な美術館の写真を収集し、装飾された木材や金属に硬く光沢のある仕上げを施した漆器に焦点を当てた。研究者たちは、これらの対象物の完全な写真を取り込み、デジタル技術を用いて小、中、大の範囲で欠損箇所を作り出し、損傷をシミュレートした。そして、2つの異なるAIモデルに対し、それぞれの欠損箇所に対して4つの異なる補完案を生成させることで、損傷を「治癒」するよう求めた。彼らの手法の鍵は、単純な比較にあった。まず、生成された3枚の画像が、欠損領域において互いにどの程度異なっているかを確認した。もし3枚の画像が非常に似ていれば、コンピュータは自信を持っている。もしそれらが大きく異なっていれば、コンピュータは不確実である。次に、この「不確実性」スコアを、隠しておいた4枚目の画像と照らし合わせ、そのスコアが、元の完全な写真からどれほど外れているかを実際に予測できているかを確認した。
結果は明確なパターンを示した。生成された3枚の画像が著しく不一致を示したとき、4枚目の画像は通常、元の写真とは大きく異なっており、つまり再構成された画像には大きな誤差が含まれていた。逆に、3枚の画像が互いに密接に一致していたときは、4枚目の画像は真実に非常に近かった。64点のオリジナル対象物のグループにおいて、研究者たちは、この不一致が誤差の強力な予測因子であることを発見した。この手法を用いることで、彼らは対象物を分類し、コンピュータが最も自信を持っていると思われるものだけを検査対象として選ぶことができた。不一致が最も少ない40パーセントの対象物のみを観察した場合、選択された画像の平均的な誤差は、ランダムにすべての画像を見た場合と比較して劇的に減少した。これは、コンピュータ自体がより良い画像を作ったことを意味するのではない。画像自体は全く同じであった。むしろ、この手法はフィルターとして機能し、どの画像に時間をかける価値があり、どの画像が誤解を招く恐れがあるかを、人間が判断する助けとなったのである。
このアプローチは、異なるバージョンのAIモデルを用い、別の美術館から集めた40点の新しい対象物セットでテストを行った際にも、その有効性が維持された。不一致と誤差の間の関連性は依然として強く、この手法が特定のデータセットによる偶然の産物ではないことを示唆している。しかし、研究は重要な限界も明らかにした。コンピュータは、単純で平坦な表面を再構成することには長けているが、複雑で装飾された領域を扱うことには不得意であった。この手法は自然と単純な対象物を優先するため、厳格にフィルターを適用すると、文化的に最も重要なものが多い装飾済みの作品の多くが除外されてしまうことになる。さらに、この手法はピクセルレベルの誤差を予測することはできても、その再構成が歴史的に正確であるか、あるいは実際の修復作業に適しているかどうかを判断することはできなかった。コンピュータは、間違ったパターンに対して合意に達したり、あるいは、もっともらしいが歴史的にはあり得ないデザインを生成したりすることがあるからである。
研究者たちはまた、欠損領域の端（エッジ）の数やテクスチャの量などを測定する、より単純な画像難易度の判定法とも、彼らの手法を比較した。最初の対象物グループにおいては、彼らの不一致度を用いた手法の方がわずかに優れた性能を示したが、その優位性は小さく、常に一定というわけでもなかった。外部の美術館の対象物を用いた実験では、彼らの不一致度を用いた手法は、これらの単純なチェックよりも明確なメリットを示した。研究の結論として、この技術は歴史的な真正性の問題を解決するものではないものの、博物館にとって実用的なツールを提供するとされた。それは再現可能なシグナルを提供することで、どのデジタル修復に人間のレビューが必要かを優先順位付けすることを可能にする。コンピュータが不確実性を感じている画像をフラグ立てすることで、専門家は最も必要とされる箇所に注意を向けることができ、デジタル・ヘリテージの検証作業が、最も不確実で潜在的に問題のあるケースに対して適切に費やされることを保証するのである。
技術要約：漆器の画像インペインティングにおける再構成誤差の予測因子としてのサンプリング変動性
問題提起
生成AIモデル、特に拡散ベースのインペインティングは、漆器のような損傷した文化遺産の画像を視覚的に説得力のある形で再構成することができる。しかし、視覚的な妥当性は、歴史的な正確性や失われた元のコンテンツへの忠実性を保証するものではない。デジタル・ヘリテージにおける重要な課題は、高品質な合成補完と、視覚的には一貫しているものの歴史的に不正確な補完をいかに区別するかである。既存の不確実性認識手法は、グラウンドトゥルース（正解）が未知の場合において、候補間の相違（変動性）が実際の再構成誤差と相関しているかどうかを検証できないことが多い。本研究は、「複数のシードを用いた再構成における変動性は、漆器の画像インペインティングの文脈において、保持された再構成の誤差を予測できるか？」という具体的な問いに取り組むものである。
手法
本研究では、誤差測定のためのグラウンドトゥルース参照を確立するために、合成的な遮蔽（オクルージョン）を用いた制御された実験デザインを採用した。
- データセット： 主要なコホートは、ウォルターズ美術館、クリーブランド美術館、およびクーパー・ヒューイット美術館の漆器写真64点（視覚的に無地のもの32点、装飾のあるもの32点）で構成された。外部検証コホートには、メトロポリタン美術館およびアート・インスティチュート・オブ・シカゴの博物館カタログエントリー40点が含まれた。
- モデル： 2つの拡散モデル、Stable Diffusion 1.5 (SD1.5) と Stable Diffusion 2 (SD2) を使用した。主要な分析はSD1.5に焦点を当て、SD2は同じオリジナル・コホートおよび外部コホートを用いた追加実験に使用された。
- 実験プロトコル：
- 合成遮蔽： 関心領域（ROI）の約7.5%、20%、35%を表す小（Small）、中（Medium）、大（Large）の3段階でオブジェクトをマスクした。
- シード分離設計： 各マスク画像に対し、4つの固定シードを使用した。3つのシード（11002–11004）は、不確実性を算出するための「予測用」再構成を生成し、4番目のシード（11001）は「ターゲット」となる保持された再構成として使用された。
- 不確実性指標： サンプリング変動性は、マスク領域内で平均化された、3つの予測用シード間の画素ごとのRGBサンプル分散（ddof=1）として定義された。
- 誤差指標： 再構成誤差は、ターゲット・シード（11001）と、マスクされていない元の画像との間の平均絶対誤差（MAE）として測定された。
- 評価戦略：
- ランキング： オブジェクトをサンプリング不確実性によってランク付けした。
- 選択的予測： 最も不確実性が低いエントリー（カバー率約40%）を選択することで、全コホートと比較して、受理されたセットの平均誤差が減少するかどうかをテストした。
- 比較対象： 不確実性指標を、安価な画像記述子（Cannyエッジ密度、アニュラー・ソベル強度、グレースケール標準偏差）および既知のグラウンドトゥルース誤差に基づく「完全な」オラクル・ランキングと比較した。
- 人間によるレビュー： 80項目に対する匿名化された2段階の視覚的評価を行い、パターンの連続性、テクスチャの一貫性、およびさらなる人間によるレビューへの適合性を評価した。その後、外部コホートに対して、前景および素材の分類に関する2人の専門家によるレビューを行った。
主な結果
- 変動性と誤差の相関： サンプリング変動性とマスクされた再構成誤差との間に、強い正の関連性が認められた。
- オリジナル・コホート（主要分析）： 主要モデル（SD1.5）を使用した場合、オブジェクトレベルのピアソン相関係数は r=0.7176 であった。
- オリジナル・コホート（第2のモデル）： オリジナルの64個のオブジェクトに第2のモデル（SD2）を適用した場合、相関は r=0.7664 であった。
- 外部コホート： 相関はさらに高く、SD1.5で r=0.9043、SD2で r=0.9162 であった。
これらの結果は、事前に設定された基準である「ブートストラップ下限が0.30を超える正の相関」を満たした。
- 選択的受理による誤差減少： 最も不確実性が低い40%のオブジェクトを選択することで、受理されたセットの平均MAEは有意に減少した。
- オリジナル・コホート（主要分析）において、選択された26個のオブジェクトの平均MAEは0.01811であり、全セットの0.04655と比較して、61.10%の相対的な減少を示した。
- 外部コホートにおいても、同様の減少が観察された（例：SD1.5では0.03934 対 0.07835）。
- ベースラインとの比較： 外部コホートにおいて、不確実性ランキングは、平均誤差を減少させる上で境界・ソベル記述子よりも優れた性能を示した。オリジナル・コホートにおいては、安価な記述子（Cannyエッジ密度など）に対する優位性は小さく、統計的に不確実であった（信頼区間にゼロが含まれていた）。
- 視覚的クラスの格差： グローバルな不確実性ランキングは、不当に「無地」のオブジェクトを「装飾あり」のオブジェクトよりも優先した（無地の68.75%を受理したのに対し、装飾ありは12.50%であった）。クラスバランスを考慮した選択を強制すると、受理されたセットの平均誤差が増加した。これは、誤差の最小化と複雑な装飾品のリプレゼンテーションの確保との間のトレードオフを浮き彫りにした。
- 人間によるレビュー： 匿名による視覚的評価は、低い一致度（クリップペンドルフの α 0.23–0.28）を示し、主に隣接するスコアカテゴリに限定されていた。2人の専門家は前景の重なりを確認したが、本研究は再構成の品質に関する専門的なコンセンサスを確立するには至らなかった。
意義および主張
本論文は、サンプリング変動性が、人間によるレビューのために合成損失再構成の優先順位付けを行うための再現可能な信号として機能すると控えめに主張しているが、それが歴史的な真正性や保存への適合性を確立するものではないことを明示している。
- 有用性： 変動性スコアにより、再構成のピクセル自体を変更することなく、人間による検査のための低リスクな出力を優先順位付けすることが可能となる。これは、選択的予測の枠組み内におけるトリアージ・ツールとして機能する。
- 限界：
- 本手法は、個々の再構成の品質を向上させるものではなく、単にどのものを検査するかをフィルタリングするものである。
- 変動性と誤差の関連性は、共通の系統的誤差の可能性を排除しない（低変動性は必ずしも正解を保証しない）。
- 結果は既知のグラウンドトゥルースを用いた合成遮蔽に基づいているため、グラウンドトゥルースが存在しない実際の歴史的損傷に対する性能を直接検証するものではない。
- 不確実性推定のために3つの追加シードを生成するコストは、レビューの優先順位付けを改善するメリットと比較検討される必要があるが、実行時間やエネルギー消費のベンチマークは提供されていない。
- 結論： 制御された環境においてサンプリング変動性は再構成誤差と強く相関しているが、それは材料分析や専門家による検証の代わりにはならない。本研究は、デジタル・ヘリテージのワークフローにおいて、人間によるレビューと素材の文脈が中心的な役割を果たし続けることを前提として、提示された案のレビューを整理し優先順位を付けるための指標として、変動性を活用することを支持している。
毎週最高の コンピュータサイエンス 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。
週刊ダイジェスト — 最新の研究をわかりやすく。登録