Visually similar prints expose a benchmark validity gap in computational art history
本論文は、計算美術史における視覚的検索ベンチマークが、歴史的に異なるものの視覚的に類似した版画の複製を省略していることにより、しばに誤解を招くほど高い精度を生み出していることを示し、それゆえに、単なる意匠の再帰と真の歴史的関係を区別するために、混同しやすい代替案を含む候補プールが必要であることを示す決定的な妥当性の欠如を明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
世界の美術館の膨大なデジタルアーカイブにおいて、新しい種類の検索が登場した。言葉を入力する代わりに、学者や一般の人々が画像をアップロードすることで、それに似た他の画像を見つけられるようになったのだ。ビジュアル・リトリーバル（視覚的検索）として知られるこの技術は、散逸した芸術作品を結びつけ、単一のデザインがいかにして数世紀を越えて旅をしてきたかを辿り、文化の視覚的な歴史を再構築するための強力なツールとなっている。この技術は、デジタル写真のピクセルを比較し、線、形、色のパターンから二つの画像が関連していることを示唆するものを探すことで機能する。多くの種類の芸術において、これは見事に機能する。しかし、対象となる物体がプリント（版画）である場合、特有の、そして手強い問題が発生する。彫られた版から紙にインクを押し付けて作られる画像であるため、単一のデザインが多くの異なる形態で存在し得るからだ。刷りたての版によるオリジナルの印象、摩耗した版による後世の印象、別の絵師による模写、あるいは複製。コンピュータにとって、これらの異なるバージョンはしばしば、ほぼ同一に見える。しかし、歴史家にとって、それらは誰が、いつ、どのように作ったのかという、全く異なる物語を語っている。中心的な問いは、視覚的に類似した画像を見つけるコンピュータ検索が、実際に正しい歴史的対象を見つけているのか、それとも単に説得力のある「似て非なるもの」を見つけているだけなのか、ということになる。
浙江通信大学のJiongming Fangによる最近の研究は、コンピュータが見ているものと歴史家が知っていることの間の、まさにこの隔たりを調査している。研究は、ニューヨークのメトロポリタン美術館にある木版画のコレクションに焦点を当てている。研究者たちは、標準的なコンピュータ検索ツールが、美術館の記録に明示的に「模写」とラベル付けされているものと、オリジナルのプリントを区別できるかどうかをテストしたいと考えた。彼らは、美術館のデータベースにある39の特定の記録を用いて、制御された実験を設定した。第一段階では、コンピュータに対し、正しいオリジナルのプリントと、他のデザインを持つ多くのプリントを含む候補グループの中から、一致するデザインを見つけるよう求めた。ただし、既知の模写は意図的に除外した。このシナリオにおいて、コンピュータは完璧に機能した。画像の比較に標準的な手法を用いることで、システムは240件の異なるテスト・クエリすべてにおいて、意図されたオリジナルのプリントを正解として正しく特定した。コンピュータは、間違った答えがそもそも存在しないパズルを解いているようなものだった。
研究者たちは、もしコンピュータがオリジナルと模写の間で選択を迫られたらどうなるかを確かめるために、実験を変更した。彼らは既知の模写を候補のプールに加え、同じデザインを共有しながらも歴史的なアイデンティティが異なる二つの画像の間の決定をコンピュータに強いた。結果は劇的に変化した。模写が存在する場合、コンピュータの完璧な記録は崩れた。画像の比較に使用される特定の手法によって、オリジナルをトップの結果として正しく特定できたのは、240件のクエリのうち187回、177回、または237回であった。残りのケースでは、コンピュータは模写を選択し、それを最良の合致としてランク付けした。いくつかの事例では、模写が唯一のトップの結果となり、意図されたオリジナルを完全に追い出した。これは、コンピュータが以前と同じ画像と数学的ルールを使用していたにもかかわらず起こった。唯一変わったのは、歴史的に異なる物体が存在したことだけであった。
研究ではまた、確信が持てないときに自らの不確実性を認めるように設計された、より慎重なシステムについてもテストを行った。このシステムは、二つの異なる比較手法が同じ答えに同意した場合にのみ最終的な決定を下すようプログラムされており、そうでなければ停止して人間に助けを求めるようになっていた。この慎重なアプローチでさえ、すべてのエラーを捉えることはできなかった。システムは二つのケースで、模写を正しい答えとして受け入れてしまい、視覚的な証拠が曖昧な場合に、単にセーフティネットを持つだけでは不十分であることを証明した。研究者たちは、問題はコンピュータがデザインを認識するのが下手なことではなく、むしろその逆であることを発見した。コンピュータはデザインの認識には非常に優れていた。問題は、テスト自体に欠陥があったことであり、それは歴史家が考慮すべき困難な代替案を含んでいなかったことである。間違った答えが正解と似ていない、容易な例のみでコンピュータをテストするベンチマークは、常に高い成功率を示すだろうが、その成功率は、コンピュータがオリジナルと模写を区別できるかどうかについては何も教えてくれない。
論文は、これらのシステムのテスト方法を変える必要があると結論づけている。検索ツールの妥当性は、それがテスト中に何を見ることが許されているかに依存する。もしシステムが、間違った答えが正解とは似ても似つかないような簡単な例のみでテストされているならば、その高いスコアは誤解を招くものである。コンピュータが真に美術史に有用であるかどうかを理解するためには、テストに「関係混同的（relation-confusable）」な候補、すなわち、見た目は似ているが歴史が異なる物体を含めなければならない。著者は、デジタル研究を三つの明確なステップに分ける新しい組織化の方法を提案している。それは、視覚的に類似した画像を見つけること、システムが混乱を招く代替案を扱えるかどうかをテストすること、そして最後に、文書的証拠に基づいて歴史的な判断を下すことである。このアプローチは、美術家の役割を自動化しようとするものではない。むしろ、コンピュータが「これらは同じに見える」と言い、人間である専門家が「しかし、これは模写である」と判断できる、明確な境界線を作るものである。検索の限界を可視化し、美術史の真の複雑さに抗ってシステムをテストすることで、研究者は、自らが何を知っており、何を知らないのかについて正直なツールを構築することができる。この研究は、デジタル遺産が真に信頼できるものとなるためには、視覚的な類似性が歴史的な真実と同じであると見せかけるのをやめなければならないことを示している。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。