Detecting Cross-Medium Stylistic Signals in Sketches and Paintings with Pretrained Visual Encoders

技術要約：学習済み視覚エンコーダーを用いたスケッチと絵画におけるクロス・メディア様式シグナルの検出

問題提起
本研究は、計算美術史におけるクロス・メディアな視覚メディア理解という課題に取り組むものである。具体的には、芸術家の視覚的スタイルの一側面が、異なるメディア（すなわち、スケッチ［素描］と完成した絵画）を越えて持続するのか、そして計算モデルがこの持続性を検出できるのかを調査する。本研究は、単なるアーティストの同定（制作者の名前を特定すること）を超え、芸術的アイデンティティ、メディア、および視覚的形態の関係性を探求するものである。核心となる困難さは、スケッチ（多くの場合、迅速で探索的かつ線形的である）と絵画（異なる素材、時間的リズム、表面効果を伴う）の間の、顕著な視覚的および物質的な隔たりにある。本タスクは、関係性の検証問題として定式化される。すなわち、あるスケッチと絵画が与えられたとき、モデルがその特定のアーティストを学習中に見ていなかったとしても、それらが同一の作者のものであるかどうかを判断できるか、というものである。

手法
著者らは、5つの広範な歴史的グループ（ルネサンス、バロック、新古典主義、印象派、ラファエル前派）にわたる10人の歴史的芸術家による、デジタル化された666点の芸術作品からなる制御されたコーパスを構築した。このデータセットは、333点のスケッチと333点の絵画で構成されている。

実験デザインには、Leave-One-Artist-Out (LOAO) プロトコルを採用している。各フォールドにおいて、検証器（verifier）は9人の芸術家を用いて学習され、保持された10人目の芸術家に対してテストされる。この設計により、性能が学習セットの記憶ではなく、未知のアイデンティティへの汎化を反映することを保証している。

本研究では、6つの特徴量ファミリーを評価している：

1. 学習済み視覚エンコーダー（重み固定）:
   • CLIP (ViT-B/32): 視覚と言語の結合モデルの埋め込み。
   • DINOv2 (ViT-S/14): 視覚のみの自己教師あり学習モデル（言語による監督なし）。
   • SigLIP (ViT-B/16): シグモイド対照目的関数を用いた視覚と言語の結合モデル。
2. 手作業による記述子ファミリー:
   • 構成と形態（Composition and Form）: エッジエネルギー、HOG、輪郭の曲率、対称性を含む1398次元の特徴量。
   • 階調構成（Tonal Organisation）: 輝度分位数、シャドウ／ハイライトの占有率を含む69次元の特徴量。
   • 表面テクスチャ（Surface Texture）: LBP、ガボールフィルタ、ウェーブレットエネルギーを含む92次元の特徴量。

各特徴量ファミリーに対し、コサイン類似度、ユークリッド距離、要素ごとの絶対差、および要素ごとの積を組み合わせたペア記述子を用いて、ペア検証器（バランス調整されたクラス重みを持つロジスティック回帰）を学習させる。

評価には、堅牢性をテストするために3つのネガティブ・サンプリング・ティア（階層）を用いる：

• 不一致ネガティブ（Unmatched Negatives）: 異なる芸術家によるスケッチと絵画のランダムなペアリング。
• 時代一致ネガティブ（Period-Matched Negatives）: 同一の歴史的時代に属する芸術家に限定されたペアリング。
• ハード・ネガティブ（Hard Negatives）: ネガティブとなる絵画が、異なる芸術家による視覚的に最も類似した作品であるペアリング（最近傍探索による）。

主な結果

• 学習済みエンコーダー: CLIPとSigLIPが、最も強力なクロス・メディア転移を示した。LOAO評価において、これらは平均AUC値でそれぞれ0.766および0.759を達成した。DINOv2はより弱い性能を示したが、平均AUC0.612でチャンスレベル（偶然によるもの）を上回った。
• 手作業による記述子: 手作業による記述子ファミリー（構成、階調、テクスチャ）のいずれも、LOAO設定においてチャンスレベルを有意に上回る性能を示すことはできなかった（AUCは0.508から0.537の範囲）。
• 堅牢性と限界: 学習済みモデルは不一致および時代一致のネガティブ条件下では成功したが、ハード・ネガティブ条件下では性能が崩壊した。CLIPはAUC 0.469に、DINOv2は0.372に、SigLIPは0.518に低下した。これは、検出されたシグナルが統計的かつ集団レベルのものであり、視覚的に類似した「なりすまし」の芸術家を区別できるほど堅牢ではないことを示している。
• 表現の類似性: マンテル行列相関テストにより、CLIP、DINOv2、およびSigLIPは、類似の相対的幾何構造（相関は0.45から0.66の間）へと芸術家を整理していることが明らかになった。これは、検出されたシグナルが異なるアーキテクチャや学習目的関数に依存しない再現可能なものであることを示唆している。
• クローズドセットの上限: CLIPの特徴量を用いたトリプレット・メトリック学習による二次分析では、固定されたコーパス内での検索精度が100%に達した。これは、すべての芸術家が既知である場合には、特徴量が識別のための十分な情報を含んでいることを裏付けているが、これが汎化につながるわけではない。

主な貢献

1. 体系的な実証研究: 本論文は、単一メディアの属性特定よりも困難な設定である、スケッチと絵画の間のクロス・メディアな芸術家検証に関する制御された評価を提供している。
2. 汎化の証拠: 学習済み視覚エンコーダー（特にCLIPとSigLIP）が、メディアを越えて持続し、学習中に見られなかった芸術家にも汎化する様式シグナルを検出できることを示している。CLIPとSigLIPの合致（異なるアーキテクチャと目的関数にもかかわらず）および、視覚のみのDINOv2の成功は、このシグナルが単一のモデルや言語的な監督によるアーティファクトではないことを示唆している。
3. 方法論的限界の特定: 本研究は、手法が失敗する明確な境界を明示的に特定している。すなわち、ハード・ネガティブ条件（視覚的に類似した異なる芸術家のペア）において、シグナルは脆弱になる。これにより、本手法を信頼できる鑑定の証拠として解釈することを防いでいる。

意義と主張
著者らは、クロス・メディアな検証を、芸術家の作者特定や作品の鑑定のための独立したツールとして見るべきではないと主張している。むしろ、その価値は人工知能モデルがいかに視覚的スタイルを捉えるかを探究することにある。

知見は以下の通りである：

• 学習済みエンコーダーは、標準的な手作業による記述子（構成、階調、テクスチャ）では回収できない、芸術的類似性（おそらく構成、空間的組織、または形態の扱いを含む）の側面を捉えている。
• これらのシグナルは困難な視覚的比較の下では不安定であり、現在の計算表現と、美術鑑定における微細な要求との間のギャップを浮き彫りにしている。
• 本研究は、複雑な文化的メディアに対する視覚的表現の解釈可能性、信頼性、および評価に関する議論に寄与するものである。計算システムは規則性を特定できるものの、その出力は、その証拠としての限界に関して慎重に解釈される必要があることを強調している。

本論文は、学習済みエンコーダーがクロス・メディアな持続的シグナルを符号化しているものの、これらの符号化は不透明であり、コーパスのデザインに依存していると結論付けている。このような手法がプロヴェナンス（来歴）研究においてより強い役割を果たすためには、将来的に、より多様なデータセットと解釈可能なモデリングが必要である。