Style or Signature? Artist-Disjoint Evaluation of Style Classification in Frozen Vision Embeddings

技術要約：凍結されたビジョン・エンベディングにおけるスタイル分類のアーティスト分離評価

問題提起
大規模な学習済みビジョンモデル、特にCLIPから得られる凍結された画像エンベディングは、美術史的な様式（スタイル）を高い精度で分類できるとして広く利用されている。標準的な評価プロトコルでは、通常、データセットのランダムな分割が用いられるため、同一のアーティストによる作品が、訓練／参照セットとテスト／クエリセットの両方に現れることがある。本論文は、この手法が「芸術的スタイルの認識」と「個々のアーティストのアイデンティティの認識」を混同していると主張する。凍結されたエンベディングは特定のアーティストの強力な「ニューラル・シグネチャー」を符号化しているため、分類器は様式ではなく、画家の識別によって高い精度を達成している可能性がある。その結果、標準的な集計精度指標は、モデルが真にスタイルの特徴を理解している度合いを過大評価し、アーティストの記憶への依存度を隠蔽してしまう。

手法
著者は、スタイル分類とアーティストのアイデンティティを切り離すためのアーティスト分離評価プロトコル（leave-one-artist-out）を提案し、実装している。

• データセット： 20世紀の4つの運動（印象派、キュビスム、抽象表現主義、シュルレアリスム）にわたる320点の絵画を含むバランスの取れたデータセット。各運動に8人のアーティストが含まれ、各アーティストにつき10点の作品が含まれる。
• プロトコル： ランダム分割の代わりに、単一のアーティストの全作品をクエリセットとして保持し、残りの310作品（他の31人のアーティストによるもの）を参照プールとして使用する。これにより、自身の画家によって作成された近傍点を用いて作品を分類することがなくなる。
• モデル： 主要な実験にはCLIP ViT-B/32を使用する。汎用性を確保するため、このパイプラインを以下の3つの追加エンコーダーにも複製して適用した：CLIP ViT-L/14、自己教師ありのビジョン専用モデルであるDINOv2 ViT-B/14、およびImageNetで学習されたResophot-50。
• 指標： フル・プール（ランダム分割）条件とアーティスト分離条件における5-Nearest Neighbor (5-NN) スタイル精度を比較する。さらに、「アーティスト認識制御」を導入し、モデルがスタイルではなくアーティストを予測する場合（同一アーティストの近傍点を含むことを許容する）の挙動を測定することで、個々のアーティストがいかに強く符号化されているかを定量化する。

主な結果

1. 集計パフォーマンスの低下： アーティスト分離プロトコルの下では、全体の5-NNスタイル精度は0.87から0.77へと低下する。集計上の低下は一見わずかであるが、これは運動ごとに極めて不均衡な影響を隠している。
2. 運動別の分散：
   • 印象派とキュビスム： これらの運動は高い堅牢性を示し、精度の低下はそれぞれわずか3.8ポイントおよび5.0ポイントであった。これらのアーティストはモデルにとって個別に識別することが困難であり（低いアーティスト認識性）、これはエンベディングが、個人の署名を包含する真に共有された視覚的形態を捉えていることを示唆している。
   • シュルレアリスム： この運動は劇的な崩壊を見せた。精度は0.713から0.513へと20ポイント低下した。モデルは保持された作品の約半分を誤分類している。この脆弱性は、個人の認識性に強く依存していた特定のアーティスト（例：ミロやマッソン）によって引き起こされている。
   • 抽象表現主義： 中間的な低下（12.5ポイント）を示すが、比較的堅牢（0.850）であるままである。これは、個々のアーティストの認識性が最も高いグループであるにもかかわらず、同様の結果となった。
3. エンコーダーの汎用性： このパターンは、ビジョン専用（言語なし）のDINOv2を含む、4つすべてのエンコーダーにおいて成立している。これにより、観察されたシュルレアリスムにおける脆弱性と印象派／キュビスムにおける堅牢性は、言語・テキストの整合性に起因するアーティファクトではなく、エンベディングが捉えた視覚的構造の特性であることが確認された。

主な貢献

1. アーティスト分離プロトコル： 本論文は、凍結されたビジョン・エンベディングのための「leave-one-artist-out」評価基準を導入し、標準的なランダム分割評価が隠蔽してしまうスタイル分類の脆弱性を露呈させた。
2. ギャップの定量化： 著者は、標準的な精度とアーティスト分離精度の乖離を定量化し、それが一様ではなく運動に依存することを示した。また、アーティスト認識制御を通じてそのメカニズムを特定し、「真の共有された形態」と「アーティストの記憶」を区別した。
3. 視覚的および言語的起源： ビジョン専用モデルを含めることで、観察されたパターンの言語ベースの説明を排除し、この効果が視覚的構造に深く根ざしていることを示した。

意義と主張
本論文は、「エンベディングはスタイルを捉えているか？」という問いは、スタイルが運動ごとに異なる性質を持つため、不適切であると主張している。印象派やキュビスムのような運動にとって、スタイルとは個々のアーティストが取り除かれた後でも持続する、共有された視覚的形態によって定義される。一方、シュルレアリスムにとって、「スタイル」はしばしば特定のアーティストの特異な視覚言語と不可分に結びついている。したがって、アーティストを取り除くことは、スタイル信号を取り除くことと同義となる。

主要な意義は方法論にある。標準的なランダム分割評価は、「アーティストの認識」を「スタイルの理解」として認証してしまうリスクがある。著者は、凍結されたエンベディングにおけるスタイルの理解を測定するための必須のデフォルトとして、アーティスト分離評価を提唱する。このアプローチは、脆い集計指標を、解釈可能な運動別・アーティスト別の姿へと変容させ、どの運動が回復可能な共有視覚形態を持っているのか、そしてどの運動が特定の画家の認識性に依存しているのかを明らかにする。本論文は、ファインチューニングがこれらの問題を解決すると主張したり、新しい応用を提案したりするものではなく、計算美術史におけるモデルの能力を過大評価することを防ぐための、より厳格な評価基準を求めている。