Whose Art Counts? Model- and Prompt-Dependent Associations in Vision-Language Judgments of Museum Art

技術要約：誰の芸術がカウントされるのか？ 美術館の芸術に関する視覚・言語判断におけるモデルおよびプロンプト依存的な関連性

問題提起
視覚・言語モデル（VLM）は、文化コレクションの検索、ランキング、記述への活用が進んでいる。しかし、それらの「芸術的価値」の判断（例：画像を「傑作」や「影響力がある」とラベル付けすること）は、価値の直接的な観察ではなく、ウェブ規模のデータから学習された特定の画像・テキスト間の関連性に対する応答である。ここに重大な測定上の問題が存在する。美術館のアーカイブにこれらのモデルを適用する場合、観察されたスコアの格差（例：男性属性の作品と女性属性の作品の間）が、真のモデルのバイアスを反映しているのか、学習データから得られた関連性を反映しているのか、あるいはアーカイブ自体のアーティファクト（人工物）なのかが不明確である。博物館の記録は中立的なサンプリングフレームではない。そこには、属性、デジタル化、およびカタログ化における歴史的な不均衡が含まれている。既存の監査は、ベンチマーク画像や広範なデモグラフィック・プロンプトに依存しており、メタデータが不完全または未解決である場合が多い、歴史的に規定されたクエリ定義のアーカイブ・コホート内での挙動を考慮できていない。

手法：アーカイブ条件付き監査プロトコル
本研究は、モデル、プロンプト、およびメタデータの由来を単一の測定手順として扱うアーカイブ条件付き監査デザインを導入している。このプロトコルは、以下の4つの厳格な規則に従う。

1. アーカイブの凍結（Archive Freezing）： 再現可能なオブジェクト・コホートを確保するため、データセットおよび画像選択ルールは推論前に固定される。
2. メタデータの解決（Metadata Resolution）： 作成者のカテゴリーは、文書化されたフィールドと名前解決手順（姓名に基づく「ジェンダー・ゲッサー」辞書の使用）に厳密に従って導出される。その際、「不明または未属性」の記録を破棄せず、明示的に保持する。
3. プロンプトの特定（Prompt Specification）： 評価用プロンプトのペアは、テスト前に固定される。本研究では、3つの価値指向の対照（「傑作」、「品質」、「影響力」）と、1つのニュートラルな制御（「芸術作品」）を用い、高価値のフレーズと低価値の代替表現を比較する。
4. インストゥルメントの分離（Instrument Separation）： 本研究では、ファインチューニングなしで4つの異なるVLM（OpenAI CLIP、OpenCLIP ViT-B/32、OpenCLIP ViT-L/14、SigLIP）を評価する。CLIPがソフトマックス確率を出力するのに対し、SigLIPはロジットを出力することを踏まえ、生のスコアのプーリングは避ける。代わりに、クロスモデル診断のためにモデル内標準化を行い、モデル間の不一致をノイズではなく、測定器の特性として扱う。

実験設定

• データ： メトロポリタン美術館のオープンアクセス・コレクションから取得した、公開されている445点の美術館オブジェクト画像。
• コホート： 解決されたメタデータから導出された、二項比較コホート（男性推定61点、女性推定22点）。残りの384点（不明/未属性）は、記述的な文脈のために保持されるが、二項対照からは除外される。
• 分析： 本研究は、作成者カテゴリー間のプロンプト相対スコア差（$\Delta_m$）を算出する。ブートストラップ95%信頼区間、マン・ホイットニーのU検定、および10,000回のラベル・パーミュテーション・テストを採用する。感度分析には、部門ごとのLeave-one-department-outテストおよびクロスモデルの不安定性診断が含まれる。

主な結果

• プロンプトおよびモデル依存性： モデル間で普遍的なバイアスは存在しない。「影響力（Influence）」のプロンプトは、OpenAI CLIP（$\Delta = 0.2892$）およびOpenCLIP L/14（$\Delta = 0.3400$）において最も明確な正の差異を生み出した。しかし、OpenCLIP B/32およびSigLIPは、同じプロンプトに対して一貫性のない、あるいは逆方向の傾向を示した。
• プロンプトの感受性： プロンプトの選択が、観察される関連性を大きく変える。例えば、OpenAI CLIPは「傑作（masterpiece）」や「品質（quality）」のプロンプトでは差がほとんどなかったが、「影響力（influence）」に対しては強い正の差を示した。これは、モデルが単一の潜在的な構成概念としての「芸術的価値」ではなく、特定の意味論的関連性（例：歴史的インパクト vs 正典としての地位）に反応していることを示している。
• 集計の不安定性： プロンプト間の相関が弱かったり混在していたりするため、価値スコアの集計インデックスは二次的な要約としてのみ報告された。クロスモデル診断により高い不安定性が明らかになった。例えば、SigLIPは負の集計差を示したが、OpenCLIP L/14は正の差を示した。
• 部門への感受性： Leave-one-department-out分析によれば、方向性の傾向（例：OpenAI CLIPにおける正の差）は、ほとんどの部門除外においても安定していた。これは、この関連性が特定のクエリ定義されたコホート内では一貫していることを示唆しているが、必ずしも他の機関に転用可能であることを意味しない。

意義および主張
本論文の主要な貢献は、芸術的価値に関する決定的な声明や、ジェンダー・バイアスの普遍的な推定ではなく、方法論的なものである。

• 測定プロトコル： 本研究は、アーカイブの選択バイアス、未解決のメタデータ、およびモデル固有のスコアリング・スケールを明示的に考慮した、文化遺産におけるVLMの監査プロトコルを確立している。
• 解釈の境界： 著者らは、自らの知見が、特定のプロンプト下におけるメタデータ由来の作成者カテゴリーとモデルスコアとの間の関連性を記述するものであると主張している。これらが因果関係、芸術的質、あるいは一般的なモデルの挙動を確立するものではないことを明示している。
• 不一致の役割： 著者らは、モデル間の不一致を、平均化して排除すべき統計的ノイズではなく、評価の不確実性を示す意味のある証拠として扱うべきだと論じている。
• 責任ある使用： モデルのスコアを芸術的価値のランク付けや、キュレーターの判断の代替、あるいは取得政策の指針として使用すべきではないと警告している。むしろ、これらの診断は、アーカイブとモデルが特定のプロンプトおよびメタデータ条件下でどのように相互作用するかを明らかにするためのものである。

総括すると、本研究は、「誰の芸術がカウントされるのか」という問いへの答えは、芸術的価値の客観的または安定した尺度を反映しているのではなく、特定のモデル、プロンプトの言い回し、およびメタデータのアーカイブにおける生存性に依存していることを示している。