Museum-grounded auditing reveals systematic form failures in AI-generated Chinese lacquerware

技術要約：博物館に基づいたAI生成中国漆器の監査

問題提起
生成AIは文化遺産の可視化においてますます活用されているが、現在の評価手法は美的妥当性や一般的な意味的類似性に依存することが多く、歴史的に特定のオブジェクトに関するエラーを検出できない。近年のベンチマークは、基盤モデルにおける文化的理解の不均衡を示唆しているが、「文化的ハルシネーション（特定の文化的主張に関する事実誤認）」と、単なる様式的な逸脱を区別するための厳格なフレームワークは欠如している。核心的な認識論的課題は、生成された画像が視覚的には説得力がある一方で、オブジェクトの同一性、時代、または形態に関する許容可能な博物館の証拠と矛盾する場合があることである。本研究は、生成された画像を特定の文化的主張の視覚的なインスタンスとして扱い、一般的な類似性指標ではなく、構造化された博物館の証拠に対して監査するという評価手法の必要性に対処するものである。

方法論
本研究では、**文化的ハルシネーション（CH）**を、「プロンプトによって条件付けられた文化的オブジェクトの主張が、許容可能な博物館の証拠によって否定される状態」として定式化する。このフレームワークは、TEMPORAL（時間）、FORM（形態）、MOTIF（モチーフ）、MATERIAL_TECHNIQUE（素材・技法）、および SEMANTIC_RELATIONAL（意味的関係） の5つの次元を定義している。本プロダクション規模の研究では、オブジェクトタイプの主張が全データセットを通じて再現可能かつ観察可能な基準を提供するため、推論を FORM（形態） の次元に限定した。

• データセット： 中国漆器の生成画像540枚のコーパス。これは12のファミリー（4つの歴史的時代と3つのオブジェクト・テンプレートの組み合わせ）に分類されている。各ファミリーには、3つのジェネレーター構成（G1, G2, G3）、3つのプロンプト詳細レベル、および5つの固定ランダムシードの条件下で生成された45枚の画像が含まれる。
• 判定プロトコル： 画像は、CONSISTENT（整合的：証拠と互換性がある）、CONTRADICTED（矛盾：証拠と不適合）、または UNSCORABLE（判定不能：視覚的証拠が不十分） の3つの状態に分類された。
  • 矛盾（Contradiction） は厳密に定義される：生成されたオブジェクトが、指定されたタイプを具現化するために博物館によって支持されている構造的特徴を欠いている場合（例：両側に耳状の突起を持つべき耳付き杯に、両側の耳がない場合）を指す。装飾の欠落は矛盾とはみなさない。
  • 判定不能（Unscorable） は、曖昧さ、クロッピング、または視認性の不足が生じた場合に適用され、不確実性と事実誤認を区別する。
• 信頼性評価： 本研究では、以下の多段階検証プロセスを採用した：
  1. キャリブレーション： 12枚の画像セットを用いてプロトコルを安定させた。
  2. 一次判定： 2名の著者が540枚の画像を独立してレビューした。
  3. 独立再評価： 結果駆動型のバイアスを避けるため、スコアリングの前に「Core120」（各ファミリー10枚）のサブセットおよびすべての一次判定における CONTRADICTED/UNSCORABLE ケースに対して、ブラインドでの再評価を実施した。
  4. 第3著者による判定： 3名の著者が69件の不一致をレビューし、ハードな矛盾と不確実性の閾値を区別する感度行列を作成した。
• 自動指標： 自動E5指標（CLIP類似度、DINO-B距離、最近傍の時代不一致、分類器の出力）を人間による判定と比較し、スクリーニングツールとしての有用性を評価した。

主な結果

1. 体系的なオブジェクト・スキーマの失敗： 最も重大な発見は、QINHAN_T01（秦漢時代の耳付き漆器杯）ファミリーにおけるほぼ普遍的な失敗であった。一次判定では、45枚中44枚が CONTRADICTED、1枚が UNSCORABLE と分類された。独立再評価では、45枚すべてが CONTRADICTED と分類され、この結果は第3著者による判定の感度分析（45/45 CONTRADICTED）によっても確認された。生成された器は、特定のオブジェクトタイプに対して博物館の記録が要求する両側および三日月形の耳を一貫して欠いていた。
2. 矛盾と不確実性の信頼性： ハードな FORM の矛盾は、判定者間で高い移植性を示した（再評価において83/93の一次矛盾が確認された）。対照的に、UNSCORABLE の境界は判定者に強く依存しており、独立再評価において再現された一次 UNSCORABLE ラベルは48件中わずか7件であった。第3著者による判定により、UNSCORABLE の数は48から7へと減少し、分布は415 CONSISTENT、118 CONTRADICTED、7 UNSCORABLE へと移行した。
3. ジェネレーターおよび条件の関連性：
   • ジェネレーター構成： G2およびG3の構成は、G1と比較してハードな FORM の矛盾を示すオッズが有意に低かった（G3 OR = 0.155）。ただし、均質性テストによれば、これらはグローバルなランキングではなく、ファミリー依存の関連性を示している。
   • 固定シード： シードS0503は、一次分析において矛盾の高いオッズに関連していたが（OR = 4.16）、判定感度分析においてHolm補正後の頑健性が失われ、その有意性は減衰した。
   • プロンプトの詳細度： プロンプトの詳細度とハードな矛盾との間に統計的に有意な関連は見られなかったが、方向性のある傾向（P3 < P1）が観察された。
4. 自動指標の限界： 自動E5指標は、識別力が弱いことが示された。最も優れた事前指定ディスクリミネーター（低いCLIPプロンプト類似度）のAUCはわずか0.607であり、他の指標は偶然レベルであった。本研究は、自動スコアは最終的な真正性評価のための証拠に基づいた人間による判定に取って代わることはできないと結論付けている。

意義と主張
本論文は、美的欠陥と判定者依存の不確実性を分離する、博物館に基づいた監査のための方法論的フレームワークを提供することを主張している。

• 証拠へのアンカーリング： 本研究は、検証可能なアンカーとしての認証済み博物館オブジェクトの役割を強化し、生成された主張は、それが暗黙的に参照している証拠の制約を継承しなければならないと論じている。
• 監査アーキテクチャ： 独立したハードな失敗が発生するオブジェクトファミリーに対しては、博物館に基づいたレビューを義務付ける一方で、自動指標は最終的なラベル付けではなく、スクリーニングまたはルーティングの役割に限定されるという、実用的なデプロイメント・アーキテクチャを提案している。
• 限定的な範囲： 著者らは、本研究の知見が中国漆器の FORM 次元に限定されていること、および「UNSCORABLE」の閾値にはさらなる調整が必要であることを明示している。本研究はすべての文化的ハルシネーションを解決すると主張するものではなく、診断的なオブジェクト・スキーマが明示的であれば、特定の構造的なエラーを再現可能に特定できることを示している。
• 再現性： 本研究は、ハードな矛盾は再現可能であるが、不確実性の扱いは測定の変動の主要な原因であり、自動的な閾値ではなく明示的な判定ルールが必要であることを強調している。

本論文は、生成された文化遺産イメージは単に妥当性のみで判断されるべきではなく、博物館が事実的なアンカーを提供し、ハードな矛盾が明示的なスキーマを通じて監査され、自動指標が予備的なフィルターとして機能するという、階層的なアプローチを必要とすると結論付けている。