Nonparametric domain adaptation for multimodal connoisseurship of Buddhist statuary across dynasties (ChronoStyleNet2.0)

技術要約：ChronoStyleNet 2.0 (CSN 2.0)

問題提起
中国の仏像に関する文書化、年代特定、および解釈は、訓練を受けた専門家の不足、未記録のコレクションの膨大な規模、および緊急の保存ニーズにより、重大な制約に直面している。従来の専門家による視覚的調査や文献研究への依存は、スケールアップが困難である。デジタル手法（2Dディープラーニング、3Dポイントクラウド解析）や汎用マルチモーダル大規模言語モデル（MLLM）は新たな道を提示しているが、これらは特定の考古学的用語、文脈、あるいは視覚的証拠から様式・年代特定へと至る解釈可能な経路を提供する能力に欠けることが多い。以前のドメイン適応の試み（例：ChronoStyleNet 1.0）は、年代的範囲の限定、パラメータ・ファインチューニングのリスク、および注入された知識が曖昧な視覚的証拠を上書きしてしまう「時期尚早な属性付与」といった課題に直面した。

手法：ChronoStyleNet 2.0 (CSN 2.0)
CSN 2.0（中国語名：智見造像 / Zhijian Zaoxiang）は、基盤となるモデルのパラメータ・ファインチューニングを行うことなく、仏像分析の年代的および地理的な範囲を拡大するように設計された非パラメトリック・ドメイン適応システムである。

• コア・アーキテクチャ： 本システムは、マルチモーダル推論のバックボーンとして Gemini 2.5 Flash を利用する。クエリ解析、コンテキスト組み立て、モデル推論、レスポンス解析の4段階の推論ワークフローを通じて動作する。
• 非パラメトリック適応戦略： ファインチューニングを行う代わりに、CSN 2.0は以下の3つの統合コンポーネントを通じて、推論時にドメイン知識を注入する。
  1. 構造化プロンプティング： 9段階の分析プロトコル、王朝ごとの特徴要約、およびエビデンス優先スキームを含む約4,000語のドメインプロンプト。極めて重要な点として、モデルに対して、図像学的または年代的な属性付与を行う前に、観察可能な特徴を記述することを義務付ける**「視覚的エビデンス優先」ルール**を強制する。
  2. 三戦略融合検索（TSFR）： ベクトルデータベースではなく、関係性に基づいたテキストベースの検索を用いるリトリーバル拡張生成（RAG）モジュール。TSFRは以下を組み合わせる：
     • 標準化された用語のための直接的な全文一致（SQL LIKE）。
     • 断片的なクエリのためのトークン化されたキーワード検索。
     • トリガー用語に基づいて検索を拡張するためのキュレーションされたドメインマッピング。
  3. CIDOC CRMに準拠したドメイン・オントロジー： 11のレイヤー（時間、空間、図像、物質など）に整理され、選択されたCIDOC CRMのクラスおよびプロパティにマッピングされた知識ベース。この構造は、可視的な特徴を参考文献や提案された属性と結びつけるが、実装は簡略化（例：イベント中心のモデリングの省略）されているため、「準拠」というよりは「情報を得た（informed）」状態として記述されている。
• データセット：
  • 知識ベース： 十六国時代から清代にわたる3,642件の精選されたエントリー（図像学的参照、地方志、考古学文献を含む）。
  • 構造化仏像データセット： 様々な王朝の9つの図像カテゴリー（例：釈迦如来、観音菩薩）にわたる145体の注釈付き仏像。
  • 評価セット： 9つの王朝をカバーする、1つの図像カテゴリーにつき2体ずつ配置された18体の仏像からなるホールドアウト・セット。システムの性能を4つの汎用モデルと比較するために使用される。

主な貢献

1. データセットの作成： 専門家によって注釈が付与された、多王朝にわたる仏像のデータセット、および独立した18項目の評価セットの開発。
2. 非パラメトリック・ワークフロー： 構造化プロンプティング、TSFR、およびCIDOC CRMに準拠したオントロジーを組み合わせたドメイン適応ワークフローの実装により、パラメータ・ファインチューニングのリスクを回避。
3. プロンプトレベルの緩和策： モデルに、年代や正体を確定させる前に、結論を観察可能な特徴に結びつけることを強制することで、時期尚早な属性付与を減らすよう設計された「視覚的エビデンス優先」ルールの導入。

結果
システムは、8つの考古学的次元（例：様式的特徴抽出、年代特定精度、文化的解釈、推論の妥当性）において18体のホールドアウト彫刻に対して評価され、GPT-5.1、Claude 4.5、Gemini 2.5 Pro、Grok 3と比較された。

• 性能の強み： CSN 2.0は、他の非GPTモデルと比較して、様式的特徴抽出および言語的一貫性において比較的高いスコアを記録した。年代特定精度（平均スコア2.944）については混合したパフォーマンスを示し、一部の汎用モデルを上回ったものの、GPT-5.1（4.944）には大きく及ばなかった。仏像タイプの認識における性能は不均一であり、観音菩薩、普賢菩薩、文殊菩薩の項目ではスコア4または5を獲得したが、弥勒菩士および地蔵菩薩の項目ではスコア1または2となり、カテゴリー間で大幅な変動があることが示された。
• 性能の弱み： CSN 2.0は、GPT-5.1および一部の次元におけるGemini 2.5 Proと比較して、文化的解釈およびエビデンスから結論への推論において低いスコアとなった。
• エラー分析： CSN 2.0は詳細な解剖学的記述を提供したが、正しい属性付与に必要な特定の診断的特徴（例：宝瓶を仏像と誤認するなど）の特定に失敗することがあった。スコアの高い標準偏差は、実行ごとの不安定さではなく、テスト項目の不均一性を反映していた。
• 比較コンテキスト： GPT-5.1はすべての次元において最も高い平均スコアを獲得した。CSN 2.0は一般的にClaude 4.5およびGrok 3を上回ったが、特定の次元においてはGemini 2.5 Proに対して混合した結果となった。

意義および主張
本論文は、CSN 2.0を専門家の判断に代わるものではなく、専門家による分析のための探索的かつ追跡可能な補助ツールとして位置づけている。

• 非パラメトリック適応の実現可能性： 本研究は、汎用的なマルチモーダル・バックボーンに対し、推論時に精選されたドメイン情報を供給することの現実的な実現可能性を実証している。このアプローチにより、知識源をモデルとは独立して更新することが可能になり、検索されたエビデンスの検証も可能になる。
• 追跡可能性： 構造化プロンプトとドメイン・オントロジーを使用することで、視覚的エビデンスから属性付与に至る推論経路をより透明化し、一般的なMLLMの「ブラックボックス」的な性質に対処することを目指している。
• 限界と範囲： 著者らは、評価は探索的なものであることを明示している。テストセットが小さいこと（18項目）、単一実行の出力であること、およびコンポーネントのアブレーション研究（要素除去実験）が欠如していることから、結果を特定のコンポーネント（例：オントロジーかプロンプトか）に帰属させることはできず、広く一般化することもできない。本システムは、予備的な文書化、教育、および仮説生成を目的としており、出力には専門家による検証が必要である。著者らは、さらなる検証なしに保存決定のために本システムを使用することに対して注意を促している。