Nonparametric domain adaptation for multimodal connoisseurship of Buddhist statuary across dynasties (ChronoStyleNet2.0)

Résumé Technique : ChronoStyleNet 2.0 (CSN 2.0)

Énoncé du Problème
La documentation, la datation et l'interprétation de la statuaire bouddhique chinoise sont confrontées à des contraintes significatives dues à la pénurie de spécialistes formés, à l'échelle immense des collections non documentées et à l'urgence des besoins de conservation. Le recours traditionnel à l'examen visuel spécialisé et à la recherche textuelle est difficile à passer à l'échelle. Bien que les méthodes numériques (apprentissage profond 2D, analyse de nuages de points 3D) et les modèles de langage multimodaux (MLLM) à usage général offrent de nouvelles voies, elles manquent souvent de terminologie archéologique spécifique, de contexte ou de la capacité à fournir des parcours interprétables allant de la preuve visuelle à l'attribution stylistique et chronologique. Les tentatives précédentes d'adaptation de domaine (par exemple, ChronoStyleNet 1.0) ont fait face à des limites concernant la couverture chronologique, les risques liés au réglage fin (fine-tuning) des paramètres et l'« attribution prématurée » où les connaissances injectées l'emportaient sur les preuves visuelles ambiguës.

Méthodologie : ChronoStyleNet 2.0 (CSN 2.0)
CSN 2.0 (nom chinois : Zhijian Zaoxiang) est un système d'adaptation de domaine non paramétrique conçu pour élargir la portée chronologique et géographique de l'analyse de la statuaire bouddhique sans procéder à un nouveau réglage fin des paramètres du modèle sous-jacent.

• Architecture Centrale : Le système utilise Gemini 2.5 Flash comme noyau de raisonnement multimodal. Il fonctionne via un flux d'inférence en quatre étapes : analyse de la requête, assemblage du contexte, inférence du modèle et analyse de la réponse.
• Stratégie d'Adaptation Non Paramétrique : Au lieu du réglage fin, CSN 2.0 injecte des connaissances de domaine lors de l'inférence grâce à trois composants intégrés :
  1. Prompt Structuré : Un prompt de domaine d'environ 4 000 mots contenant un protocole d'analyse en neuf étapes, des résumés de caractéristiques dynastiques et un schéma de priorité des preuves. Crucialement, il impose une règle de « priorité de la preuve visuelle », exigeant que le modèle décrive les caractéristiques observables avant de procéder à des attributions iconographiques ou chronologiques.
  2. Fusion de Récupération par Tri-Stratégie (TSFR) : Un module de génération augmentée par récupération (RAG) qui utilise une récupération relationnelle basée sur le texte plutôt que des bases de données vectorielles. La TSFR combine :
     • Correspondance directe de texte intégral (SQL LIKE) pour les termes standardisés.
     • Récupération par mots-clés tokenisés pour les requêtes fragmentées.
     • Cartographie de domaine organisée pour étendre les recherches basées sur des termes déclencheurs.
  3. Ontologie de Domaine Informée par le CIDOC CRM : Une base de connaissances organisée en 11 couches (ex. : Temporelle, Spatiale, Iconographique, Matérielle) mappées aux classes et propriétés sélectionnées du CIDOC CRM. Cette structure lie les caractéristiques visibles aux références et aux attributions proposées, bien que la mise en œuvre soit décrite comme « informée » plutôt que strictement conforme en raison de simplifications (ex. : omission de la modélisation centrée sur les événements).
• Jeux de Données :
  • Base de Connaissances : 3 642 entrées organisées couvrant des Seize Royaumes à la dynastie Qing, incluant des références iconographiques, des gazettes locales et de la littérature archéologique.
  • Jeu de Données de Statues Structurées : 145 statues annotées réparties en neuf catégories iconographiques (ex. : Śākyamuni, Avalokiteśvara) issues de diverses dynasties.
  • Jeu d'Évaluation : Un ensemble de test de 18 statues (deux par catégorie iconographique) couvrant neuf dynasties, utilisé pour tester le système contre quatre modèles à usage général.

Contributions Clés

1. Création de Jeu de Données : Développement d'un jeu de données de statuaire bouddhique annoté par des experts sur plusieurs dynasties et d'un ensemble d'évaluation distinct de 18 éléments.
2. Flux de Travail Non Paramétrique : Implémentation d'un flux d'adaptation de domaine combinant un prompt structuré, la TSFR et une ontologie informée par le CIDOC CRM, évitant les risques du réglage fin des paramètres.
3. Atténuation au Niveau du Prompt : Introduction d'une règle de « priorité de la preuve visuelle » conçue pour réduire l'attribution prématurée en forçant le modèle à lier les conclusions à des caractéristiques observables avant de finaliser les dates ou les identités.

Résultats
Le système a été évalué sur 18 sculptures de l'ensemble de test selon huit dimensions archéologiques (ex. : extraction de caractéristiques stylistiques, précision de la datation, interprétation culturelle, solidité du raisonnement) et comparé à GPT-5.1, Claude 4.5, Gemini 2.5 Pro et Grok 3.

• Forces de Performance : CSN 2.0 a obtenu des scores relativement élevés en extraction de caractéristiques stylistiques et en cohérence linguistique par rapport aux autres modèles non-GPT. Il a montré des performances mitigées en précision de datation (score moyen de 2,944), surpassant certains modèles généraux mais obtenant un score nettement inférieur à celui de GPT-5.1 (4,944). La performance en reconnaissance du type de statue était hétérogène : le système a obtenu des scores de 4 ou 5 pour les articles Avalokiteśvara, Samantabhadra et Mañjuśrī, mais a reçu des scores de 1 ou 2 pour les articles Maitreya et Mahāsthāmaprāpta, indiquant une variabilité substantielle selon les catégories.
• Faiblesses de Performance : Le système a obtenu des scores plus faibles en interprétation culturelle et en raisonnement de la preuve à la conclusion par rapport à GPT-5.1 et, dans certaines dimensions, à Gemini 2.5 Pro.
• Analyse d'Erreur : Bien que CSN 2.0 fournisse des descriptions anatomiques détaillées, il échoue occasionnellement à identifier la caractéristique diagnostique spécifique requise pour une attribution correcte (ex. : interprétant mal un vase à trésor comme une image de Bouddha). Les écarts-types élevés des scores reflétaient l'hétérogénéité entre les articles de test plutôt qu'une instabilité d'un cycle à l'autre.
• Contexte Comparatif : GPT-5.1 a reçu les scores moyens les plus élevés dans toutes les dimensions. CSN 2.0 a généralement surpassé Claude 4.5 et Grok 3, mais a montré des résultats mitigés face à Gemini 2.5 Pro selon la dimension spécifique.

Signification et Revendications
L'article positionne CSN 2.0 non pas comme un remplacement du jugement de l'expert, mais comme une aide exploratoire et traçable pour l'analyse spécialisée.

• Faisabilité de l'Adaptation Non Paramétrique : L'étude démontre la faisabilité pratique de fournir à un noyau multimodal à usage général des informations de domaine organisées lors de l'inférence. Cette approche permet de mettre à jour la source de connaissances indépendamment du modèle et rend les preuves récupérées inspectables.
• Traçabilité : En utilisant des prompts structurés et une ontologie de domaine, le système vise à rendre le chemin de raisonnement de la preuve visuelle à l'attribution plus transparent, répondant ainsi à la nature de « boîte noire » des MLLM généraux.
• Limites et Portée : Les auteurs déclarent explicitement que l'évaluation est exploratoire. En raison de la petite taille du jeu de test (18 articles), des sorties à passage unique et de l'absence d'études d'ablation des composants, les résultats ne peuvent être attribués à des composants spécifiques (ex. : l'ontologie vs le prompt) ni généralisés largement. Le système est destiné à la documentation préliminaire, à l'enseignement et à la génération d'hypothèses, ses résultats nécessitant une vérification par un spécialiste. Les auteurs mettent en garde contre l'utilisation du système pour des décisions de conservation sans validation supplémentaire.