Résumé technique : Extension du graphe de connaissances du patrimoine culturel multimodal avec des modèles de langage et de vision

Énoncé du problème

La préservation et l'interprétation du patrimoine culturel reposent de plus en plus sur des graphes de connaissances (KG) pour structurer d'énormes volumes de données. Cependant, la construction et l'expansion de ces KG font face à des défis majeurs dus à la nature diverse, complexe et souvent non structurée des informations relatives au patrimoine culturel (par exemple, les descriptions textuelles et les images trouvées dans les archives de musées ou sur Wikipédia).

Les KG existants, même ceux à grande échelle comme DBpedia ou Freebase, sont intrinsèquement incomplets. Cette incomplétude est exacerbée dans le domaine du patrimoine culturel, où les données historiques sont souvent cachées derrière des ressources non structurées. Les méthodes traditionnelles de complétion de graphe de connaissances (KGC), qui sont principalement basées sur des plongements (par exemple, TransE, RESCAL), fonctionnent sous l'hypothèse de monde clos (CWA). Cette hypothèse limite les prédictions à des ensembles prédéfinis d'entités, rendant ces méthodes insuffisantes pour introduire de nouvelles connaissances ou entités qui ne sont pas déjà présentes dans le graphe. De plus, les benchmarks existants manquent souvent de la complexité opérationnelle, de l'ambiguïté et de la richesse multimodale (texte et images) caractéristiques des collections réelles du patrimoine culturel.

Méthodologie

Les auteurs proposent une approche globale impliquant la création d'un nouvel ensemble de données et d'un nouveau cadre pour étendre les KG sous l'hypothèse de monde ouvert (OWA).

1. L'ensemble de données WJoconde

Les auteurs introduisent WJoconde, un nouveau graphe de connaissances multimodal centré sur le patrimoine culturel français, dérivé de la base de données Joconde (une base de référence des collections de musées français) et de Wikidata.

• Construction : Le pipeline consiste à extraire un graphe de contexte depuis Wikidata en utilisant les entités liées à l'identifiant Joconde (P347), à nettoyer les redondances et à enrichir les entités avec du texte et des images externes provenant de sources patrimoniales ouvertes, de Wikimedia Commons et de Wikipédia.
• Variantes : Trois variantes ont été créées pour faciliter la recherche :
  • WJoconde (Raw) : Contient 28 524 entités et 483 938 triplets.
  • WJoconde_cleaned : Une version filtrée supprimant les relations inverses, redondantes et éparses pour éviter une inflation artificielle des performances dans les tâches de KGC.
  • WJocondeMM : Un sous-ensemble multimodal complet où les entités possèdent à la fois des descriptions textuelles et des images visuelles.
• Étalonnage : L'ensemble de données sert de nouveau benchmark pour la KGC, évalué contre divers modèles de plongement (TransE, ComplEx, TuckER, etc.). Les résultats indiquent que les modèles basés sur la traduction peinent avec la complexité de l'ensemble de données, tandis que les modèles de réseaux neuronaux profonds comme TuckER obtiennent les meilleurs résultats.

2. Cadre de KGC multimodal sous OWA

Pour étendre le KG avec de nouvelles entités, les auteurs proposent un pipeline exploitant les modèles de langage de grande taille (LLM) et les modèles vision-langage (VLM) de manière zero-shot. Le processus se compose de trois étapes :

1. Collecte d'informations : Pour un triplet donné avec une entité manquante, le système récupère des descriptions textuelles non structurées et des images visuelles associées aux entités ou relations connues.
2. Extraction d'entités :
   • LLM (par exemple, LLaMA 2) : Traite les entrées textuelles en utilisant des modèles de prompt conçus pour définir la tâche du KG, assigner un rôle et imposer un formatage de sortie JSON.
   • VLM (par exemple, BLIP) : Traite les entrées d'images de manière similaire pour extraire des concepts visuels.
   • Les deux modèles génèrent des listes d'entités candidates sans entraînement préalable sur l'ensemble de données spécifique.
3. Validation et ancrage conjoints : Pour garantir la fiabilité et la nouveauté, un pipeline de validation rigoureux est appliqué :
   • Appariement d'entités : Un modèle Word2Vec calcule la similarité entre les candidats générés et les entités existantes du KG. Les candidats présentant une forte similarité (synonymes) ou les entités existantes sont filtrés en utilisant un seuil ($\tau=0,4$).
   • Validation croisée : Le VLM est utilisé pour vérifier si les entités générées par le LLM sont visuellement présentes dans l'image (et vice versa), réduisant ainsi les hallucinations.
   • Validation du modèle : Les modèles sont testés sur leur capacité à reconnaître des entités existantes à partir du contexte fourni afin d'établir une ligne de base de crédibilité.

Contributions clés

L'article présente trois contributions principales :

1. Ensemble de données WJoconde : Un graphe de connaissances multimodal nouveau et de haute qualité pour le patrimoine culturel français contenant plus de 483 000 triplets. Il intègre texte et images, servant de ressource pour la recherche multimodale et de nouveau benchmark pour la KGC.
2. Pipeline d'extension OWA : Un nouveau cadre pour étendre les KG sous l'hypothèse de monde ouvert. En combinant LLM et VLM avec un pipeline d'ancrage et de validation spécialisé, la méthode introduit avec succès de nouvelles entités fiables dans le graphe sans nécessiter de fine-tuning du modèle.
3. Étalonnage et évaluation : Évaluation extensive des modèles KGC existants sur WJoconde et ses variantes, accompagnée d'une nouvelle méthodologie d'évaluation pour les scénarios OWA qui repose sur l'évaluation humaine et la validation croisée de modèles plutôt que sur les métriques de classement traditionnelles.

Résultats

Le pipeline proposé a été appliqué à l'ensemble de données WJocondeMM_en :

• Expansion des entités : La méthode a réussi à introduire 61,36 % d'entités supplémentaires dans l'ensemble de données. Plus précisément, 4 394 nouvelles entités finales ont été ajoutées, portant le nombre d'entités de 7 749 à 12 143.
• Fiabilité :
  • Crédibilité du modèle : Le pipeline combiné LLM et VLM a atteint un rappel de 90,2 % et un score F1 de 94,8 % dans la récupération des entités de vérité terrain (entités existantes), démontrant une grande fiabilité dans la reconnaissance d'entités.
  • Évaluation humaine : Deux annotateurs ont examiné les entités générées pour la relation « représente ». L'approche combinée a atteint une précision de 92,0 %, indiquant que la majorité des entités nouvellement ajoutées étaient correctes et significatives.
• Qualité sémantique : L'analyse des entités ajoutées a montré un glissement des catégories « inconnues » (55,4 % dans l'original) vers des catégories riches sémantiquement et ancrées visuellement telles que « Objet » (22,5 %), « Nature » (17,5 %) et « Personne » (15,6 %). Les entités ajoutées ont capturé des concepts interprétables (par exemple, « joute », « arche », « armure ») pertinents pour les historiens de l'art.

Importance

L'article affirme que ce travail représente la première création d'un ensemble de données de benchmarking multimodal complet dans le domaine du patrimoine culturel français combinant informations textuelles et visuelles. Son importance réside dans :

• Avancement de l'OWA dans le patrimoine culturel : Démontrer que les modèles d'IA multimodaux peuvent étendre efficacement les KG avec de nouvelles connaissances, surmontant les limites de l'hypothèse de monde clos qui restreint les méthodes KGC traditionnelles.
• Utilité spécifique au domaine : Fournir une ressource structurée et multimodale facilitant des requêtes sophistiquées, des analyses et de la recherche dans le patrimoine culturel, répondant à la complexité de la gestion d'importantes collections de musées.
• Robustesse méthodologique : Établir un pipeline de validation qui garantit la fiabilité des connaissances générées par l'IA, rendant possible l'enrichissement automatisé des données du patrimoine culturel avec une grande confiance.

Les auteurs notent que, bien que le pipeline soit efficace, des travaux futurs pourraient explorer des modèles avancés, l'apprentissage few-shot et des scénarios de fine-tuning plus sophistiqués. Tout le code, les ensembles de données et les points d'accès interactifs sont open-source pour faciliter la recherche ultérieure.