Auditable AI Assisted Semantic Completion Supports Metadata Enhancement in Digital Cultural Heritage Collections

Résumé technique : Complétion sémantique assistée par l'IA et auditable pour les métadonnées du patrimoine culturel numérique

Énoncé du problème
Les collections de patrimoine culturel numérique sont de plus en plus disponibles sous forme de données calculables, pourtant leur découvrabilité est entravée par des métadonnées souvent incomplètes, inégalement structurées et manquant de richesse sémantique. Bien que l'intelligence artificielle (IA) soit fréquemment proposée comme une solution pour la génération de métadonnées, son adoption dans les contextes de patrimoine culturel soulève des préoccupations significatives concernant l'autorité interprétative, les biais culturels et la nature « boîte noire » des modèles génératifs. Le défi central n'est pas simplement de savoir si l'IA peut générer des étiquettes, mais comment créer un flux de travail d'enrichissement des métadonnées qui soit transparent, reproductible et auditable par des catalogues professionnels. Les enregistrements existants contiennent souvent des informations denses dans certains aspects (ex. : type d'objet, matériau) mais sont pauvres dans d'autres (ex. : sujet, classification), créant ainsi le besoin d'un système capable de recommander des termes de vocabulaire contrôlé manquants sans en inventer de nouveaux ni occulter la provenance.

Méthodologie
L'étude reformule l'enrichissement des métadonnées comme une tâche de complétion sémantique contrainte plutôt que comme une tâche générative. Au lieu de demander à un modèle de produire des descriptions fluides, le système utilise les étiquettes de vocabulaire contrôlé observées au sein d'un enregistrement pour recommander des étiquettes candidates pour les facettes manquantes.

• Jeu de données : La recherche utilise le benchmark EUFCC-340K, un jeu de données à facettes hiérarchiques dérivé d'Europeana comprenant plus de 340 000 enregistrements. L'étude emploie un sous-ensemble d'entraînement fixe de 25 000 enregistrements pour garantir la reproductibilité sur du matériel ordinaire.
• Conception expérimentale : Un protocole de évaluation par masquage d'étiquette est utilisé. Pour chaque enregistrement éligible, une étiquette existante d'une facette cible (type d'objet, matériau, sujet ou classification) est masquée. Le modèle doit classer les étiquettes candidates pour cette facette en utilisant les autres étiquettes de contexte observées. Le succès est mesuré par la présence de l'étiquette masquée dans les k meilleurs candidats (Recall@k).
• Modèles évalués :
  1. Base de fréquence : Classe les candidats en fonction de la fréquence globale dans l'entraînement au sein de la facette cible.
  2. Cooccurrence directe : Construit une matrice de cooccurrence étiquette-étiquette à partir des enregistrements d'entraînement. Les scores sont dérivés de la probabilité moyenne qu'un candidat apparaisse étant donné le contexte des étiquettes observées.
  3. Propagation par graphe à deux sauts (Two-Hop) : Étend l'évidence directe en propageant les scores à travers le graphe des étiquettes (ex. : Objet $\to$ Matériau $\to$ Classification) pour capturer les relations indirectes.
  4. Classement hybride : Une combinaison pondérée du score direct, du score à deux sauts et du prior de fréquence.
• Contraintes : Le vocabulaire est limité à 600 étiquettes de feuilles (celles apparaissant $\ge$ 10 fois dans l'entraînement) pour garantir l'auditabilité et l'efficacité. Le flux de travail privilégie un classement déterministe et reproductible plutôt que la nouveauté générative.

Résultats clés

• Asymétrie des métadonnées : L'analyse du jeu de données EUFCC-340K révèle une asymétrie significative de la couverture des métadonnées. Les champs de type d'objet et de matériau sont denses (couverture d'environ 77–93 %), tandis que les champs de sujet et de classification sont pauvres (respectivement 6,7 % et 12,9 % de couverture dans l'échantillon d'entraînement).
• Performance de la cooccurrence : Sur le split de test interne, le modèle de cooccurrence directe a nettement surpassé la base de fréquence pour toutes les facettes.
  • Types d'objets : Le Recall@5 est passé de 0,190 (fréquence) à 0,732 (cooccurrence).
  • Matériaux : Le Recall@5 est passé de 0,379 à 0,790.
  • Classifications : Le Recall@5 est passé de 0,450 à 0,986.
  • Sujets : Bien que l'ensemble de test pour les sujets soit restreint (228 cas), la base de fréquence a atteint un Recall@5 de 1,000, ce qui est égalé par le modèle de cooccurrence (également 1,000). Cependant, la cooccurrence a nettement surpassé la base de fréquence en termes de Recall@1 (0,934 contre 0,272) et de Recall@3 (1,000 contre 0,781), démontrant une précision supérieure dans le classement de l'étiquette correcte en tête de liste.
• Complexité du modèle : Le modèle hybride n'a pas systématiquement surpassé le modèle de cooccurrence directe plus simple. L'étude a révélé que la méthode la plus simple et transparente était souvent la plus performante, suggérant que la propagation de graphe complexe ou les priors hybrides ne sont pas nécessairement nécessaires lorsque les relations directes entre étiquettes sont fortes.
• Décalage de distribution : Le split de test externe (représentant différentes compositions de collections) montre que les bases de fréquence peuvent paraître trompeusement performantes dans des distributions à faible entropie, alors que la cooccurrence directe reste sensible aux changements relationnels. Cela souligne la nécessité d'une évaluation spécifique à chaque split plutôt que des scores agrégés.

Signification et revendications
L'article affirme que sa principale contribution est un flux de travail d'organisation de l'information reproductible qui traite l'enrichissement des métadonnées assisté par l'IA comme un problème de classement auditable.

• Auditabilité et gouvernance : L'étude soutient que l'IA à haute valeur ajoutée dans le patrimoine culturel doit être jugée par sa reproductibilité, son interprétabilité et la préservation de la provenance, et non par sa seule précision prédictive. En utilisant la cooccurrence observée, chaque recommandation peut être tracée jusqu'aux relations spécifiques des données d'entraînement, permettant aux catalogues professionnels d'inspecter, de valider ou de rejeter les suggestions.
• Conception avec l'humain dans la boucle (Human-in-the-Loop) : Le flux de travail positionne l'IA non pas comme un remplacement des catalogues, mais comme une couche d'aide à la décision. Elle fournit des candidats classés pour validation humaine, réduisant le coût de la revue tout en préservant le jugement professionnel.
• Mise en œuvre pratique : L'approche nécessite des ressources techniques modestes (pas de grands réseaux neuronaux, de traitement d'image ou d'API propriétaires), ce qui la rend accessible aux institutions plus petites. Elle soutient un parcours de mise en œuvre par étapes : profilage des métadonnées, normalisation du vocabulaire, construction du graphe, suggestion de candidats et enregistrement de la provenance.
• Limites : L'auteur reconnaît explicitement que la méthode hérite des biais du jeu de données (amplifiant les déséquilibres de catalogage existants) et n'évalue pas l'adéquation culturelle ou la nécessité d'ajouter de nouvelles étiquettes dans des scénarios réels. L'étude se concentre sur la récupération d'étiquettes existantes au sein d'un vocabulaire contrôlé, et non sur la génération de nouvelles interprétations culturelles.

En conclusion, l'article démontre qu'un classement transparent basé sur la cooccurrence peut efficacement soutenir l'enrichissement des métadonnées du patrimoine culturel numérique, offrant une alternative conservatrice mais évolutive aux modèles d'IA générative opaques.