Iconographic Classification and Content-Based Recommendation for Digitized Artworks

Ce papier présente un système de preuve de concept qui automatise la classification iconographique et la recommandation d'œuvres d'art numérisées en combinant la détection d'objets par intelligence artificielle (YOLOv8) avec le vocabulaire symbolique d'Iconclass pour accélérer le catalogage et améliorer la navigation dans les grands dépôts patrimoniaux.

L'essentiel

🎨 Le Projet CARIS : Un Détective et un Bibliothécaire pour l'Art

Imaginez que vous entrez dans une immense bibliothèque d'art numérique contenant des millions de tableaux. Le problème ? La plupart des livres (tableaux) n'ont pas de titre clair sur la couverture, et les bibliothécaires (les experts humains) sont trop peu nombreux pour tout lire et tout classer.

Les chercheurs Krzysztof Kutt et Maciej Baczyński ont créé un prototype appelé CARIS. C'est comme un assistant robotique qui a deux super-pouvoirs :

1. Il regarde un tableau et devine ce qu'il représente (classification).
2. Il vous propose d'autres tableaux qui racontent une histoire similaire (recommandation).

Voici comment cela fonctionne, étape par étape, avec des analogies simples.

---

1. Le Langage Secret : Iconclass 🗝️

Pour que l'ordinateur comprenne l'art, il ne peut pas utiliser des mots au hasard comme "chien" ou "triste". Il a besoin d'un langage secret et très précis appelé Iconclass.

• L'analogie : Imaginez un code-barres géant ou un système de classement de bibliothèque ultra-détaillé.
  • Le code 34B11 ne veut pas dire juste "chien".
  • Le code 94L53 raconte une histoire précise : "Hercule découvre la teinture de Tiryns : la truffe de son chien est tachée de pourpre après avoir mordu un mollusque".
• Le but : Passer d'une simple image à une histoire structurée.

---

2. L'Œil du Robot : YOLO (Le Détective) 👁️

La première étape du robot est d'ouvrir les yeux. Il utilise une technologie appelée YOLO (You Only Look Once), qui est comme un détective très rapide capable de repérer des objets dans une photo.

• Ce qu'il fait : Il scanne le tableau et crie : "Je vois un cheval ! Je vois un humain ! Je vois un chien !"
• Le problème : Parfois, le détective se trompe. Il peut confondre un chien avec un ours, ou ne pas voir un faucon perché sur une main.
• La solution du papier : Le système ne se contente pas de ce que voit le détective. Il essaie de deviner le reste. Si le détective voit un chien, un cheval et un humain, le système déduit : "Ah, c'est probablement une scène de chasse !" même si le détective n'a pas vu le chasseur.

---

3. Le Traducteur : Du Visuel au Code 🔄

Une fois que le robot a identifié les objets, il doit les traduire en codes Iconclass. C'est là que ça devient astucieux.

• L'analogie du Puzzle :
  • Si le robot voit un "chien", il cherche dans son dictionnaire tous les codes qui contiennent le mot "chien".
  • Mais attention ! Il y a des milliers de codes avec le mot "chien" (un chien dans la Bible, un chien de cirque, un chien de chasse...).
  • Le système utilise des règles logiques (comme un filtre) pour éliminer les mauvaises réponses. S'il ne voit que le chien tout seul, il choisit le code "Chien". S'il voit le chien + un humain + un cheval, il choisit le code "Chasse".

---

4. Le Conseiller de Lecture : La Recommandation 📚

Une fois le tableau "traduit" en codes, le système doit vous proposer d'autres tableaux que vous aimerez. Il utilise trois méthodes différentes, comme trois types de conseillers littéraires :

1. Le Cousin (Similarité Hiérarchique) :

   • L'idée : Si vous aimez les tableaux sur "Hercule", ce conseiller vous montrera des tableaux sur "Hercule" ou sur ses "attributs" (comme sa massue).
   • L'analogie : C'est comme dire : "Vous avez aimé ce livre de la série Harry Potter ? Voici un autre livre du même univers, même si ce n'est pas le même chapitre."

2. Le Collectionneur de Pépites (Poids IDF) :

   • L'idée : Ce conseiller cherche les codes rares. Si un tableau contient un code très spécifique (comme "Hercule mordant un mollusque"), c'est une "pépite".
   • L'analogie : Si vous cherchez un livre sur un sujet très pointu, ce conseiller ignore les best-sellers génériques pour vous trouver le livre unique et précis que vous cherchez.

3. Le Miroir (Similarité Jaccard) :

   • L'idée : Il compare la liste des codes de votre tableau avec celle des autres tableaux pour voir combien ils se ressemblent exactement.
   • L'analogie : C'est comme comparer deux listes de courses. Plus elles ont d'articles en commun, plus les tableaux sont similaires.

---

🏆 Ce que les chercheurs ont appris (Les Résultats)

• Le succès : Le système fonctionne ! Il peut classer des tableaux et trouver des liens cachés entre eux, même sans avoir lu l'histoire derrière.
• La limite principale : Tout dépend de la qualité de l'œil du détective (YOLO). Si le détective ne voit pas le faucon dans la scène de chasse, le système ne pourra pas vous proposer d'autres scènes de chasse avec des faucons.
• Le futur : Les chercheurs veulent améliorer l'œil du robot pour qu'il soit aussi bon qu'un expert humain, et ajouter une interface pour que n'importe qui puisse utiliser cet outil pour explorer le patrimoine culturel.

En résumé

Ce papier décrit un pont intelligent entre l'œil de l'ordinateur (qui voit des formes) et l'esprit de l'historien (qui comprend les symboles). Au lieu de simplement dire "c'est un chien", le système dit "c'est une scène de chasse mythologique", et vous aide à découvrir tout l'univers de l'art qui tourne autour de cette idée. C'est une étape de plus pour rendre les trésors de l'histoire accessibles à tout le monde, pas seulement aux experts.

Résumé technique

1. Problématique

Le domaine du patrimoine culturel (CH) fait face à un défi majeur : la numérisation massive des collections d'art a rendu les œuvres accessibles, mais a souvent entraîné une perte du contexte interprétatif fourni par les experts (conservateurs, historiens de l'art).

• Limites des métadonnées descriptives : Les métadonnées traditionnelles (date, lieu, auteur) suffisent pour une recherche basique mais échouent à capturer le sens symbolique et narratif des images (iconographie).
• Complexité de l'annotation manuelle : L'identification des motifs et de leur symbolisme est une tâche complexe, traditionnellement réservée aux experts, ce qui crée un goulot d'étranglement pour l'indexation à grande échelle.
• Défaut des approches purement visuelles : Les systèmes de recommandation actuels basés sur l'apprentissage profond (Deep Learning) se concentrent souvent sur des similarités visuelles ou des métadonnées libres, négligeant les vocabulaires contrôlés structurés comme Iconclass, qui sont essentiels pour capturer la sémantique thématique et symbolique.
• Manque de données d'entraînement : Les ensembles de données historiques sont souvent hétérogènes et manquants de labels cohérents, rendant l'entraînement de modèles génériques difficile.

2. Méthodologie : Le système CARIS

Les auteurs proposent CARIS (Classification And Recommendation for the Iconclass System), un système de preuve de concept qui automatise l'analyse iconographique et la recommandation via un pipeline en quatre étapes. Le système est conçu comme un package Python modulaire respectant les principes de conception logicielle (SRP, DRY).

Étape 1 : Détection d'objets (Computer Vision)

• Outil : Utilisation de YOLOv8 (You Only Look Once) pour détecter les objets visibles dans une œuvre numérisée.
• Prétraitement : Les doublons d'objets (ex: deux chevaux) sont supprimés, car le système Iconclass attribue un code unique par type d'objet, indépendamment du nombre d'occurrences.

Étape 2 : Mappage vers Iconclass

Les étiquettes détectées par YOLO sont traduites en codes Iconclass grâce à deux stratégies de mappage :

1. Appariement par mots-clés (Principal) : Utilisation de la méthode .keywords() de la bibliothèque Python Iconclass. Un algorithme en trois passes est employé pour gérer la granularité :
   • Correspondance exacte : Recherche d'une égalité parfaite entre l'ensemble des étiquettes YOLO et les mots-clés d'un code.
   • Sous-ensemble : Si aucune correspondance exacte n'est trouvée, l'algorithme accepte si les étiquettes YOLO sont un sous-ensemble des mots-clés du code (pour compenser les échecs de détection).
   • Recherche singleton : Recherche de codes pour chaque étiquette individuellement (risque d'explosion du nombre de codes, nécessitant un filtrage).
2. Recherche par description (Secondaire) : Comparaison avec les descriptions textuelles des codes (.texts()), jugée moins précise lors des tests initiaux.

Étape 3 : Inférence de codes abstraits

Pour capturer des concepts non directement détectables (ex: "Justice", "Chasse"), le système utilise un moteur de règles léger (basé sur JSON) :

• Logique de combinaison : Si plusieurs objets détectés apparaissent ensemble (ex: femme, balances, épée), le système infère un code abstrait (ex: "Justice").
• Filtrage : Des réducteurs déterministes (intersection de codes, heuristique du titre le plus court) et potentiellement des modèles génératifs (utilisés uniquement comme filtres, pas comme générateurs de codes pour éviter les hallucinations) sont utilisés pour éliminer les faux positifs et réduire l'explosion de codes.

Étape 4 : Recommandation basée sur le contenu

Le système propose des œuvres thématiquement liées en utilisant uniquement les codes Iconclass (sans historique utilisateur) via trois algorithmes complémentaires :

1. Similarité hiérarchique : Exploite la structure arborescente d'Iconclass. Les codes partageant un parent immédiat reçoivent un score élevé (0.5), un grand-parent un score plus faible (0.25).
2. Recouvrement pondéré par l'IDF (Inverse Document Frequency) : Accorde plus de poids aux codes rares (plus sémantiquement discriminants) qu'aux codes communs.
3. Coefficient de similarité de Jaccard : Mesure le rapport entre l'intersection et l'union des ensembles de codes, robuste face aux œuvres comportant un grand nombre de codes génériques.

3. Contributions Clés

• Premier système de recommandation basé sur Iconclass : À la connaissance des auteurs, c'est la première implémentation combinant explicitement le vocabulaire contrôlé Iconclass avec un moteur de recommandation.
• Intégration CV-Iconclass : Utilisation de YOLO pour proposer des éléments visibles, couplée à des structures symboliques pour déduire le sens, comblant le fossé entre la vision par ordinateur et l'interprétation humaine.
• Architecture modulaire et transparente : Le système utilise des règles explicites et des vocabulaires standardisés plutôt que des "boîtes noires" d'apprentissage profond, favorisant l'interprétabilité et l'interopérabilité.
• Gestion de la granularité : Développement d'algorithmes de mappage adaptatifs pour gérer la complexité et les lacunes des mots-clés d'Iconclass.

4. Résultats et Évaluation

L'évaluation a été menée sur des images du domaine public (Wikimedia Commons) pour la classification et sur l'ensemble de test "Iconclass AI Test Set" (≈87k images) pour la recommandation.

• Classification :
  • Le système fonctionne bien pour des scènes simples (ex: portrait d'un chien détecté correctement, aboutissant au code "34B11").
  • Limites : La précision dépend fortement de la détection d'objets. Dans une scène complexe (chasse au faucon), la non-détection du faucon et du chien a dégradé les résultats, bien que le système ait pu inférer partiellement la scène via les chevaux et humains.
  • Problème d'explosion de codes : Certains mots-clés génériques (ex: "humain") renvoient des milliers de codes. Les réducteurs et l'inférence de règles sont essentiels pour filtrer ces résultats.
• Recommandation :
  • Complémentarité des méthodes :
    • La similarité hiérarchique excelle pour retrouver des œuvres avec des codes proches mais non identiques (ex: recommandation d'une œuvre d'Hercule basée sur des attributs hiérarchiquement liés, même si le code exact d'un mythe spécifique n'est pas présent).
    • L'IDF est efficace pour les requêtes contenant des codes rares.
    • Le Jaccard évite les biais vers les œuvres trop génériques.
  • Les tests montrent que si la classification initiale est précise, la recommandation reflète fidèlement la narration de l'œuvre.

5. Signification et Perspectives

• Signification : Ce travail démontre que l'association de la vision par ordinateur et des vocabulaires contrôlés (Iconclass) peut accélérer le catalogage et améliorer la navigation dans les grands dépôts patrimoniaux. Il valide l'idée que l'IA peut assister les experts sans les remplacer, en fournissant des propositions interprétables.
• Limitations actuelles :
  • Sensibilité extrême à la qualité de la détection d'objets (YOLO).
  • Besoin de jeux de données d'entraînement annotés par des experts, alignés sur les mots-clés Iconclass, pour affiner les modèles de détection.
• Travaux futurs :
  • Création d'ensembles de données d'entraînement spécifiques au patrimoine.
  • Raffinement du moteur de règles pour l'inférence de concepts abstraits (via le minage de motifs fréquents).
  • Développement d'une interface utilisateur avec une couche d'explicabilité pour les conservateurs et le public.
  • Intégration de modèles multimodaux (métadonnées textuelles, embeddings visuels comme CLIP) pour enrichir les ensembles de codes.

En conclusion, CARIS représente une avancée significative vers des systèmes d'IA durables pour le patrimoine culturel, en privilégiant la sémantique structurée et la transparence des règles par rapport aux approches purement statistiques.