Enhancing Authorship Attribution with Synthetic Paintings

Cette étude démontre que l'intégration d'images synthétiques générées par DreamBooth et Stable Diffusion améliore la précision et la généralisation des modèles d'attribution d'auteur de tableaux, en surmontant le défi du manque de données réelles.

L'essentiel

Imaginez que vous êtes un détective de l'art, mais au lieu d'inspecter des tableaux avec une loupe, vous utilisez un ordinateur pour deviner qui a peint une œuvre. C'est ce qu'on appelle l'attribution d'auteur.

Le problème ? Souvent, il n'y a que très peu de tableaux originaux disponibles pour entraîner l'ordinateur. C'est comme essayer d'apprendre à un chien à reconnaître tous les types de chats du monde en ne lui montrant que trois photos. L'ordinateur risque de se tromper.

Voici comment les auteurs de cette étude ont résolu ce casse-tête, expliqué simplement :

1. Le Problème : Trop peu de preuves

Les chercheurs ont étudié sept peintres britanniques du 18ème et 19ème siècle. Le souci ? Ils vivaient à la même époque, dans la même région, et peignaient des sujets très similaires (des paysages, des portraits). Leurs styles se ressemblaient beaucoup, comme sept jumeaux portant des vêtements presque identiques. De plus, il y avait très peu de tableaux de chacun d'eux pour entraîner l'ordinateur.

2. La Solution Magique : Le "Jumeau Numérique"

Au lieu de chercher désespérément plus de vrais tableaux (ce qui est impossible), les chercheurs ont utilisé une technologie appelée Intelligence Artificielle Générative (spécifiquement un modèle appelé Stable Diffusion avec une technique nommée DreamBooth).

L'analogie du chef cuisinier :
Imaginez que vous voulez apprendre à un élève à cuisiner les plats du célèbre Chef Gainsborough. Vous n'avez que 7 de ses recettes.

• Méthode ancienne : Vous essayez de faire apprendre l'élève avec ces 7 recettes. Il risque de ne pas comprendre la logique globale.
• Méthode de cette étude : Vous donnez les 7 recettes à un robot super-cuisinier. Le robot les analyse, comprend le style, les épices et la technique du Chef, puis inventé 100 nouvelles recettes qui ressemblent exactement au style du Chef, mais qui n'ont jamais existé auparavant.

C'est ce que les chercheurs ont fait : ils ont créé des tableaux synthétiques (des faux tableaux, mais très réalistes) qui imitent parfaitement le style de chaque peintre.

3. L'Expérience : Mélanger le Vrai et le Faux

Les chercheurs ont testé plusieurs scénarios pour voir ce qui fonctionnait le mieux :

• Juste le vrai : Entraîner l'ordinateur uniquement avec les rares tableaux originaux.
• Juste le faux : Entraîner uniquement avec les tableaux générés par l'IA.
• Le mélange (Hybride) : Donner à l'ordinateur un mélange de vrais tableaux et de tableaux générés par l'IA.

4. Les Résultats : Le mélange est la clé !

Voici ce qu'ils ont découvert, avec une petite métaphore :

• Le "Juste le vrai" : C'était moyen. L'ordinateur avait trop peu d'exemples pour bien comprendre les nuances.
• Le "Juste le faux" : Étonnamment, l'IA était excellente pour reconnaître les tableaux qu'elle avait elle-même créés (comme un enfant qui reconnaît ses propres dessins), mais elle échouait complètement quand on lui montrait un vrai tableau. Il y avait un "fossé" entre le faux et le vrai.
• Le "Mélange" (La grande victoire) : C'est ici que la magie opère. En ajoutant les tableaux générés par l'IA aux vrais tableaux, l'ordinateur a appris beaucoup mieux.
  • Pour les peintres avec très peu de tableaux (comme Gainsborough Dupont), l'amélioration a été spectaculaire. C'est comme si on avait donné à l'élève 100 nouveaux exemples pour comprendre la logique du style.
  • Plus l'ordinateur voyait de "morceaux" de tableaux (une technique appelée échantillonnage dense), mieux il apprenait.

5. La Conclusion Simple

Cette étude nous dit que l'IA générative peut être un super-allié pour l'authentification des œuvres d'art, surtout quand on manque de données.

Cependant, il y a une petite mise en garde : l'IA générative ne peut pas tout faire. Si le style du peintre est très complexe ou si l'IA ne l'a pas bien compris, les faux tableaux peuvent introduire des erreurs. Mais dans l'ensemble, c'est comme si on avait donné à nos détectives numériques une bibliothèque infinie de "fausses preuves" qui ressemblent à la réalité, leur permettant de devenir beaucoup plus intelligents et précis.

En résumé : Quand on a peu de vrais tableaux, on peut utiliser l'IA pour en "fabriquer" de nouveaux qui ressemblent aux originaux. En mélangeant le vrai et le fabriqué, on obtient un détective numérique beaucoup plus fort pour identifier les vrais artistes.

Résumé technique

Titre : Amélioration de l'attribution d'auteur par des peintures synthétiques

1. Problématique

L'attribution d'auteur aux peintures est une tâche complexe, historiquement dépendante de l'expertise humaine et de techniques physiques (radiographie, échantillonnage). L'approche computationnelle moderne, basée sur l'apprentissage profond (CNN, Transformers), se heurte à une limitation majeure : la rareté des données.

• Manque de données : Les ensembles de données d'œuvres d'art numérisées de haute qualité sont souvent petits et déséquilibrés.
• Similarité stylistique : Le cas d'étude porte sur sept artistes britanniques (Gainsborough Dupont, George Romney, Thomas Gainsborough, etc.) actifs à la fin du XVIIIe et au début du XIXe siècle. Leurs styles sont très proches (mêmes sujets, matériaux et mouvements artistiques), rendant la distinction difficile même pour les experts.
• Objectif : Déterminer si l'utilisation d'images synthétiques générées par IA peut améliorer la performance des modèles de classification dans des scénarios à faible quantité de données (few-shot learning).

2. Méthodologie

L'approche proposée est hybride, combinant la génération d'images et la classification discriminative en trois étapes principales :

A. Génération de Données Synthétiques (Modèle Génératif)

• Modèle : Utilisation de Stable Diffusion affiné via la technique DreamBooth.
• Processus : Pour chaque artiste, un modèle est affiné avec un identifiant unique (token) et un ensemble restreint de crops d'images réelles (200 crops par artiste, redimensionnés à 512x512).
• Prompting : Génération de 100 nouvelles images par artiste en utilisant le prompt « A full [TOKEN] painting » et des prompts négatifs pour éviter les figures partielles ou recadrées.
• Résultat : Création d'un jeu de données synthétique qui capture le style visuel (couleurs, textures, composition) sans mémoriser les œuvres originales.

B. Extraction de Caractéristiques (Embeddings)

• Les images (réelles et synthétiques) sont découpées en patches de 224x224.
• Trois architectures d'état de l'art sont utilisées pour extraire des embeddings visuels :
  1. MaxViT (combinaison de CNN et Transformers).
  2. BEiT v2 (apprentissage auto-supervisé par masquage d'images).
  3. VOLO (Vision Outlooker avec attention spatiale).
• Les embeddings de ces trois modèles sont concaténés pour former une représentation riche et discriminative.

C. Classification Discriminative

• Un classifieur LightGBM (Gradient Boosting) est entraîné sur les embeddings concaténés pour effectuer une vérification binaire d'auteur (l'artiste cible vs les autres).
• Stratégies d'échantillonnage : Deux stratégies de découpage (patchs) sont testées :
  • M1 : Échantillonnage de base avec chevauchement modéré.
  • M2 : Échantillonnage dense (double densité) pour capturer des indices stylistiques plus fins.

D. Configurations Expérimentales
Quatre scénarios ont été comparés :

1. Real-Only : Entraînement et test uniquement sur des données réelles (Baseline).
2. Synthetic-Only : Entraînement et test uniquement sur des données synthétiques.
3. Synthetic-to-Real : Entraînement sur synthétique, test sur réel (mesure du décalage de domaine).
4. Hybrid (Real + Synthetic) : Entraînement combiné sur les deux types de données (avec variantes M1 et M2).

3. Résultats Clés

Les performances ont été évaluées via l'aire sous la courbe ROC (ROC-AUC), la précision, le rappel et l'exactitude (Accuracy).

• Performance Globale : L'approche Hybride (données réelles + synthétiques) a systématiquement surpassé la configuration "Real-Only", en particulier avec l'échantillonnage dense M2.
• Impact sur les petits jeux de données : L'amélioration est la plus significative pour les artistes disposant de très peu d'œuvres réelles.
  • Exemple : Pour Gainsborough Dupont (7 œuvres), le ROC-AUC est passé de 0,8746 (Real-Only) à 0,9756 (Hybrid-M2).
  • Pour John Hoppner (9 œuvres), le ROC-AUC est passé de 0,5976 à 0,6627.
• Limites du décalage de domaine : Le scénario "Synthetic-to-Real" (entraînement uniquement sur synthétique) a montré les pires résultats pour certains artistes (ex: Thomas Barker), révélant un écart de domaine important qui empêche la généralisation purement synthétique.
• Rendements décroissants : Pour les artistes avec un grand nombre d'œuvres réelles (ex: Thomas Gainsborough avec 23 œuvres), l'ajout de données synthétiques apporte des gains marginaux, voire nuls, suggérant que la qualité des données réelles prime lorsque le volume est suffisant.
• Qualité de la génération : Bien que les images synthétiques capturent le style global, elles reproduisent parfois les biais de recadrage présents dans les données d'entraînement réelles, ce qui limite leur efficacité pour certains styles très spécifiques.

4. Contributions Principales

1. Validation de l'approche hybride : Démonstration que l'ajout de données synthétiques générées par diffusion (DreamBooth) améliore la robustesse et la généralisation des classificateurs d'attribution d'auteur dans des contextes de données limitées.
2. Analyse comparative des stratégies d'échantillonnage : Mise en évidence de l'efficacité de l'échantillonnage dense (M2) pour extraire des indices stylistiques subtils, bien que cela augmente la redondance.
3. Étude de cas sur des styles similaires : Fourniture d'un benchmark rigoureux sur un groupe d'artistes historiquement difficiles à distinguer, prouvant l'utilité de l'IA générative pour l'authentification d'œuvres d'art.
4. Architecture modulaire : Combinaison efficace de modèles de vision par ordinateur avancés (MaxViT, BEiT v2, VOLO) avec un classifieur léger (LightGBM) pour traiter des embeddings de haute dimension.

5. Signification et Perspectives

Ce travail démontre que les données synthétiques ne remplacent pas les données réelles, mais agissent comme un amplificateur efficace (few-shot amplifier) lorsque les données authentiques sont rares.

• Pour la communauté : Cela ouvre la voie à l'utilisation de modèles génératifs pour l'authentification d'œuvres d'art, réduisant la dépendance aux grands ensembles de données annotées.
• Limites et Futur : Les auteurs soulignent la nécessité de développer des techniques d'adaptation de domaine pour réduire l'écart entre les images synthétiques et réelles. De futures recherches devraient explorer des stratégies d'échantillonnage adaptatif (ajuster le nombre d'images synthétiques en fonction de la taille du jeu de données réel) et l'amélioration de la fidélité des générations pour capturer des détails stylistiques plus fins.

En résumé, cette étude valide l'intégration de l'IA générative dans les pipelines de vision par ordinateur pour l'histoire de l'art, offrant une solution prometteuse aux problèmes de pénurie de données dans l'authentification des œuvres.