Patch-Based Spatial Authorship Attribution in Human-Robot Collaborative Paintings

Cet article présente un cadre d'attribution d'auteur basé sur des patches pour les peintures collaboratives humain-robot, démontrant une précision élevée et une capacité à quantifier l'ambiguïté stylistique via l'entropie conditionnelle, offrant ainsi une méthode efficace pour l'analyse forensique dans des flux de travail créatifs à données limitées.

L'essentiel

🎨 Le Problème : Qui a fait ce trait de pinceau ?

Imaginez que vous regardez un magnifique tableau abstrait. Il est magnifique, mais il y a un mystère : qui l'a peint ?
Dans le passé, c'était simple : soit c'était l'artiste humain, soit c'était un faux. Mais aujourd'hui, les robots et les intelligences artificielles commencent à peindre avec nous. Parfois, l'humain pose une touche, puis le robot en pose une autre juste à côté, et ainsi de suite.

Le résultat est un mélange. Pour un œil humain, il est très difficile de dire : "Ici, c'est la main de l'homme, et là, c'est le bras du robot." C'est comme essayer de distinguer le son d'un violon d'un violoncelle dans un orchestre où ils jouent exactement la même note au même moment.

🔍 La Solution : Le "Loup-Garou" des Pinceaux

Les chercheurs Eric Chen et Patricia Alves-Oliveira ont créé un détective numérique pour résoudre ce mystère. Leur idée ? Ne pas regarder le tableau entier d'un coup, mais le découper en milliers de petits morceaux (comme des pièces de puzzle), qu'ils appellent des "patches".

Imaginez que vous prenez une loupe et que vous regardez chaque centimètre carré du tableau séparément.

• Le but : Dire pour chaque petit carré : "C'est l'humain", "C'est le robot" ou "C'est juste la toile blanche".

🤖 Comment ça marche ? (L'entraînement du détective)

Pour entraîner leur détective (une intelligence artificielle), ils ont utilisé une méthode très intelligente, surtout parce qu'ils n'avaient pas beaucoup de tableaux (seulement 15 au total).

1. Le jeu du "Un contre Tous" : Ils ont pris 14 tableaux pour apprendre à l'IA, et ils ont caché un tableau pour le tester. Ensuite, ils ont changé le tableau caché, et ainsi de suite. C'est comme si un étudiant apprenait sur 14 examens pour réussir le 15ème, sans jamais avoir vu celui-ci avant.
2. Ce que l'IA apprend : L'IA ne regarde pas les couleurs. Elle regarde la texture et le mouvement.
   • L'humain a des mouvements de main un peu tremblants, des pressions variables, des erreurs humaines.
   • Le robot a des mouvements mathématiques, très précis, avec des répétitions mécaniques.
   • L'IA apprend à reconnaître ces "empreintes digitales" invisibles dans la peinture.

🏆 Les Résultats : Le détective est excellent !

Le résultat est bluffant. Sur les petits morceaux de tableau, l'IA devine la bonne origine (humain ou robot) 88,8 % du temps. C'est bien mieux que les anciennes méthodes qui se contentaient de regarder la texture globale (comme comparer la peau d'une orange à celle d'une pomme) ou qui utilisaient des modèles génériques d'IA.

C'est comme si l'IA avait appris à distinguer l'écriture manuscrite d'un enfant de celle d'un robot, même si les deux écrivaient le même mot.

🤝 Le Cas Spécial : Les Tableaux "Hybrides"

C'est là que ça devient vraiment fascinant. Que se passe-t-il quand l'humain et le robot peignent en même temps sur le même tableau ?
Dans ces zones, on ne peut pas dire "c'est l'humain" ou "c'est le robot". C'est un mélange.

L'IA a une astuce géniale pour gérer ça : elle avoue son incertitude.

• Quand l'IA regarde un morceau peint uniquement par l'humain, elle est très sûre d'elle (faible incertitude).
• Quand elle regarde un morceau peint uniquement par le robot, elle est aussi très sûre d'elle.
• Mais quand elle regarde un morceau où les deux ont mélangé leurs coups de pinceau, elle devient "confuse". Son niveau d'incertitude (qu'ils appellent entropie) grimpe en flèche.

L'analogie : Imaginez que vous écoutez deux personnes parler en même temps. Si l'une parle français et l'autre japonais, vous savez qui parle. Mais si elles parlent toutes les deux un mélange bizarre des deux langues, votre cerveau dit : "Attends, je ne suis pas sûr de qui dit quoi !".
L'IA a détecté cette confusion. Les zones "mélange" avaient 64 % de plus d'incertitude que les zones pures. Cela prouve que l'IA ne fait pas une erreur, mais qu'elle a bien compris qu'il y a une collaboration !

💡 Pourquoi c'est important ?

1. Pas besoin d'équipement de laboratoire : Ils ont utilisé un simple scanner de bureau (comme ceux qu'on trouve dans les bureaux), pas de rayons X ou de microscopes coûteux.
2. Peu de données : Habituellement, l'IA a besoin de milliers d'images pour apprendre. Ici, ils ont appris avec seulement 15 tableaux. C'est comme apprendre à reconnaître le style d'un ami avec seulement 3 photos de lui, au lieu d'un album entier.
3. L'avenir de l'art : À l'ère où les robots peignent avec nous, il faut pouvoir dire : "Cette partie est de l'humain, cette partie est du robot". C'est crucial pour l'histoire de l'art, pour les musées et pour savoir qui est l'auteur d'une œuvre.

En résumé

Cette recherche nous donne une loupe numérique capable de dire, pixel par pixel, si un trait de pinceau vient d'un humain ou d'un robot. Et quand les deux travaillent ensemble, l'IA nous montre exactement où le mélange se produit en disant : "Ici, c'est un peu flou, c'est une vraie collaboration !".

C'est une façon élégante de célébrer l'art humain et robotique, tout en gardant une trace claire de qui a fait quoi.

Résumé technique

1. Problématique et Contexte

L'essor de l'IA agentique et des systèmes robotiques dans la création artistique soulève des questions critiques concernant l'attribution de la paternité (authorship). Alors que la doctrine du droit d'auteur met l'accent sur l'auteur humain, les systèmes robotiques peuvent désormais produire des peintures physiques avec des coups de pinceau visuellement similaires à ceux des humains.

Le défi principal réside dans l'analyse des œuvres collaboratives, où un humain et un robot contribuent sur la même toile. Dans ce contexte, l'objectif ne peut plus être de déterminer "qui a fait cette œuvre ?", mais plutôt "où et comment les contributions diffèrent-elles spatialement ?".

Les approches computationnelles existantes présentent des limites majeures pour ce cas d'usage :

• Besoin de données massives : Les modèles à grande échelle nécessitent des milliers d'œuvres par artiste, ce qui est rare pour les créateurs contemporains ou les systèmes robotiques.
• Hypothèse d'auteur unique : La plupart des méthodes supposent une paternité homogène sur toute l'œuvre, ce qui est inapplicable aux collaborations.
• Équipement spécialisé : Les méthodes d'imagerie scientifique (topographie de surface, rayons X) sont précises mais peu accessibles.

L'objectif de cet article est de proposer une méthode capable d'attribuer la paternité au niveau local (patch) dans des scénarios de pénurie de données (data-scarce), en utilisant uniquement des scanners plats grand public.

2. Méthodologie

L'équipe propose un cadre d'analyse basé sur des patches (fragments d'image) utilisant un réseau de neurones convolutifs (CNN) léger.

A. Construction du Jeu de Données

• Échantillon : 15 peintures physiques (7 réalisées par un artiste humain, 8 par un système robotique, 5 hybrides collaboratives).
• Matériel : Toutes les œuvres utilisent les mêmes matériaux (toile, acrylique, pinceaux) et sont numérisées à 1200 DPI avec des scanners plats standards.
• Extraction : Chaque peinture est divisée en patches de 300x300 pixels avec un chevauchement de 50% (stride de 150), générant environ 137 000 patches.
• Étiquetage : Les patches sont classés en trois catégories : Vide (toile blanche), Humain, ou Robot.
• Validation : Utilisation de la validation croisée "Leave-One-Painting-Out" (LOPO). Une peinture entière est tenue à l'écart pour le test, tandis que le modèle est entraîné sur les patches des autres peintures. Cela garantit que le modèle ne mémorise pas les artefacts spécifiques d'une œuvre mais apprend des styles généraux.

B. Architecture du Modèle

• Structure : Un CNN de style VGG adapté du cadre PigeoNET.
• Spécificités : 5 blocs de convolution (filtres 32 à 512), normalisation par lot, activation ReLU, et pooling.
• Sortie : Trois couches fully connected produisant des logits pour les classes Vide, Humain et Robot.
• Choix architectural : Utilisation d'une architecture compacte plutôt que d'un modèle pré-entraîné massif (comme ResNet ou DINOv2) pour éviter le surapprentissage (overfitting) dû au petit nombre d'œuvres d'entraînement et pour capturer des indices de coups de pinceau fins spécifiques à la tâche.

C. Gestion des Déséquilibres et Hybridation

• Perte pondérée : Une fonction de perte d'entropie croisée pondérée est utilisée pour gérer le déséquilibre des classes (plus de patches humains que robotiques).
• Analyse des œuvres hybrides : Pour les peintures collaboratives où la vérité terrain (ground truth) est ambiguë, les auteurs n'utilisent pas la précision classique. Ils utilisent l'entropie de Shannon conditionnelle (predictive entropy) comme mesure d'incertitude.
  • L'hypothèse est que les zones où les styles humain et robot se mélangent généreront une incertitude plus élevée (entropie plus forte) que les zones pures.

3. Résultats Clés

A. Performance de Classification (Peintures Pures)

Le modèle a été évalué sur les 15 peintures (7 humaines, 8 robotiques) via LOPO :

• Précision au niveau du patch : 88,8 % (moyenne sur 15 plis).
• Précision au niveau de l'œuvre (vote majoritaire) : 86,7 %.
• Comparaison avec les baselines :
  • LBP + Random Forest : 65,9 % (faible robustesse).
  • ResNet-50 (frozen) + SVM : 81,9 %.
  • DINOv2 (frozen) + SVM : 84,7 %.
  • Propre approche (CNN entraîné de zéro) : 88,8 %.
  • Conclusion : L'apprentissage direct sur les patches de peinture capture des caractéristiques de coups de pinceau que les modèles pré-entraînés sur des images naturelles (ImageNet) ne détectent pas aussi bien, le tout avec une architecture beaucoup plus légère.

B. Analyse des Peintures Hybrides (Collaboratives)

L'analyse de l'incertitude du modèle sur les 5 peintures collaboratives a révélé :

• Augmentation de l'entropie : Les patches des zones hybrides annotées manuellement présentent une entropie médiane de 0,18, contre 0,11-0,13 pour les peintures pures.
• Significativité statistique : Cette différence correspond à une augmentation de 64 % de l'incertitude (p = 0,003).
• Interprétation : L'élévation de l'entropie ne signale pas un échec de classification, mais la détection effective de caractéristiques stylistiques mixtes (ambiguïté entre les deux agents). Environ 33 % des patches hybrides dépassent un seuil d'entropie de 0,5 (contre 17 % pour les pures).

4. Contributions Principales

1. Cadre d'attribution spatiale : Première méthode capable de localiser et d'attribuer la paternité (Humain vs Robot) au niveau de patches individuels dans des œuvres collaboratives, dépassant l'hypothèse d'auteur unique.
2. Efficacité en données limitées : Démonstration qu'une attribution fiable est possible avec un seul couple humain-robot et un nombre restreint d'œuvres (15), sans nécessiter de catalogues massifs.
3. Accessibilité matérielle : La méthode fonctionne avec des scanners plats commerciaux, rendant l'analyse forensique accessible sans équipement scientifique coûteux.
4. Métrique d'incertitude pour l'hybridité : Introduction de l'entropie conditionnelle comme signal principiel pour identifier les zones de collaboration, là où la vérité terrain est intrinsèquement floue.

5. Signification et Perspectives

Cet article fournit une base méthodologique pour l'authentification forensique dans les flux de travail créatifs Humain-IA/Robot. Il démontre que même avec des données limitées, les différences stylistiques systématiques (liées aux contraintes mécaniques du robot vs la motricité humaine) sont apprenables.

Limites et Futur :

• Le modèle actuel est spécifique à un seul couple humain-robot.
• Les travaux futurs viseront à généraliser le cadre à plusieurs artistes et robots, à étudier le transfert entre différents systèmes, et à intégrer des informations temporelles (ordre des coups de pinceau, trajectoires robotiques).

Impact Sociétal :
L'outil est conçu pour soutenir le jugement humain et l'expertise, et non pour remplacer l'analyse d'experts. Il ouvre la voie à une documentation plus rigoureuse de la paternité dans l'art collaboratif émergent, bien que des précautions soient nécessaires concernant les risques de surconfiance automatisée ou d'usage abusif dans des litiges juridiques.