Do Transformers Understand Ancient Roman Coin Motifs Better than CNNs?

Résumé technique : Les Transformers comprennent-ils mieux les motifs de monnaies romaines antiques que les CNN ?

Énoncé du problème
L'analyse automatisée de la numismatique antique présente des défis uniques, distincts des tâches de vision par ordinateur conventionnelles. Alors que les recherches existantes se sont largement concentrées sur l'appariement image-à-image pour l'identification des pièces, le volume considérable d'émissions de monnaies anciennes (par exemple, plus de 43 000 émissions impériales romaines) rend l'appariement exhaustif impraticable. Par conséquent, l'orientation de la recherche s'est déplacée vers l'identification d'éléments sémantiques (par exemple, des motifs spécifiques comme des aigles, des boucliers ou des figures) représentés sur les pièces. Cependant, cette tâche est compliquée par une forte variabilité intra-classe due aux différences de coins, à l'usure et à la dégradation, ainsi que par un manque d'images de haute qualité pour de nombreuses émissions. Les tentatives précédentes utilisant des réseaux de neurones convolutifs (CNN) ont montré des résultats prometteurs, mais font face à des limites pour capturer les dépendances à longue portée nuancées au sein des éléments visuels stylisés des monnaies anciennes. Cet article examine si l'architecture Vision Transformer (ViT), qui a surpassé les CNN dans de nombreuses tâches visuelles, offre une performance supérieure pour la reconnaissance de ces éléments sémantiques par rapport aux nouveaux modèles CNN entraînés.

Méthodologie
L'étude a employé un ensemble de données multimodal comprenant 100 000 images et des descriptions textuelles non structurées de monnaies anciennes provenant d'un agrégateur d'enchères en ligne. La méthodologie s'est déroulée en trois étapes principales :

1. Prétraitement et étiquetage des données :

   • Extraction d'images : Un algorithme automatisé a isolé le revers des monnaies individuelles à partir d'images contenant souvent plusieurs pièces ou les deux faces. L'algorithme a identifié des boîtes englobantes basées sur la cohérence de la couleur de l'arrière-plan et la détection d'objets au premier plan, rejetant les lots groupés ou les pièces qui se chevauchent.
   • Supervision faible : Les étiquettes ont été générées via l'extraction de données textuelles des descriptions de monnaies. Des mots de recherche (en anglais, français, espagnol, allemand et latin) et leurs dérivés ont été utilisés pour assigner des étiquettes binaires de présence/absence pour des éléments sémantiques spécifiques. Cela a entraîné une « supervision faible », où les étiquettes s'appliquent à l'image entière plutôt qu'à des emplacements de pixels spécifiques, introduisant un bruit potentiel (par exemple, des descriptions faisant référence à l'avers appliquées au revers de la pièce).
   • Extraction de concepts : Un module d'extraction de concepts textuels a identifié des concepts supplémentaires (« assis », « debout », « Hercule ») au-delà des cinq précédemment étudiés par Cooper et Arandjelović.

2. Architecture du modèle et entraînement :

   • Vision Transformer (ViT) : Un modèle ViT de type « large », pré-entraîné sur ImageNet-21K, a été affiné. Les images d'entrée ont été divisées en patchs de 16x16. Le modèle a utilisé une architecture multi-étiquette unique entraînée simultanément sur tous les éléments sémantiques. Pour traiter le déséquilibre des classes, les échantillons positifs ont été pondérés plus lourdement dans la fonction de perte. La tête de classification finale a été remplacée et entraînée à l'aide de la descente de gradient stochastique (SGD) avec moment.
   • Réseau de neurones convolutifs (CNN) : Une architecture CNN basée sur la topologie proposée par Cooper et Arandjelović a été entraînée à partir de zéro. Contra-irement au ViT, des modèles distincts à étiquette unique ont été entraînés pour chaque élément sémantique. Pour gérer le déséquilibre des classes, les échantillons négatifs ont été sous-échantillonnés (et suréchantillonnés pour la classe « Hercule »). L'optimiseur utilisé était le SGD avec moment, car l'optimiseur Adam, utilisé précédemment dans des travaux similaires, entraînait des problèmes de « dying ReLU » pour ce jeu de données et cette topologie spécifique.

3. Évaluation :

   • Les modèles ont été évalués sur des ensembles de test réservés en utilisant l'exactitude (accuracy), la précision, le rappel (recall) et le score F1.
   • Explicabilité : Des cartes de saillance générées via l'outil de boîte noire HiPe ont été utilisées pour visualiser les régions d'images qui influençaient les prédictions des modèles, fournissant des informations qualitatives sur le comportement des modèles.

Principales contributions

• Première application de ViT à la numismatique : Cet article représente la première application de l'architecture Vision Transformer à l'identification d'éléments sémantiques sur les monnaies anciennes.
• Analyse comparative : Il fournit une comparaison directe de performance entre les architectures ViT et CNN sur un ensemble de données standardisé et à grande échelle d'imagerie et de descriptions de monnaies anciennes.
• Raffinement méthodologique : L'étude détaille un pipeline de prétraitement robuste pour extraire les revers de monnaies uniques à partir d'images d'enchères complexes et démontre la nécessité de stratégies d'optimisation spécifiques (SGD vs Adam) pour les CNN dans ce domaine afin d'éviter les échecs de convergence.
• Aperçu qualitatif : À travers la cartographie de saillance, l'article propose une analyse comparative de la manière dont les modèles ViT et CNN prêtent attention aux caractéristiques visuelles, révélant des différences distinctes dans leurs représentations internes.

Résultats

• Performance : Les modèles ViT ont généralement surpassé les nouveaux modèles CNN sur la plupart des éléments sémantiques en termes d'exactitude, de précision et de rappel. Le ViT a atteint des précisions de test allant d'environ 77 % à 83 %, tandis que les modèles CNN oscillaient entre environ 67 % et 82 %. L'écart de performance le plus significatif a été observé dans la classification « Hercule », où le ViT a largement surpassé le CNN.
• Efficacité de l'entraînement : Les modèles CNN ont été entraînés nettement plus rapidement (quelques minutes) que les modèles ViT (plusieurs heures), principalement en raison du nombre de paramètres plus faible des CNN (37M contre 304M pour le ViT) et de l'approche d'entraînement à étiquette unique.
• Saillance et interprétabilité :
  • CNN : Tend à se concentrer sur des régions spécifiques et invariantes (par exemple, en haut à droite pour les cornes d'abondance, en bas à droite pour les aigles). Bien que parfois intuitives, ces focalisations rigides mènent souvent à des erreurs lorsque les motifs apparaissent dans des positions ou des orientations différentes.
  • ViTs : Présentent des régions de saillance très variables et diffuses, se concentrant souvent sur le contexte ou des caractéristiques corrélées plutôt que sur le motif lui-même (par exemple, se concentrant sur le dossier d'une chaise lorsqu'un aigle est tenu par une figure). Cela suggère que les ViT apprennent un ensemble de indices visuels plus larges et plus généralisés, mais sont plus difficiles à interpréter intuitivement.
• Bruit des données : L'étude a souligné que le bruit des étiquettes, causé par des descriptions faisant référence aux deux faces de la pièce, a considérablement impacté la performance, particulièrement pour des concepts comme « debout » et « assis ».

Signification et affirmations
L'article affirme que l'architecture Vision Transformer est très prometteuse pour l'analyse automatisée de la numismatique ancienne, démontrant une précision supérieure au baseline CNN dans ce domaine spécifique. Les auteurs postulent que la capacité des ViT à modéliser des dépendances à longue portée sans biais inductif fort envers les caractéristiques locales leur permet de mieux gérer la nature stylisée et variable des motifs de monnaies anciennes.

Cependant, les auteurs restent modestes dans leurs conclusions. Ils notent que la différence de performance entre le ViT et les CNN proposés par Cooper et Arandjelović (dans des travaux antérieurs) n'est pas définitive, car les CNN de cette étude ont été entraînés avec des hyperparamètres différents (spécifiquement l'optimiseur) et n'ont pas égalé les benchmarks CNN précédents. Par conséquent, l'article suggère que bien que les ViT montrent un grand potentiel, un ajustement supplémentaire des hyperparamètres et l'exploration d'autres variantes de Transformers sont nécessaires pour établir définitivement leur supériorité. L'étude souligne également que la qualité de l'analyse automatisée est fondamentalement limitée par le bruit inhérent aux ensembles de données à supervision faible dérivés des descriptions d'enchères.