Do Transformers Understand Ancient Roman Coin Motifs Better than CNNs?

Technische Samenvatting: Begrijpen Transformers de motieven van antieke Romeinse munten beter dan CNN's?

Probleemstelling
De geautomatiseerde analyse van de antieke numismatiek brengt unieke uitdagingen met zich mee die verschillen van mainstream computer vision-taken. Terwijl bestaand onderzoek zich grotendeels heeft gericht op beeld-naar-beeld matching voor de identificatie van munten, maakt het enorme volume aan antieke muntemissies (bijv. meer dan 43.000 Romeinse keizerlijke emissies) exhaustieve matching onpraktisch. Bijgevolg is de focus van het onderzoek verschoven naar het identificeren van semantische elementen (bijv. specifieke motieven zoals adelaars, schilden of figuren) die op munten zijn afgebeeld. Deze taak wordt echter bemoeilijkt door een hoge intra-klasse variabiliteit door verschil in stempels, slijtage en degradatie, evenals een gebrek aan hoogwaardige afbeeldingen voor veel emissies. Eerdere pogingen met Convolutionele Neurale Netwerken (CNN's) hebben veelbelovende resultaten laten zien, maar lopen tegen beperkingen aan wat betre af betreft het vastleggen van genuanceerde, langetermijn-afhankelijkheden binnen de gestileerde visuele elementen van antieke munten. Dit artikel onderzoekt of de Vision Transformer (ViT) architectuur, die de prestaties van CNN's in veel visuele taken heeft overtroffen, een superieur rendement biedt bij het herkennen van deze semantische elementen vergeleken met recent getrainde CNN-modellen.

Methodologie
De studie maakte gebruik van een multimodale dataset bestaande uit 100.000 afbeeldingen en ongestructureerde tekstbeschrijvingen van antieke munten, afkomstig van een online veilingaggregator. De methodologie verliep via drie primaire fasen:

1. Data Preprocessing en Labeling:

   • Afbeeldingsextractie: Een geautomatiseerd algoritme isoleerde de achterzijde van individuele munten uit afbeeldingen die vaak meerdere munten of beide zijden bevatten. Het algoritme identificeerde bounding boxes op basis van achtergrondkleurconsistentie en voorgrondobjectdetectie, waarbij batches of overlappende munten werden afgewezen.
   • Zwakke Supervisie (Weak Supervision): Labels werden gegenereerd via tekstextractie uit muntbeschrijvingen. Zoekwoorden (in het Engels, Frans, Spaans, Duits en Latijn) en hun afgeleiden werden gebruikt om binaire aanwezigheids-/afwezigheidslabels toe te wijzen aan specifieke semantische elementen. Dit resulteerde in "zwakke supervisie", waarbij labels op de hele afbeelding werden toegepast in plaats van op specifieke pixellocaties, wat zorgde voor potentiële ruis (bijv. beschrijvingen die naar de voorzijde verwijzen maar op de achterzijde-afbeelding worden toegepast).
   • Concept Mining: Een tekstmining-module identificeerde aanvullende concepten ('zittend', 'staand', 'Hercules') buiten de vijf die eerder door Cooper en Arandjelović werden bestudeerd.

2. Modelarchitectuur en Training:

   • Vision Transformer (ViT): Een 'large' ViT-model, vooraf getraind op ImageNet-21K, werd gefinetuned. De invoerafbeeldingen werden opgesplitst in 16x16 patches. Het model maakte gebruik van een enkele multi-label architectuur die simultaan werd getraind op alle semantische elementen. Om klasse-imbalans aan te pakken, werden positieve samples zwaarder gewogen in de loss-functie. De uiteindelijke classificatiekop werd vervangen en getraind met Stochastic Gradient Descent (SGD) met momentum.
   • Convolutioneel Neuraal Netwerk (CNN): Een CNN-architectuur gebaseerd op de topologie voorgesteld door Cooper en Arandjelović werd vanaf nul getraind. In tegen tegenstelling tot de ViT, werden er aparte single-label modellen getraind voor elk semantisch element. Om klasse-imbalans te behandelen, werden negatieve samples ondergesampled (en overgesampled voor de 'Hercules'-klasse). De gebruikte optimizer was SGD met momentum, aangezien de eerder gebruikte Adam-optimizer bij vergelijkbaar werk leidde tot "dying ReLU"-problemen voor deze specifieke dataset en topologie.

3. Evaluatie:

   • Modellen werden geëvalueerd op onafhankelijke testsets met behulp van nauwkeurigheid (accuracy), precisie, recall en F1-scores.
   • Verklaarbaarheid (Explainability): Saliency maps gegenereerd via de black-box tool HiPe werden gebruikt om te visualiseren welke regio's in de afbeelding de voorspellingen van de modellen beïnvloedden, wat kwalitatieve inzichten bood in het gedrag van de modellen.

Belangrijkste Bijdragen

• Eerste toepassing van ViT in de numismatiek: Dit artikel vertegenwoordigt de eerste toepassing van de Vision Transformer-architectuur voor de identificatie van semantische elementen op antieke munten.
• Vergelijkende Analyse: Het biedt een directe prestatievergelijking tussen ViT- en CNN-architecturen op een gestandaardiseerde, grootschalige dataset van antieke muntafbeeldingen en beschrijvingen.
• Methodologische Verfijning: De studie beschrijft een robuuste preprocessing-pipeline voor het extraheren van enkelvoudige muntachterzijden uit complexe veilingafbeeldingen en demonstreert de noodzaak van specifieke optimalisatiestrategieën (SGD vs. Adam) voor CNN's in dit domein om convergentiefouten te voorkomen.
• Kwalitatief Inzicht: Door middel van saliency mapping biedt het artikel een vergelijkende analyse van hoe ViT- en CNN-modellen visuele kenmerken aandacht geven, wat duidelijke verschillen onthult in hun interne representaties.

Resultaten

• Prestaties: De ViT-modellen presteerden over het algemeen beter dan de nieuw getrainde CNN-modellen over de meeste semantische elementen wat betreft nauwkeurigheid, precisie en recall. De ViT behaalde testnauwkeurigheden variërend van ongeveer 77% tot 83%, terwijl de CNN-modellen varieerden van circa 67% tot 82%. Het meest significante prestatieverschil werd waargenomen bij de 'Hercules'-classificatie, waar de ViT de CNN ver overtrof.
• Trainingsefficiëntie: CNN-modellen trainden aanzienlijk sneller (minuten) vergeleken met de ViT-modellen (uren), voornamelijk door het lagere aantal parameters van de CNN's (37M vs. 304M voor ViT) en de single-label trainingsaanpak.
• Saliency en Interpreteerbaarheid:
  • CNN's: Neigden zich te concentreren op specifieke, invariante regio's (bijv. rechtsboven voor cornucopia's, rechtsonder voor adelaars). Hoewel dit soms intuïtief was, leidde deze rigide focus vaak tot fouten wanneer motieven op verschillende locaties of oriëntaties verschenen.
  • ViTs: Vertoonden zeer variabele en diffuse saliency-regio's, waarbij ze vaak focusten op context of gecorreleerde kenmerken in plaats van op het motief zelf (bijv. focussen op de rugleuning van een stoel wanneer een adelaar door een figuur wordt vastgehouden). Dit suggereert dat ViTs een bredere, meer gegeneraliseerde set visuele aanwijzingen leren, maar moeilijker intuïtief te interpreteren zijn.
• Dataruis: De studie benadrukte dat labelruis, veroorzaakt door beschrijvingen die naar beide zijden van de munt verwijzen, de prestaties aanzienlijk beïnvloedde, met name voor concepten zoals 'staand' en 'zittend'.

Betekenis en Claims
Het artikel beweert dat de Vision Transformer-architectuur zeer veelbelovend is voor de geautomatiseerde analyse van de antieke numismatiek, waarbij een superieure nauwkeurigheid wordt aangetoond ten opzichte van de CNN-baseline in dit specifieke domein. De auteurs stellen dat het vermogen van ViTs om lange-termijn-afhankelijkheden te modelleren zonder sterke inductieve biases naar lokale kenmerken, hen beter in staat stelt om de gestileerde en variabele aard van antieke muntmotieven aan te pakken.

De auteurs blijven echter bescheiden in hun conclusies. Zij merken op dat het verschil in prestaties tussen de ViT en de door Cooper en Arandjelović voorgestelde CNN's niet definitief is, aangezien de CNN's in deze studie met andere hyperparameters (specifiek de optimizer) werden getraind en de eerdere CNN-benchmarks niet evenaarden. Bijgevolg suggereert het artikel dat hoewel ViTs een groot potentieel tonen, verdere hyperparameter-tuning en de exploratie van andere Transformer-varianten noodzakelijk zijn om de superioriteit definitief vast te stellen. De studie benadrukt ook dat de kwaliteit van de geautomatiseerde analyse fundamenteel wordt beperkt door de ruis die inherent is aan de zwak gesuperviseerde datasets afgeleid van veilingbeschrijvingen.