Do Transformers Understand Ancient Roman Coin Motifs Better than CNNs?

Sintesi Tecnica: I Transformer comprendono i motivi delle monete romane antiche meglio delle CNN?

Definizione del Problema
L'analisi automatizzata della numismatica antica presenta sfide uniche, distinte dai compiti di computer vision mainstream. Mentre la ricerca esistente si è concentrata ampiamente sul matching immagine-immagine per l'identificazione delle monete, l'enorme volume di emissioni monetarie romane (ad esempio, oltre 43.000 emissioni imperiali) rende impraticabile il confronto esaustivo. Di conseguenza, il focus della ricerca si è spostato verso l'identificazione di elementi semantici (ad esempio, motivi specifici come aquile, scudi o figure) raffigurati sulle monete. Tuttavia, questo compito è complicato dall'alta variabilità intra-classe dovuta alle differenze di conio, all'usura e al degrado, nonché dalla mancanza di immagini di alta qualità per molte emissioni. I precedenti tentativi che utilizzano le Reti Neurali Convoluzionali (CNN) hanno mostrato risultati promettenti, ma affrontano limitazioni nel catturare dipendenze a lungo raggio e sfumate all'interno degli elementi visivi stilizzati delle monoche antiche. Questo articolo indaga se l'architettura Vision Transformer (ViT), che ha superato le CNN in molti compiti visivi, offra prestazioni superiori nel riconoscere questi elementi semantici rispetto a nuovi modelli CNN addestrati.

Metodologia
Lo studio ha impiegato un dataset multimodale composto da 100.000 immagini e descrizioni testuali non strutturate di monete antiche provenienti da un aggregatore di aste online. La metodologia si è articolata in tre fasi principali:

1. Preelaborazione dei Dati e Etichettatura:

   • Estrazione delle Immagini: Un algoritmo automatizzato ha isolato il rovescio dei singoli pezzi da immagini che spesso contenevano più monete o entrambi i lati. L'algoritmo ha identificato i bounding box basandosi sulla coerenza del colore dello sfondo e sul rilevamento dell'oggetto in primo piano, rifiutando lotti multipli o monete sovrapposte.
   • Supervisione Debole (Weak Supervision): Le etichette sono state generate tramite il text mining delle descrizioni delle monete. Parole chiave (in inglese, francese, spagnolo, tedesco e latino) e i loro derivati sono stati utilizzati per assegnare etichette binarie di presenza/assenza per specifici elementi semantici. Ciò ha portato a una "supervisione debole", dove le etichette si riferiscono all'intera immagine piuttosto che a specifiche posizioni dei pixel, introducendo un potenziale rumore (ad esempio, descrizioni che si riferiscono al lato obverso applicate all'immagine del rovescio).
   • Concept Mining: Un modulo di text-mining ha identificato concetti aggiuntivi ('seduto', 'in piedi', 'Ercole') oltre ai cinque precedentemente studiati da Cooper e Arandjelović.

2. Architettura del Modello e Addestramento:

   • Vision Transformer (ViT): È stato utilizzato un modello ViT 'large', pre-addestrato su ImageNet-21K, sottoposto a fine-tuning. Le immagini in input sono state suddivise in patch da 16x16. Il modello ha utilizzato un'architettura multi-label singola addestrata simultaneamente su tutti gli elementi semantici. Per affrontare lo sbilanciamento delle classi, i campioni positivi sono stati pesati maggiormente nella funzione di perdita. La testa di classificazione finale è stata sostituita e addestrata utilizzando lo Stochastic Gradient Descent (SGD) con momentum.
   • Rete Neurale Convoluzionale (CNN): È stata addestrata un'architettura CNN basata sulla topologia proposta da Cooper e Arandjelović. A differenza del ViT, sono stati addestrati modelli separati a etichetta singola per ogni elemento semantico. Per gestire lo sbilanciamento delle classi, i campoli negativi sono stati sottoposti a undersampling (e oversampling per la classe 'Ercole'). L'ottimizzatore utilizzato è stato lo SGD con momentum, poiché l'ottimizzatore Adam, precedentemente usato in lavori simili, causava problemi di "dying ReLU" per questo specifico dataset e topologia.

3. Valutazione:

   • I modelli sono stati valutati su set di test tenuti separati utilizzando accuratezza, precisione, recall e punteggi F1.
   • Spiegabilità: Mappe di salienza generate tramite lo strumento black-box HiPe sono state utilizzate per visualizzare quali regioni dell'immagine influenzavano le predizioni dei modelli, fornendo approfondimenti qualitativi sul comportamento del modello.

Contributi Chiave

• Prima Applicazione di ViT alla Numismatica: Questo articolo rappresenta la prima applicazione dell'architettura Vision Transformer all'identificazione di elementi semantici su monete antiche.
• Analisi Comparativa: Fornisce un confronto diretto tra le prestazioni delle architetture ViT e CNN su un dataset standardizzato e su larga scala di immagini e descrizioni di monete antiche.
• Raffinatezza Metodologica: Lo studio dettaglia una robusta pipeline di preelaborazione per estrarre i reversi di singole monete da immagini d'asta complesse e dimostra la necessità di strategie di ottimizzazione specifiche (SGD vs. Adam) per le CNN in questo dominio per evitare fallimenti di convergenza.
• Approfondimento Qualitativo: Attraverso la mappatura della salienza, l'articolo offre un'analisi comparativa di come i modelli ViT e CNN prestino attenzione alle caratteristiche visive, rivelando differenze distinte nelle loro rappresentazioni interne.

Risultati

• Prestazioni: I modelli ViT hanno generalmente superato i nuovi modelli CNN nella maggior parte degli elementi semantici in termini di accuratezza, precisione e recall. Il ViT ha raggiunto accuratezze di test comprese tra circa il 77% e l'83%, mentre i modelli CNN variavano approssimativamente tra il 67% e l'82%. Il divario di prestazione più significativo è stato osservato nella classificazione 'Ercole', dove il ViT ha superato nettamente la CNN.
• Efficienza di Addestramento: I modelli CNN sono stati addestrati significativamente più velocemente (minuti) rispetto ai modelli ViT (ore), principalmente a causa del minor numero di parametri della CNN (37M contro 304M per il ViT) e dell'approccio di addestramento a etichetta singola.
• Salienza e Interpretabilità:
  • CNN: Tendono a concentrarsi su regioni specifiche e invarianti (ad esempio, in alto a destra per le cornucopie, in basso a destra per le aquile). Sebbene talvolta intuitivo, questo focus rigido porta spesso a errori quando i motivi appaiono in posizioni o orientamenti diversi.
  • ViT: Hanno mostrato regioni di salienza altamente variabili e diffuse, concentrandosi spesso sul contesto o su caratteristiche correlate piuttosto che sul motivo stesso (ad esempio, concentrandosi sullo schienale di una sedia quando un'aquila è tenuta da una figura). Ciò suggerisce che i ViT apprendano un insieme di indizi visivi più ampio e generalizzato, ma siano più difficili da interpretare intuitivamente.
• Rumore dei Dati: Lo studio ha evidenziato come il rumore delle etichette, causato da descrizioni che si riferiscono a entrambi i lati della moneta, abbia impattato significativamente le prestazioni, in particolare per concetti come 'in piedi' e 'seduto'.

Significatività e Rivendicazioni
L'articolo sostiene che l'architettura Vision Transformer è molto promettente per l'analisi automatizzata della numismatica antica, dimostrando una precisione superiore rispetto al baseline CNN in questo specifico dominio. Gli autori postulano che la capacità dei ViT di modellare dipendenze a lungo raggio senza forti bias induttivi verso le caratteristiche locali permetta loro di gestire meglio la natura stilizzata e variabile dei motivi delle monete antiche.

Tuttove, gli autori rimangono modesti nelle loro conclusioni. Notano che la differenza di prestazione tra il ViT e le CNN proposte da Cooper e Arandjelović (in lavori precedenti) non è definitiva, poiché le CNN in questo studio sono state addestrate con diversi iperparametri (specificamente l'ottimizzatore) e non hanno eguagliato i benchmark delle precedenti CNN. Di conseguenza, l'articolo suggerisce che, sebbene i ViT mostrino un grande potenziale, sono necessari ulteriori affinamenti degli iperparametri e l'esplorazione di altre varianti Transformer per stabilire definitivamente la loro superiorità. Lo studio sottolinea inoltre che la qualità dell'analisi automatizzata è fondamentalmente limitata dal rumore inerente ai dataset a supervisione debole derivati dalle descrizioni d'asta.