Do Transformers Understand Ancient Roman Coin Motifs Better than CNNs?

Resumo Técnico: Os Transformers Compreendem Melhor os Motivos de Moedas da Roma Antiga do que as CNNs?

Definição do Problema
A análise automatizada da numismática antiga apresenta desafios únicos, distintos das tarefas convencionais de visão computacional. Embora as pesquisas existentes tenham se concentrado amplamente na correspondência de imagem-para-imagem para identificação de moedas, o volume colossal de emissões de moedas antigas (por exemplo, mais de 43.000 emissões imperiais romanas) torna a correspondência exaustiva impraticável. Consequentemente, o foco da pesquisa deslocou-se para a identificação de elementos semânticos (por exemplo, motivos específicos como águias, escudos ou figuras) representados nas moedas. No entanto, esta tarefa é complicada pela alta variabilidade intra-classe devido a diferenças de cunho, desgaste e degradação, bem como pela falta de imagens de alta qualidade para muitas emissões. Tentativas anteriores utilizando Redes Neurais Convolucionais (CNNs) mostraram-se promissoras, mas enfrentam limitações na captura de dependências de longo alcance e sutis dentro dos elementos visuais estilizados das moedas antigas. Este artigo investiga se a arquitetura Vision Transformer (ViT), que superou as CNNs em muitas tarefas visuais, oferece um desempenho superior no reconhecimento desses elementos semânticos em comparação com modelos CNN recém-treinados.

Metodologia
O estudo empregou um conjunto de dados multimodal composto por 100.000 imagens e descrições textuais não estruturadas de moedas antigas, extraídas de um agregador de leilões online. A metodologia procedeu através de três estágios primários:

1. Pré-processamento e Rotulagem de Dados:

   • Extração de Imagens: Um algoritmo automatizado isolou o lado reverso de moedas individuais de imagens que frequentemente continham múltiplas moedas ou ambos os lados. O algoritmo identificou caixas delimitadoras (bounding boxes) baseando-se na consistência da cor do fundo e detecção de objetos em primeiro plano, rejeitando lotes de moedas ou moedas sobrepostas.
   • Supervisão Fraca: Os rótulos foram gerados via mineração de texto das descrições das moedas. Palavras de busca (em inglês, francês, espanhol, alemão e latim) e seus derivados foram utilizadas para atribuir rótulos binários de presença/ausência para elementos semânticos específicos. Isso resultou em uma "supervisão fraca", onde os rótulos foram aplicados à imagem inteira em vez de localizações de pixels específicas, introduzindo ruído potencial (por exemplo, descrições referenciando o lado obverso aplicadas à imagem do reverso).
   • Mineração de Conceitos: Um módulo de mineração de texto identificou conceitos adicionais ('sentado', 'em pé', 'Hércules') além dos cinco anteriormente estudados por Cooper e Arandjelović.

2. Arquitetura do Modelo e Treinamento:

   • Vision Transformer (ViT): Um modelo ViT do tipo 'large', pré-treinado no ImageNet-21K, foi submetido a ajuste fino (fine-tuning). As imagens de entrada foram divididas em patches de 16x16. O modelo utilizou uma arquitetura de rótulo múltiplo única, treinada simultaneamente em todos os elementos semânticos. Para lidar com o desequilíbrio de classes, amostras positivas foram ponderadas mais pesadamente na função de perda. O cabeçalho de classificação final foi substituído e treinado usando Stochastic Gradient Descent (SGD) com momentum.
   • Rede Neural Convolucional (CNN): Uma arquitetura CNN baseada na topologia proposta por Cooper e Arandjelović foi treinada do zero. Diferente do ViT, modelos de rótulo único separados foram treinados para cada elemento semântico. Para lidar com o desequilíbrio de classes, as amostras negativas foram subamostradas (e a classe 'Hércules' foi sobreamostrada). O otimizador utilizado foi o SGD com momentum, dado que o otimizador Adam, usado anteriormente em trabalhos similares, resultou em problemas de "ReLU morta" (dying ReLU) para este conjunto de dados e topologia específicos.

3. Avaliação:

   • Os modelos foram avaliados em conjuntos de teste não utilizados (held-out) utilizando acurácia, precisão, recall e pontuação F1.
   • Explicabilidade: Mapas de saliência gerados pela ferramenta de caixa-preta HiPe foram usados para visualizar quais regiões da imagem influenciaram as previsões dos modelos, fornecendo insights qualitativos sobre o comportamento do modelo.

Principais Contribuições

• Primeira Aplicação de ViT à Numismática: Este artigo representa a primeira aplicação da arquitetura Vision Transformer à identificação de elementos semânticos em moedas antigas.
• Análise Comparativa: Fornece uma comparação direta de desempenho entre as arquiteturas ViT e CNN em um conjunto de dados de imagens e descrições de moedas antigas de grande escala e padronizado.
• Refinamento Metodológico: O estudo detalha um pipeline de pré-processamento robusto para extrair reversos de moedas únicas de imagens complexas de leilões e demonstra a necessidade de estratégias de otimização específicas (SGD vs. Adam) para CNNs neste domínio para evitar falhas de convergência.
• Insight Qualitativo: Através do mapeamento de saliência, o artigo oferece uma análise comparativa de como os modelos ViT e CNN atendem a características visuais, revelando diferenças distintas em suas representações internas.

Resultos

• Desempenho: Os modelos ViT geralmente superaram os modelos CNN recém-treinados na maioria dos elementos semânticos em termos de acurácia, precisão e recall. O ViT alcançou acurácias de teste variando aproximadamente entre 77% e 83%, enquanto os modelos CNN variaram de cerca de 67% a 82%. A lacuna de desempenho mais significativa foi observada na classificação de 'Hércules', onde o ViT superou vastamente a CNN.
• Eficiência de Treinamento: Os modelos CNN foram treinados significativamente mais rápido (minutos) em comparação aos modelos ViT (horas), devido principalmente ao menor número de parâmetros da CNN (37M vs. 304M para o ViT) e à abordagem de treinamento de rótulo único.
• Saliência e Interpretabilidade:
  • CNNs: Tenderam a focar em regiões específicas e invariantes (ex: canto superior direito para cornucópias, canto inferior direito para águias). Embora por vezes intuitivo, esse foco rígido frequentemente levou a erros quando os motivos apareciam em diferentes localizações ou orientações.
  • ViTs: Exibiram regiões de saliência altamente variáveis e difusas, focando frequentemente no contexto ou em características correlacionadas em vez do próprio motivo (ex: focando no encosto de uma cadeira quando uma águia é segurada por uma figura). Isso sugere que os ViTs aprendem um conjunto de pistas visuais mais amplo e generalizado, mas são mais difíceis de interpretar intuitivamente.
• Ruído de Dados: O estudo destacou que o ruído de rotulagem, causado por descrições que referenciam ambos os lados da moeda, impactou significativamente o desempenho, particularmente para conceitos como 'em pé' e 'sentado'.

Significância e Alegações
O artigo alega que a arquitetura Vision Transformer é altamente promissora para a análise automatizada da numismática antiga, demonstrando uma acurácia superior sobre a linha de base CNN neste domínio específico. Os autores postulam que a capacidade dos ViTs de modelar dependências de longo alcance sem vieses indutivos fortes para características locais permite que eles lidem melhor com a natureza estilizada e variável dos motivos de moedas antigas.

No entanto, os autores mantêm-se modestos em suas conclusões. Eles observam que a diferença de desempenho entre o ViT e as CNNs propostas por Cooper e Arandjelović (em trabalhos anteriores) não é definitiva, pois as CNNs neste estudo foram treinadas com hiperparâmetros diferentes (especificamente o otimizador) e não igualaram o desempenho dos benchmarks de CNN anteriores. Consequentemente, o artigo sugere que, embora os ViTs mostrem grande potencial, o ajuste fino de hiperparâmetros e a exploração de outras variantes de Transformer são necessários para estabelecer definitivamente a superioridade. O estudo também enfatiza que a qualidade da análise automatizada é fundamentalmente limitada pelo ruído inerente aos conjuntos de dados de supervisão fraca derivados de descrições de leilões.