Do Transformers Understand Ancient Roman Coin Motifs Better than CNNs?

Resumen Técnico: ¿Entienden los Transformers los motivos de las monedas romanas antiguas mejor que las CNN?

Planteamiento del Problema
El análisis automatizado de la numismática antigua presenta desafíos únicos que se distinguen de las tareas convencionales de visión por computadora. Mientras que la investigación existente se ha centrado principalmente en el emparejamiento de imagen a imagen para la identificación de monedas, el enorme volumen de emisiones de monedas antiguas (por ejemplo, más de 43,000 emisiones imperiales romanas) hace que el emparejamiento exhaustivo sea impracticable. En consecuencia, el enfoque de la investigación se ha desplazado hacia la identificación de elementos semánticos (por ejemplo, motivos específicos como águilas, escudos o figuras) representados en las monedas. Sin embargo, esta tarea se ve complicada por la alta variabilidad intra-clase debido a las diferencias en las matrices, el desgaste y la degradación, así como por la falta de imágenes de alta calidad para muchas emisiones. Los intentos previos utilizando Redes Neuronales Convolucionales (CNN) han mostrado ser prometedores, pero enfrentan limitaciones para capturar dependencias de largo alcance y matizadas dentro de los elementos visuales estilizados de las monedas antiguas. Este artículo investiga si la arquitectura Vision Transformer (ViT), que ha superado a las CNN en muchas tareas visuales, ofrece un rendimiento superior en el reconocimiento de estos elementos semánticos en comparación con modelos CNN recién entrenados.

Metodología
El estudio empleó un conjunto de datos multimodal que comprende 100,000 imágenes y descripciones de texto no estructuradas de monedas antiguas extraídas de un agregador de subastas en línea. La metodología procedió a través de tres etapas principales:

1. Preprocesamiento y Etiquetado de Datos:

   • Extracción de Imágenes: Un algoritmo automatizado aisló el reverso de monedas individuales de imágenes que a menudo contenían múltiples monedas o ambos lados. El algoritmo identificó cuadros delimitadores basados en la consistencia del color de fondo y la detección de objetos en primer plano, rechazando lotes de monedas o monedas superpuestas.
   • Supervisión Débil: Las etiquetas se generaron mediante la minería de texto de las descripciones de las monedas. Se utilizaron palabras de búsqueda (en inglés, francés, español, alemán y latín) y sus derivados para asignar etiquetas binarias de presencia/ausencia para elementos semánticos específicos. Esto resultó en una "supervisión débil", donde las etiquetas se aplicaban a la imagen completa en lugar de a ubicaciones de píxeles específicas, introduciendo ruido potencial (por ejemplo, descripciones que hacen referencia al anverso aplicadas a la imagen del reverso).
   • Minería de Conceptos: Un módulo de minería de texto identificó conceptos adicionales ('sentado', 'de pie', 'Hércules') más allá de los cinco estudiados previamente por Cooper y Arandjelović.

2. Arquitectura del Modelo y Entrenamiento:

   • Vision Transformer (ViT): Se ajustó un modelo ViT de tipo 'large', preentrenado en ImageNet-21K. Las imágenes de entrada se dividieron en parches de 16x16. El modelo utilizó una arquitectura de etiquetas múltiples única entrenada simultáneamente en todos los elementos semánticos. Para abordar el desequilibrio de clases, se ponderaron más fuertemente las muestras positivas en la función de pérdida. El cabezal de clasificación final fue reemplazado y entrenado utilizando el Descenso de Gradiente Estocástico (SGD) con momentum.
   • Red Neuronal Convolucional (CNN): Se entrenó una arquitectura CNN basada en la topología propuesta por Cooper y Arandjelović desde cero. A diferencia del ViT, se entrenaron modelos separados de etiqueta única para cada elemento semántico. Para manejar el desequilibrio de clases, se realizó un submuestreo de las muestras negativas (y sobremuestreo para la clase 'Hércules'). El optimizador utilizado fue SGD con momentum, dado que el optimizador Adam, utilizado anteriormente en trabajos similares, resultó en problemas de "ReLU muerta" para este conjunto de datos y topología específicos.

3. Evaluación:

   • Los modelos fueron evaluados en conjuntos de prueba no utilizados mediante precisión, precisión (precision), exhaustividad (recall) y puntuación F1.
   • Explicabilidad: Se utilizaron mapas de prominencia (saliency maps) generados mediante la herramienta de caja negra HiPe para visualizar qué regiones de la imagen influenciaban las predicciones de los modelos, proporcionando información cualitativa sobre el comportamiento del modelo.

Contribuciones Clave

• Primera Aplicación de ViT a la Numismática: Este artículo representa la primera aplicación de la arquitectura Vision Transformer a la identificación de elementos semánticos en monedas antiguas.
• Análisis Comparativo: Proporciona una comparación directa de rendimiento entre las arquitecturas ViT y CNN en un conjunto de datos estandarizado y a gran escala de imágenes y descripciones de monedas antiguas.
• Refinamiento Metodológico: El estudio detalla un robusto pipeline de preprocesamiento para extraer reversos de monedas individuales de imágenes de subasta complejas y demuestra la necesidad de estrategias de optimización específicas (SGD vs. Adam) para las CNN en este dominio para evitar fallos de convergencia.
• Perspectiva Cualitativa: A través del mapeo de prominencia, el artículo ofrece un análisis comparativo de cómo los modelos ViT y CNN atienden a las características visuales, revelando diferencias distintivas en sus representaciones internas.

Resultados

• Rendimiento: Los modelos ViT generalmente superaron a los modelos CNN recién entrenados en la mayoría de los elementos semánticos en términos de exactitud, precisión y exhaustividad. El ViT alcanzó precisiones de prueba que oscilaron aproximadamente entre el 77% y el 83%, mientras que los modelos CNN oscilaron entre el 67% y el 82%. La brecha de rendimiento más significativa se observó en la clasificación de 'Hércules', donde el ViT superó ampliamente a la CNN.
• Eficiencia de Entrenamiento: Los modelos CNN se entrenaron significativamente más rápido (minutos) en comparación con los modelos ViT (horas), debido en gran medida al menor número de parámetros de las CNN (37M frente a 304M para el ViT) y al enfoque de entrenamiento de etiqueta única.
• Prominencia e Interpretabilidad:
  • CNNs: Tendieron a enfocarse en regiones invariantes y específicas (por ejemplo, la parte superior derecha para cornucopias, la parte inferior derecha para águilas). Aunque a veces es intuitivo, este enfoque rígido a menudo provocaba errores cuando los motivos aparecían en diferentes ubicaciones u orientaciones.
  • ViTs: Exhibieron regiones de prominencia altamente variables y difusas, enfocándose a menudo en el contexto o en características correlacionadas en lugar del motivo en sí (por ejemplo, enfocándose en el respaldo de una silla cuando un águila es sostenida por una figura). Esto sugiere que los ViT aprenden un conjunto de pistas visuales más amplio y generalizado, pero son más difíciles de interpretar intuitivamente.
• Ruido de Datos: El estudio destacó que el ruido de las etiquetas, causado por descripciones que hacen referencia a ambos lados de la moneda, impactó significamente el rendimiento, particularmente para conceptos como 'de pie' y 'sentado'.

Significancia y Reivindicaciones
El artículo afirma que la arquitectura Vision Transformer es altamente prometedora para el análisis automatizado de la numismática antigua, demostrando una precisión superior sobre la línea base de CNN en este dominio específico. Los autores postulan que la capacidad de los ViT para modelar dependencias de largo alcance sin sesgos inductivos fuertes hacia características locales les permite manejar mejor la naturaleza estilizada y variable de los motivos de las monedas antiguas.

Sin embargo, los autores mantienen la modestia en sus conclusiones. Señalan que la diferencia de rendimiento entre el ViT y las CNN propuestas por Cooper y Arandjelović (en trabajos previos) no es definitiva, ya que las CNN en este estudio fueron entrenadas con hiperparámetros diferentes (específicamente el optimizador) y no igualaron el rendimiento de los benchmarks de CNN anteriores. En consecuencia, el artículo sugiere que, si bien los ViT muestran un gran potencial, es necesario realizar un mayor ajuste de hiperparámetros y explorar otras variantes de Transformers para establecer definitivamente su superioridad. El estudio también enfatiza que la calidad del análisis automatizado está fundamentalmente limitada por el ruido inherente en los conjuntos de datos de supervisión débil derivados de las descripciones de subastas.