Do Transformers Understand Ancient Roman Coin Motifs Better than CNNs?

기술 요약: 트랜스포머는 고대 로마 동전의 모티프를 CNN보다 더 잘 이해하는가?

문제 정의
고대 화폐학의 자동 분석은 주류 컴퓨터 비전 작업과는 구별되는 독특한 과제들을 제시한다. 기존 연구들은 주로 동전 식별을 위한 이미지 대 이미지 매칭에 집중해 왔으나, 방대한 양의 고대 동전 발행물(예: 43,000개 이상의 로마 황제 발행물)로 인해 전수 매칭은 실질적으로 불가능하다. 결과적으로 연구의 초점은 동전에 묘사된 특정 의미적 요소(예: 독수리, 방패, 인물과 같은 특정 모티프)를 식별하는 것으로 이동했다. 그러나 이 작업은 다이(die)의 차이, 마모 및 퇴화로 인한 높은 클래스 내 변동성, 그리고 많은 발행물에 대한 고품질 이미지의 부족으로 인해 복잡하다. CNN을 사용한 기존의 시도들은 유망한 결과를 보여주었으나, 고대 동전의 양식화된 시각적 요소 내에서 미묘하고 장기적인 의존성을 포착하는 데 한계가 있다. 본 논문은 많은 시각적 작업에서 CNN을 능가한 Vision Transformer(ViT) 아키텍처가 새로 학습된 CNN 모델에 비해 이러한 의미적 요소를 인식하는 데 있어 우수한 성능을 제공하는지 조사한다.

방법론
본 연구는 온라인 경매 애그리게이터에서 가져온 10만 개의 이미지와 비정형 텍text 설명을 포함하는 멀티모달 데이터셋을 사용하였다. 방법론은 세 가지 주요 단계로 진행되었다:

1. 데이터 전처리 및 라벨링:

   • 이미지 추출: 자동화된 알고리즘을 통해 여러 동전이 포함되어 있거나 양면이 모두 포함된 이미지에서 개별 동전의 뒷면을 분리해 냈다. 알고로리즘은 배경 색상 일관성과 전경 객체 탐지를 기반으로 바운딩 박스를 식별하였으며, 배치 로트(batch lots)나 겹쳐진 동전은 제외하였다.
   • 약지도 학습(Weak Supervision): 동전 설명의 텍스트 마이닝을 통해 라벨을 생성하였다. 검색어(영어, 프랑스어, 스페인어, 독일어, 라틴어) 및 그 파생어를 사용하여 특정 의미적 요소의 이진 존재/부재 라벨을 할당하였다. 이는 특정 픽셀 위치가 아닌 이미지 전체에 적용되는 라벨을 생성하는 "약지도 학습"의 결과를 초래하였으며, 이는 잠재적인 노이즈(예: 앞면을 언급하는 설명이 뒷면 이미지에 적용되는 경우)를 유발하였다.
   • 개념 마이닝: 텍스트 마이닝 모듈을 통해 Cooper와 Arandjelović가 연구했던 기존의 5가지 개념 외에 추가적인 개념('앉아 있는', '서 있는', '헤라클레스')을 식별하였다.

2. 모델 아키텍처 및 학습:

   • Vision Transformer (ViT): ImageNet-21K로 사전 학습된 'large' ViT 모델을 미세 조정(fine-tuning)하였다. 입력 이미지는 16x16 패치로 분할되었다. 모델은 모든 의미적 요소에 대해 동시에 학습되는 단일 멀티 라벨 아키텍처를 활용하였다. 클래스 불균형 문제를 해결하기 위해 손실 함수에서 양성 샘플에 더 높은 가중치를 부여하였다. 최종 분류 헤드는 교체되었으며 모멘텀을 가진 확률적 경사 하강법(SGD)을 사용하여 학습되었다.
   • Convolutional Neural Network (CNN): Cooper와 Arandjelović가 제안한 토폴로지를 기반으로 한 CNN 아키텍처를 처음부터 학습시켰다. ViT와 달리, 각 의미적 요소에 대해 별도의 단일 라벨 모델을 학습시켰다. 클래스 불균형을 처리하기 위해 음성 샘플을 언더샘플링하였고('헤라클레스' 클래스의 경우 오버샘플링), 사용된 옵티마이저는 SGD(모멘텀 포함)였다. 이는 이 특정 데이터셋과 토폴로지에서 Adam 옵티마이저를 사용했을 때 발생했던 "Dying ReLU" 문제를 피하기 위함이었다.

3. 평가:

   • 모델은 보유 테스트 세트를 사용하여 정확도(accuracy), 정밀도(precision), 재현율(recall), F1 점수로 평가되었다.
   • 설명 가능성: 블랙박스 도구인 HiPe를 통해 생성된 살리언시 맵(saliency maps)을 사용하여 모델의 예측에 영향을 미친 이미지 영역을 시각화함으로써 모델 동작에 대한 질적 통찰을 제공하였다.

주요 기여

• Numismatics에 ViT 최초 적용: 본 논문은 고대 동전의 의미적 요소를 식별하는 데 Vision Transformer 아키텍처를 적용한 첫 사례이다.
• 비교 분석: 고대 동전 이미지 및 설명의 표준화되고 대규모인 데이터셋을 사용하여 ViT와 CNN 아키텍처 간의 직접적인 성능 비교를 제공한다.
• 방법론적 개선: 복잡한 경매 이미지에서 단일 동전의 뒷면을 추출하기 위한 견고한 전처리 파이프라인을 상세히 기술하며, 특정 도메인에서 CNN의 수렴 실패를 피하기 위한 특정 최적화 전략(SGD vs. Adam)의 필요성을 입증한다.
• 질적 통찰: 살리언시 매핑을 통해 ViT와 CNN 모델이 시각적 특징에 어떻게 주의를 기울이는지에 대한 비교 분석을 제공하며, 이들의 내부 표현 방식의 뚜질적인 차이를 밝혀낸다.

결과

• 성능: ViT 모델은 대부분의 의미적 요소에서 새로 학습된 CNN 모델보다 정확도, 정밀도, 재현율 측면에서 일반적으로 더 우수한 성능을 보였다. ViT는 약 77%에서 83% 사이의 테스트 정확도를 달달성한 반면, CNN 모델은 약 67%에서 82% 범위를 기록했다. 가장 큰 성능 격차는 '헤라클레스' 분류에서 관찰되었으며, 여기서 ViT는 CNN을 압도했다.
• 학습 효율성: CNN 모델은 ViT 모델(시간 단위)에 비해 현저히 빠르게(분 단위) 학습되었는데, 이는 주로 CNN의 더 작은 파라미터 수(ViT 304M 대비 CNN 37M)와 단일 라벨 학습 방식에 기인한다.
• 살리언시 및 해석 가능성:
  • CNN: 특정 불변 영역(예: 코르누코피아의 경우 우측 상단, 독수리의 경우 우측 하단)에 집중하는 경향이 있었다. 이러한 집중은 때때로 직관적이지만, 모티프가 다른 위치나 방향으로 나타날 때 오류를 유발하는 경직된 초점을 형성했다.
  • ViT: 매우 가변적이고 확산된 살리언시 영역을 보였으며, 모티프 자체보다는 맥락이나 상관관계가 있는 특징(예: 인물이 독수리를 들고 있을 때 의자 등받이에 집중하는 경우)에 집중하는 경향이 있었다. 이는 ViT가 더 넓고 일반화된 시각적 단서 세트를 학습하지만, 직관적으로 해석하기는 더 어렵다는 것을 시사한다.
• 데이터 노이즘: 연구는 동전의 양면을 모두 언급하는 설명으로 인해 발생하는 라벨 노이즈가 '서 있는(standing)' 및 '앉아 있는(seated)'과 같은 개념의 성능에 상당한 영향을 미친다는 점을 강조하였다.

의의 및 주장
본 논문은 Vision Transformer 아키텍처가 고대 화폐학의 자동 분석에 매우 유망하며, 특정 도메인에서 CNN 베이스라인보다 우수한 정확도를 입증한다고 주장한다. 저자들은 ViT가 국소적 특징에 대한 강한 귀납적 편향 없이 장거리 의존성을 모델링할 수 있는 능력이 고대 동전 모티프의 양식화되고 가변적인 특성을 더 잘 처리할 수 있게 한다고 상정한다.

그러나 저자들은 결론을 내림에 있어 신중한 태도를 유지한다. 그들은 본 연구의 CNN이 서로 다른 하이퍼파라미터(특히 옵티마이저)로 학습되었으며 이전의 CNN 벤치마크 성능과 일치하지 않았기 때문에, Cooper와 Arandjelović가 제안한 CNN과의 성능 차이가 결정적이지는 않다고 언급한다. 따라서 본 논문은 ViT가 큰 잠재력을 보여주지만, 우월성을 확립하기 위해서는 추가적인 하이퍼파라미터 튜닝과 다른 트랜스포머 변형 모델들에 대한 탐색이 필요함을 시사한다. 또한 연구는 경매 설명에서 유래한 약지도 학습 데이터셋에 내재된 노이즈가 자동 분석의 품질을 근본적으로 제한한다는 점을 강조한다.