Enhancing Oracle Bone Inscription Recognition via Multi-Scale Layer Attention

기술 요약: 다중 스케일 레이어 어텐션을 통한 갑골문자 인식 성능 향상

문제 정의
갑골문자는 중국 문자의 가장 초기 체계화된 형태로서 깊은 역사적 중요성을 지닙니다. 그러나 복잡하고 불규칙하며, 파편화되거나 종종 퇴화된 글자 구조로 인해 자동 인식이 매우 어렵습니다. 딥러닝이 일반적인 이미지 인식 분야를 발전시켰음에도 불구하고, 기존 방식들은 갑골문에 내재된 미세한 세부 사항과 미묘한 변화를 포착하는 데 어려움을 겪고 있습니다. 구체적으로, 본 논문은 최근의 "레이어 어텐션(layer attention)" 메커니즘이 가진 결정적인 한계를 지적합니다. 즉, 표준 ResNet 백본에서 레이어 간 상호작용을 모델링할 때 사용하는 토큰의 수가 매우 제한적(일반적으로 5개 미만)이라는 점입니다. 이러한 토큰 부족은 정보 교환의 다양성을 제한하여, 정확한 갑골문 인식을 위해 필요한 복잡한 구조적 의존성을 효과적으로 포착하지 못하게 만듭니다.

방법론: 다중 스케일 레이어 어텐션 (Multi-Scale Layer Attention, MSLA)
기존 레이어 어텐션의 토큰 부족 문제를 해결하기 위해, 저자들은 MSLA를 제안합니다. 이 새로운 패러다임은 다중 스케일 및 교차 레이어 특징 상호작용을 명시적으로 모델링합니다. MSLA의 핵심 구성 요소는 다음과 같습니다:

1. 다중 스케일 토큰 추출: 각 레이어를 단일 토큰으로 취급하는 표준 레이어 어텐션과 달리, MSLA는 입력 특징 맵으로부터 다양한 공간적 스케일에서 특징을 추출하여 토큰 집합을 풍부하게 만듭니다.

   • 글로벌 토큰 (Global Tokens): 전역 평균 풀링(global average pooling)을 통해 생성되며, 전체적인 맥락 정보를 포착합니다.
   • 로컬 토크 (Local Tokens): 특징 맵을 중복되지 않는 패치($P \times P$) 그리드로 분할하고 적응형 평균 풀링(adaptive average pooling)을 적용하여 생성됩니다. 이는 미세한 공간 구조를 포착합니다.
   • 이들은 결합되어 다중 스케일 토큰 집합 $X_{multi}$를 형성합니다.

2. 점진적 키-값 누적 (Progressive Key-Value Accumulation): 이 메커니즘은 이전 모든 레이어로부터의 키($K$)와 값($V$) 표현을 결합하는 점진적 누적 전략을 채택합니다. 이를 통해 현재 레이어는 단순히 직전 레이어에만 의존하는 것이 아니라, 네트워크 전체 깊이에서 오는 점진적으로 확장되는 다중 스케일 토큰 저장소에 주목할 수 있습니다.

3. 멀티 헤드 어텐션 및 특징 정제: 현재 레이어의 쿼리($Q$)는 해당 레이어의 다중 스케일 토큰으로부터 유도되며, 누적된 이전 레이어들의 $K$와 $V$는 어텐션 가중치를 계산하는 데 사용됩니다. 결과물인 어텐션 출력은 토큰 차원을 따라 집계되어 채널별 기술자(channel-wise descriptor)를 생성하며, 이는 요소별 곱셈(element-wise multiplication)을 통해 원래의 특징 맵을 정제하는 데 사용됩니다.

주요 기여

1. 새로운 어텐션 패러다임: 본 논문은 갑골문 인식 시 발생하는 기존 레이어 어텐션의 고유한 토큰 부족 문제를 극복하기 위해 설계된 레이어 어텐션 메커니즘인 MSLA를 도입합니다.
2. 토큰 풍부화 전략: 다중 스케일 토큰 풍부화 및 점진적 누적 전략을 도입함으로써, 각 레이어가 글로벌 및 로컬 표현 모두에서 유래한 점진적으로 확장되는 토큰 집합에 주목할 수 있도록 합니다. 이는 미세한 세부 사항과 복잡한 구조적 의존성을 포착하는 모델의 능력을 실질적으로 향상시킵니다.
3. 실증적 검증: 저자들은 네 가지 대규모 갑골문 데이터셋(Oracle-MNIST, OBC306, HUST-OBS, EVOBC)에 대해 광범한 실험을 수행하여, MSLA가 높은 계산 효율성을 유지하면서도 최신 어텐션 메커니즘들을 일관되게 능가함을 입증했습니다.

실험 결과
제안된 방법은 전통적인 머신러닝 모델, 표준 CNN, 그리고 최근의 어텐션 메커니즘(예: SENet, CBAM, ECANet, MRLA, DLA)을 포함한 다양한 베이스라인과 비교 평가되었습니다.

• Oracle-MNIST: MSLA는 ResNet-20에서 96.05%, ResNet-56에서 96.30%의 정확도를 달성하였으며, 이는 최소한의 파라미터 증가(예: ResNet-20의 경우 +0.02M)만으로 바닐라 ResNet 및 다른 어텐션 변형들을 능가한 수치입니다.
• OBC306: MSLA는 ResNet-20에서 91.29%의 정확도를 기록하여 바닐라 ResNet-20보다 3.56% 높았으며, MRLA-L 및 DLA-L과 같은 다른 레이어 상호작용 방식들보다 우수한 성능을 보였습니다. 특히, MSLA-20은 훨씬 적은 파라미터를 보유했음에도 불구하고 바닐라 ResNet-56보다 뛰어난 성능을 보였습니다.
• HUST-OBS: MSLA는 ResNet-50에서 94.12%의 정확도를 달성하여 바닐라 베이스라인(93.74%)을 개선하였고, MRLA-B(92.94%)를 크게 앞질렀습니다.
• EVOBC: 13,714개의 클래스를 가진 매우 도전적인 데이터셋인 EVOBC에서, MSLA는 ResNet-50으로 49.45%의 정확도를 달성하여 바닐라 베이스라인보다 낮은 성능을 보인 모델들을 포함한 모든 테스트 대상 방법들을 능가했습니다.

어블레이션 연구(Ablation studies)를 통해 패치 크기($P$)가 3일 때 최적의 성능을 낸다는 점과, 글로벌 토큰의 포함이 전체적인 맥락을 포착하는 데 필수적임을 확인했습니다(글로벌 토큰 제거 시 성능 저하 발생).

의의 및 주장
본 논문은 MSLA가 다중 스케일 특징과 교차 레이어 의존성 사이의 상호작용을 명시적으로 모델링함으로써 갑골문 인식에 더 정확하고 견고한 솔루션을 제공한다고 주장합니다. 저자들은 자신들의 접근 방식이 고대 문자의 해독에 필수적인 미세한 세부 사항을 포착하는 데 있어 기존 어텐션 메커니즘의 한계를 효과적으로 해결한다고 단언합니다. 실험 결과는 MSLA가 갑골문뿐만 아니라 다른 까다로운 미세 특징 인식 작업에도 효과적이며, 확장 가능하고 일반적으로 적용 가능하다는 것을 보여주며, 높은 성능과 계산 효율성 사이의 균형을 제공합니다. 이 연구는 신뢰할 수 있는 인식 도구를 제공함으로써 고대 중국 문화에 대한 자동화된 이해를 증진하는 것을 목표로 합니다.