Empirical Investigation of Vision Architectures for High- Cardinality Fine-Grained Ancient Chinese Ideograph Classification on OBWX

수 세기 동안 학자들은 수천 년 전 거북이 껍질과 청동기에 새겨진 복잡한 기호들인 중국 문명의 초기 기록들을 연구해 왔습니다. 이 고대 글자들은 단순한 그림이 아닙니다. 이는 시대, 지역 또는 사용된 재료에 따라 하나의 개념이 수십 가지의 미세하게 다른 형태로 나타날 수 있는 복잡한 체계입니다. 현대 연구자들의 과제는 컴퓨터가 이러한 기호들을 자동으로 인식하도록 가르치는 것입니다. 이것은 단순히 이미지를 라벨에 매칭하는 간단한 작업이 아닙니다. 시스템은 수천 개의 시각적으로 유사한 글자들을 구별해야 하며, 그중 상당수는 가용 가능한 역사적 기록에 단 몇 번만 등장하는 반면, 어떤 것들은 빈번하게 등장합니다. 이는 컴퓨터가 어떤 글자는 자주 보지만 다른 글자는 거의 보지 못하게 만들어, 전체 집합을 학습하기 어렵게 만드는 까다로운 불균형을 초래합니다. 더욱이, 이 고대 이미지들의 품질은 시간의 흐름, 먹의 얼룩, 혹은 획의 유실 등으로 인해 매우 다양하며, 이는 기계가 이를 통해 학습하려고 할 때 또 다른 혼란의 층을 더합니다.

연구진은 이제 어떤 현대 컴퓨터 비전 시스템이 이 특정한 역사적 난제에 가장 적합한지 확인하기 위해 엄격한 테스트 환경을 구축했습니다. 그들은 가장 초기 단계인 갑골문부터 후기의 소전체에 이르기까지 네 가지 주요 역사적 시기를 아우르는 6,650개의 서로 다른 고대 글자 범주를 나타내는 74,000개 이상의 방대한 이미지 모음에 집중했습니다. 공정한 비교를 보장하기 위해, 연구진은 14가지의 서로 다른 컴퓨터 아키텍처를 동일한 훈련 및 테스트 과정에 통과시켰으며, 모든 변수를 일정하게 유지하여 결과가 오로지 시스템의 설계 자체에 의해서만 결정되도록 했습니다. 목표는 고립된 실험을 넘어, 어떤 접근 방식이 실제로 이 고도의 정밀한 분류 작업에 가장 잘 작동하는지에 대한 명확하고 재현 가능한 순위를 확립하는 것이었습니다.

결과는 서로 다른 컴퓨터 설계들 사이에 명확한 계층 구조가 있음을 보여주었습니다. 가장 우수한 성능을 보인 시스템은 현대적인 합성곱 신경망(convolutional network)으로, 이는 작은 필터를 사용하여 선이나 곡선 같은 국소적인 패턴을 탐지함으로써 이미지를 처리하는 유형의 아키텍처입니다. 이 모델은 약 74.5퍼센트의 정확도를 달 дости (달성) 하여, 테스트된 글자의 대다수를 정확하게 식별했습니다. 그 뒤를 이어 합성곱 스캐닝과 어텐션 메커니즘(attention mechanisms)을 결합한 하이브리드 시스템이 위치했고, 그다음은 구조화되고 층을 이룬 방식으로 이미지를 처리하는 계층적 트랜스포머(hierarchical transformer)가 뒤를 이었습니다. 흥글랍게도, 가장 강력하고 거대한 모델들이 승리하지는 못했습니다. 승리 모델보다 4배나 많은 조정 가능한 파라미터를 가진 순수 어텐션 기반 방식을 사용하는 가장 큰 시스템 중 하나는, 9퍼센트 포인트 이상의 차이를 보이며 현저히 낮은 성능을 기록했습니다. 이 발견은 이 특정 작업에 있어서는 모델이 얼마나 큰가보다 어떻게 설계되었는가가 훨씬 더 중요하다는 점을 시사합니다. 파라미터 수는 적더라도 국소적인 세부 사항에 최적화된 설계를 가진 모델이, 전체 이미지를 한꺼번에 처리하려는 거대한 시스템보다 더 뛰어난 성능을 낼 수 있습니다.

연구진은 또한 이 과업의 난이도가 모든 글자에 균등하게 분포되어 있지 않다는 것을 발견했습니다. 시스템은 훈련 데이터에 빈번하게 등장하는 가장 흔한 글자들, 즉 "헤드(head)" 범주에 대해서는 90퍼센트 이상의 정확도를 기록하며 매우 뛰어난 성능을 보였습니다. 그러나 글자가 희귀해질수록 성능은 꾸준히 하락했습니다. 데이터셋의 대다수를 차지하는 가장 드문 글자들의 경우, 정확도는 약 60퍼센트로 떨어졌습니다. 이 희귀 범주들은 시스템이 저지른 모든 실수의 거의 3분의 2를 차지했습니다. 오류는 무작위적이지 않았습니다. 오류는 거의 항상 단 하나의 획이나 작은 구성 요소만 차이가 나는, 시각적으로 매우 유사한 서로 다른 글자들 사이에서 발생했습니다. 시스템은 동일한 글자의 서로 다른 버전을 혼동하는 경우는 드물었지만, 유사한 시각적 구조를 공유하는 두 개의 별개 글자를 구별하는 데에는 자주 어려움을 겪었습니다. 이는 주요 병목 현상이 시간이 흐름에 따른 단일 글자의 변화가 아니라, 서로 거의 동일하게 생긴 서로 다른 글자들을 구별하는 능력에 있음을 나타냅니다.

연구진이 실제 유물에서 발견되는 손상을 시뮬레이션하여 퇴화된 이미지들에 대해 이 시스템들이 어떻게 견디는지 테스트했을 때, 순위가 바뀌었습니다. 깨끗한 이미지에서 가장 우수했던 시스템이 노이즈가 도입되었을 때 가장 견고한 상태를 유지하지는 못했습니다. 깨끗한 데이터에서 2위를 차지했던 하이브리드 모델이 가장 높은 회복력을 보이며, 이미지가 흐릿해지거나 일부가 유실되었을 때 더 높은 정확도를 유지했습니다. 반면, 깨끗한 데이터에서 1위를 했던 모델은 이미지가 손상되었을 때, 특히 획이 마모되었을 때 성능이 급격히 저하되었습니다. 이는 완벽한 이미지를 인식하는 데 탁월한 설계 특징이, 종종 불완전한 실제 역사적 문서를 다루는 데 있어 반드시 가장 신뢰할 수 있는 특징을 보장하는 것은 아님을 시사합니다.

연구진은 또한 결과가 안정적인 것인지 아니면 특정 훈련 과정의 운 좋은 결과인지를 조사했습니다. 전체 실험을 서로 다른 무작위 시작점에서 반복함으로써, 연구진은 상위 성과자들이 일관성을 유지한다는 것을 발견했습니다. 최고의 모델은 계속 상위권을 유지했으며, 상위 3개 모델 그룹 역시 훈련이 어떻게 시작되었는지와 관계없이 변하지 않았습니다. 그러나 하위권 모델 중 일부는 무작위 시드(random seed)에 따라 성능이 크게 요동치며, 실행 시마다 정확도가 최대 25퍼센트까지 차이 나는 모습을 보였습니다. 이러한 불안정성은 선도적인 설계들은 견고하고 신뢰할 수 있는 반면, 오래되었거나 덜 최적화된 아키텍처들은 세심한 튜닝 없이는 실패하기 쉽고 일관된 결과를 보장할 수 없음을 시사합니다.

궁극적으로, 이 연구는 디지털 고문서학(digital paleography)을 위한 명확한 지도를 제공합니다. 이는 고대 중국 글자를 인식하기 위해서는 단순히 사용 가능한 가장 큰 시스템을 사용하는 것보다 효율성과 국소적 세부 사항 탐지 사이의 균형을 맞춘 모델이 더 우수하다는 것을 보여줍니다. 또한 가장 큰 과제는 흔한 글자의 변화를 다루는 것이 아니라, 시각적으로 유사한 희귀 글자들을 구별하는 데 있다는 점을 강조합니다. 표준화된 벤치마크를 구축함으로써, 연구진은 커뮤니티가 진보를 논의할 수 있는 공통 언어를 제공하였으며, 향에 대한 개선이 고립되고 비교 불가능한 개별 실험이 아닌 견고하고 재현 가능한 토대 위에서 측정될 수 있도록 보장하였습니다. 앞으로의 길은 이러한 통찰력을 활용하여 희귀 글자를 위한 특화된 방법을 개발하고, 역사적 기록에 내재된 물리적 퇴화에 견딜 수 있는 시스템을 구축하는 데 있습니다.