Automated sign detection across the Electronic Babylonian Library: A large-scale dataset and end-to-end cuneiform OCR pipeline

기술 요약: 전자 바빌로니아 라이브러리 전반의 자동 부호 탐지

문제 정의
본 연구는 아시리아학의 결정적인 병목 현상인, 방대한 규모와 전문 지식의 필요성으로 인해 약 50만 개의 발굴된 쐐기문자 점토판을 수동으로 분석할 수 없는 문제를 다룬다. 컴퓨터 비전은 대규모 해독을 위한 경로를 제시하지만, 쐐기문자는 현대 문자와 구별되는 독특한 과제들을 안고 있다. 쐐기 모양의 각인은 3차원적이며, 형태와 방향에서 상당한 시대적 변이를 보이고, 물리적 손상(침식, 균열, 소실된 쐐기)에 의해 가려지는 경우가 많다. 또한, 기존의 광학 문자 인식(OCR) 및 객체 탐지(OD) 모델은 알파벳 문자에 적합하도록 설계되어 있어 쐐기문자에는 부적합하다. 이 분야의 주요 한계는 대규모의 정밀하게 주석이 달린 데이터셋의 부족이었는데, 이는 이러한 데이터를 생성하는 데 노동 집약적인 문헌학적 전문 지식이 필요하기 때문이다.

방법론
저자들은 Cobanoglu 등(2024)이 도입한 Deformable Detection Transformer(DETR) 구조를 기반으로 하고 확장한, 쐐기문자 부호 탐지 및 구조적 조직화를 위한 엔드 투 엔드 파이프라인을 제안한다.

• 데이터셋: 본 시스템은 전자 바빌로니아 라이브러리(eBL) 내 1,931개의 점토판 파편으로부터 추출된 124,504개의 개별 주석 부호를 포함하며, 현재까지 공개된 가장 큰 규모의 쐐기문자 부호 탐지용 지도 학습 데이터셋을 활용한다. 이 데이터셋은 다양한 박물관 컬렉션(예: 대영박물관, 예일, 이라크 박물관)과 연대(전사르곤 시대부터 후기 바빌로니아 시대까지)를 포괄한다.
• 모델 아키텍처: 핵심 탐지 모델은 헝가리안 매칭(Hungarian matching)을 사용하여 학습된 ResNet-50 백본 기반의 Deformable DETR이다. 저자들은 두 가지 클래스 세분화 수준을 평가한다: 더 넓은 부호 범위를 보존하는 173개 클래스 모델과, 빈도가 낮은 클래스를 병합하여 베이스라인에 맞춘 106개 클래스 모델이다. 롱테일 분포(long-tailed distribution) 문제를 해결하기 위해, 사례 수가 90개 미만인 클래스들은 "불분명한 부호(UnclearSign)" 카테고리로 병합된다.
• 추론 파이프라인 확장: 원시 시각적 탐지와 구조화된 텍스트 사이의 간극을 메우기 위해, 저자들은 세 가지 전처리 및 후처리 구성 요소를 도입한다:
  1. 자동 점토판 측면 추출: 다중 표면 사진에서 개별 점토판 표면을 분리하여 입력 스케일을 정규화하고 배경 잡음(예: 자, 고정 장치)을 제거하는 휴리스틱 세그멘테이션 단계이다.
  2. DBSCAN 기반 행 그룹화: 탐지된 부호들을 수평 텍스트 행으로 클러스터링하기 위해 이방성 거리 메트릭(anisotropic distance metric)이 사용된다. 이 방법은 스케일 불변성을 가지며, 다양한 해상도와 조밀한 배치를 처리하기 위해 평균 부호 크기에 따라 좌표를 정규화한다.
  3. N-gram 텍스트 평가: 시각적 지표에만 의존하는 대신, 시스템은 탐지 임계값을 조정하고 텍ual 일관성을 평가하기 위해 수동 전사본과의 1-, 2-, 3-gram 매칭을 활용한다.

주요 기여

1. 데이터셋 확장: 저자들은 벤치마크 데이터셋을 52,102개에서 124,504개의 주석 부호로 확장하여, 쐐기문자 부호 탐지를 위한 가장 큰 규모의 지도 학습 데이터셋을 구축했다.
2. 재현 가능하고 확장 가능한 파이프라인: 저자들은 DETR 기반 모델의 재구현을 제공하고, 실제 박물관 사진의 구조적 가변성을 해결하기 위해 자동 점토판 측면 추출 및 견고한 행 그룹화 기능을 갖춘 추론 워크플로우를 확장했다.
3. 포괄적 평가: 본 연구는 87,668개의 점토판 파편에 대해 대규모 추론을 수행하여 약 290만 개의 부호 탐지 결과를 생성했다. 성능은 표준 COCO 스타일 메트릭과 새로운 n-gram 텍스트 유사도 측도를 사용하여 평가된다.

결과

• 탐지 성능: 제안된 시스템은 매칭된 106개 클래스 층화 분할(stratified split) 하에서 COCO 스타일 메트릭(AP, AP50, AR) 기준, 이전 베이스라인(Cobanoglu et al., 2024) 대비 **28–37%**의 일관된 개선을 달enc성했다. 106개 클래스 모델은 분류 모호성이 줄어들기 때문에 집계 메트릭에서 일반적으로 173개 클래스 모델보다 우수한 성능을 보이지만, 미세한 문헌학적 구분을 보존하기 위해 대규모 추론에는 173개 클래스 모델이 유지된다.
• 절제 실험(Ablation Studies): 점토판 측면 추출 단계를 제거했을 때 성능이 급격히 하락(AP가 0.265에서 0.107로 감소)하여, 개별 점토판 표면을 격리하는 것의 필요성을 확인했다. 마찬가지로, 제안된 DBSCAN 행 그룹화는 고정 픽셀 임계값 접근 방식보다 우수한 성능을 보였으며, 평균 n-gram 매치 점수를 0.205에서 0.232로 향상시켰다.
• 대규모 추론: 전체 eBL 코퍼스에 적용했을 때, 모델은 2,892,350개의 부호 탐지 결과를 생성했다. 결과로 나타난 부호 빈도 분포는 훈련 데이터의 롱테일 구조를 반영했다.
• 텍스트 정렬: 26,790개의 파편을 대상으로 한 서브셋에서, 시스템은 평균 n-gram 매치 점수 0.232(95% CI [0.230, 0.234])를 달성했다. 이는 일관된 정렬 능력을 나타내지만, 저자들은 현재의 173개 클래스 레이블 공간에 의해 약 9%의 참조 n-gram이 제외되며, 성능이 손상 정도와 레이아웃 밀도에 따라 크게 달라진다고 언급했다.

의의 및 한계
본 논문은 이 작업이 코퍼스 전반의 쐐기문자 분석을 위한 확장 가능하고 해석 가능한 토대를 제공한다고 주장한다. 언어적 사전 지식 없이 작동함으로써, 시스템은 익숙한 패턴에 출력을 편향시키지 않고 특이한 부호 조합이나 희귀한 텍스트 패턴을 탐지할 수 있는 능력을 보존한다. 시각적 탐지와 n-gram 평가의 통합은 원시 이미지 처리와 구조화된 텍스트 분석 사이의 간극을 메운다.

그러나 저자들은 다음과 같은 몇 가지 한계를 명시적으로 인정한다:

• 언어적 사전 지식의 부재: 시스템은 시퀀스 모델링 없이 부호를 독립적으로 취급하므로, 오류를 수정하기 위해 의미론적 또는 통사론적 제약을 활용할 수 없다.
• 손상에 대한 민감도: 모델은 심하게 손상되거나 왜곡된 부호에 취да하며, 이를 "불분명함"으로 분류하기보다는 종종 확신을 가지고 잘못된 예측을 내놓는다.
• 레이아웃 가변성: DBSCAN이 행 그룹화를 개선하지만, 여 이는 여전히 전역적 휴리스틱이며 매우 불규칙한 간격, 곡면 또는 다중 열 레이아웃을 가진 점토판에서는 실패할 수 있다.

저자들은 현재의 파이프라인이 중요한 진전이지만, 견고한 엔드 투 엔드 전사(transliteration)를 달성하기 위해서는 향-후 시각적, 언어적, 레이아웃 인지 모델링을 통합해야 한다고 결론지었다.