기술 요약: 집계 지표를 넘어, 갑골문자 검출 및 인식의 롱테일 실패 진단

1. 문제 정의

본 논문은 갑골문 탁본 이미지에서 갑골문자를 자동으로 검출하고 인식하는 과제를 다룹니다. 이는 AI 지원 고문서 연구를 위한 핵심적인 입문 단계입니다. 기존 연구들이 문자 '위치 검출(localization)'(문자가 어디에 있는지 찾는 것)을 위한 벤치마크를 구축했다면, 최근 공개된 갑골문 멀티모달 데이터셋(OBIMD)은 전체 이미지 기반의 '검출 및 인식'(특정 글자를 식별하는 것)에 대한 최초의 대규모 평가를 가능하게 했습니다.

식별된 핵심 문제는 **극심한 롱테일 클래스 분포(extreme long-tailed class distribution)**입니다. OBIMD는 1,700개 이상의 글자 카테고리를 포함하고 있으나, 학습 데이터는 다음과 같이 심하게 왜곡되어 있습니다:

• 헤드 클래스(Head classes): 100개 이상의 인스턴스를 가진 약 133개 카테고리.
• 퓨샷 클래스(Few-shot classes): 단 1~5개의 인스턴스만을 가진 약 1,022개 카테고리.
• 미학습 클래스(Unseen classes): 학습 인스턴스가 0개인 69개 카테고리.

저자들은 표준적인 집계 평가 지표(예: 전체 mAP)가 희귀 클래스에서 발생하는 심각한 성능 실패를 은폐한다고 주장합니다. 직접적인 멀티 클래스 YOLO 베이스라인은 0.63이라는 준수한 AP50을 달acia하지만, 퓨샷 클래스에서의 성능은 AP50이 0.06에 불 정도로 무너집니다. 본 논문은 이 병목 현상이 위치 검출(localization)의 문제가 아니라, 단일 검출 헤드 내에서 위치 검출과 롱테일 인식이 결합되어 발생하는 문제라고 상정합니다.

2. 방법론

진단 프레임워크

저자들은 성능을 Head, Medium, Long-tail, Few-shot, Unseen 그룹으로 나누는 **빈도 인식 계층화 평가 프로토콜(frequency-aware stratified evaluation protocol)**을 제안합니다. 이 프로토콜은 집계 지표가 어떻게 "희귀 클래스 붕괴(rare-class collapse)"를 가리는지 보여줍니다.

제안 솔루션: FAR-YOLO

결합 문제를 해결하기 위해, 저자들은 위치 검출 학습과 인식 학습을 분리하도록 설계된 최소한의 디커플링 베이스라인인 FAR-YOLO(Frequency-Aware Recognition YOLO)를 도입합니다.

1. 클래스 불가지론적 위치 검출(Class-Agnostic Localization): 특정 글자 클래스를 예측하지 않고, 오직 "갑골문자" 영역(전경 대 배경)만을 식별하도록 YOLO11s 검출기를 학습시킵니다. 이 브랜치는 후보 영역 확보를 최적화하며, 클래스 불균형에 강건합니다.
2. 빈도 인식 인식(Frequency-Aware Recognition): 검출된 각 바운딩 박스에서 크롭(crop)을 추출하여 별도의 ResNet18 인식기에 전달합니다. 이 브랜치는 롱테일을 처리하기 위해 다음 전략을 사용하여 학습됩니다:
   • 노출 재균형(Exposure Rebalancing): 검출기에 영향을 주지 않으면서 희귀 클래스(Long-tail 및 Few-shot)의 최적화 노출을 늘리기 위해, 그룹 의존적 가중치(예: 퓨샷 클래스에 대해 가중치 $\beta=8$)를 사용하여 학습 중 업샘플링을 수행합니다.
   • 형태 보존 증강(Morphology-Preserving Augmentation): 일반적인 OCR에서 흔히 쓰이는 공격적인 뒤집기나 왜곡을 피하고, 획의 토폴로지와 의미적 정체성을 엄격히 보존하도록 데이터 증강을 적용하여 희귀 글자가 유효하게 유지되도록 합니다.
3. 신뢰도 게이트 융합(Confidence-Gated Fusion): 최종 점수는 위치 검출 신뢰도와 인식 확률의 곱으로 계산됩니다. 시스템은 최대 신뢰도 점수가 임계값 $\tau$보다 낮을 경우, 예측을 강제로 폐쇄 집합(closed-set) 레이블로 할당하는 대신 거부(rejection)하는 메커니즘을 채택하여, 전문가 검증이나 검색 보조 탐색이 가능하게 합니다.

3. 주요 기여

1. 태스크 구조 진단: 갑골문 검출에서 클래스 불가지론적 위치 검출은 이미 강력하며(AP50 $\approx$ 0.85), 주요 병목은 롱테일 인식임을 입증했습니다. 또한, 표준 검출 헤드 내에서의 단순 역빈도 재가중치(inverse-frequency reweighting) 적용은 전체 성능을 저하시키면서도 희귀 클래스에는 거의 도움이 되지 않는 역효과를 낸다는 것을 보여주었습니다.
2. 빈도 인식 평가: 저자들은 성능을 빈도 그룹별로 세분화하여 희귀하고 역사적으로 중요한 글자에 대한 모델의 실패를 드러내는 계층화된 평가 체계를 도입하고 공개했습니다.
3. FAR-YOLO 베이스라인: 퓨샷 AP50을 10.5 퍼센트 포인트(0.06에서 0.17로) 향상시키고, 클래스 균형 AP50을 3.7 포인트 높이는 동시에, 직접 검출기의 전체 AP50을 유지하는 디커플링 아키텍처를 제안했습니다.
4. 후보 순위 통찰(Candidate Ranking Insight): Top-5 후보 분석을 통해, 희귀 글자의 경우 Top-1 예측이 틀리더라도 정답이 모델의 Top-5 후보 안에 자주 포함되어 있음을 보여주었습니다. 이는 실패의 원인이 시각적 표현의 문제라기보다 강제적인 단일 레이블 결정의 문제임을 시사합니다.

4. 결과

• 집계 vs. 계층화 성능: 직접적인 멀티 클래스 YOLO는 전체 AP50 0.6347을 달성했으나 퓨샷 클래스에서는 실패(0.0611)했습니다. 직접 검출기에 클래스 재가중치를 적용하면 전체 AP50은 0.5285로 낮아지며, 퓨샷 클래스에 대한 이득은 미미했습니다(0.0770).
• 디커플링 성능: FAR-YOLO는 전체 AP50 0.6533(직접 베이스라인보다 약간 높음)을 달성하면서도, 퓨샷 AP50을 0.1660으로, 클래스 균형 AP50을 0.3767로 크게 끌어올렸습니다.
• 절제 연구(Ablation Studies):
  • 오버샘플링 단독 적용: 전체 성능을 해치지 않으면서 희귀 클래스 지표를 개선합니다.
  • 증강 단독 적용: 전체 AP50은 개선하지만 퓨샷 인식 개선에는 실패합니다.
  • 결합 효과: 오버샘플링과 형태 보존 증강의 시너지가 최선의 결과를 냅니다.
• Top-5 분석: 평가를 Top-1에서 Top-5 매칭으로 완화하면 교차 엔트로피 캐스케이드의 퓨샷 AP50이 두 배로 증가(0.0790 $\to$ 0.1713)합니다. 이는 모델이 정답 글자를 알고 있음에도 첫 번째 순위로 올리지 못함을 나타냅니다.
• 효율성: FAR-YOLO는 직접 검출기보다 약 28.5% 느리지만(38.22 FPS vs 49.12 FPS), 오프라인 처리에 실용적인 수준입니다.

5. 의의 및 주장

본 논문은 갑골문 인식 분야가 집계 지표 최적화와 '검출기 엔지니어링'을 넘어 나아가야 한다고 주장합니다. 주요 의의는 다음과 같습니다:

• 병목 현상의 재정의: 어려움의 핵심이 글자를 찾는 것이 아니라, 희귀 글자의 롱테일 인식에 있음을 확립했습니다.
• 평가 개혁: 미래의 연구가 역사적으로 중요한 희귀 글자에 대한 모델의 실패를 은폐하지 않도록 빈도 인식 프로토콜을 채택해야 함을 강조합니다.
• 시스템 설계의 전환: 실용적인 시스템은 폐쇄 집합의 강제 분류 대신 후보 순위 지정, 검색 보조 인식, 그리고 인간 참여형(human-in-the-loop) 검증을 지향해야 합니다. 저자들은 희귀 글자가 종종 Top-k 후보에 존재하므로, 목표는 단일 자동 레이블을 강제하는 것이 아니라 전문가의 선택을 돕는 것이어야 한다고 강조합니다.

저자들은 디커플링과 재균형을 적용했음에도 불구하고 퓨샷 성능(0.17 AP50)이 완전 자동 해석을 위해 "사용 가능한" 수준에는 미치지 못한다는 점을 인정하며, 현재 연구가 OBIMD 탁본 모달리티에 국한되어 있다는 점을 명시하며 겸허한 태도를 유지합니다.