1. 문제 정의 (Problem Statement)

• 현황: 광학 문자 인식 (OCR) 기술은 비전 - 언어 모델 (VLM) 의 등장으로 급격히 발전했으나, 평가 (Benchmark) 는 여전히 소수의 고자원 (High-resource) 및 중자원 (Mid-resource) 스크립트 (주로 라틴어, CJK 등) 에 집중되어 있습니다.
• 한계: 현재 존재하는 주요 벤치마크 (OCR-Bench, OmniDocBench 등) 는 유니코드 (Unicode) 표준에 정의된 172 개 스크립트 중 극히 일부만을 평가합니다. 저자원 (Low-resource) 스크립트나 역사적 문자 체계에 대한 체계적인 평가가 부재합니다.
• 중요성: 유니코드 스크립트 중 148 개는 저자원으로 분류되며, 이는 수천 년의 인류 문명과 문화 유산, 그리고 수천만 명의 화자가 사용하는 언어를 포함합니다. 이러한 문서의 디지털화는 OCR 에 의존하지만, 현재 모델들의 성능을 파악할 수 있는 체계적인 그림이 없습니다.

2. 방법론 (Methodology)

2.1 GlotOCR Bench 벤치마크 구축

• 범위: 158 개의 유니코드 스크립트를 포괄하는 최초의 종합 벤치마크입니다.
• 데이터 구성:
  • 텍스트: GlotLID v3, 위키문헌, Omniglot 등 다양한 소스에서 추출한 실제 다국어 텍스트를 기반으로 합니다. (랜덤 문자열이 아닌 언어적 타당성을 갖춘 문장 사용)
  • 이미지 렌더링: Google Fonts 의 폰트, HarfBuzz(텍스트 셰이핑), FreeType(글리프 래스터화) 을 사용하여 고품질 이미지를 생성합니다.
  • 변형 (Variants): 각 문장에 대해 두 가지 이미지를 생성합니다.
    1. Clean: 흰색 배경, 약간의 회전.
    2. Degraded: 노후화된 문서 시뮬레이션 (텍스처 배경, 잉크 번짐, 기하학적 왜곡, 해상도 저하, JPEG 압축 아티팩트 등).
• 샘플링: 스크립트당 최대 100 문장 (라틴어는 4,000 문장, 일부 중자원 스크립트는 400 문장) 을 포함하여 총 16,375 개의 문장을 평가합니다.
• 리소스 계층 (Resource Tier):
  • High: 라틴어 (1 개).
  • Mid: 아랍어, 키릴, 데바나가리, 한자, 일본어, 한글, 그리스, 히브리어, 태국어 (9 개).
  • Low: 나머지 148 개 스크립트.

2.2 평가 프로토콜

• 모델: 14 개의 오픈 가중치 모델 (dots.ocr, olmOCR, Qwen3-VL 등) 과 2 개의 상용 API 모델 (Gemini 3.1 Flash-Lite, GPT-4.1) 을 제로샷 (Zero-shot) 모드로 평가합니다.
• 지표:
  • CER (Character Error Rate): 문자 단위 편집 거리.
  • Acc@k (Acceptance Rate): CER 이 $k/100$ 이하인 문장의 비율 (주요 지표는 Acc@5, 즉 오차 5% 이내).
  • ScriptAcc: 모델이 입력된 텍스트의 스크립트를 올바르게 식별하는지 여부 (할루시네이션 감지용).

3. 주요 기여 (Key Contributions)

1. GlotOCR Bench 공개: 158 개 유니코드 스크립트를 커버하는 첫 번째 벤치마크와 렌더링 파이프라인을 공개했습니다.
2. 광범위한 평가: 다양한 오픈 소스 및 상용 VLM/OCR 모델에 대한 포괄적인 성능 평가를 수행했습니다.
3. 핵심 발견:
   • 현재 모든 모델의 OCR 일반화 능력은 소수 스크립트로 제한됨.
   • 성능은 스크립트 수준의 사전 학습 (Pretraining) 커버리지와 밀접하게 연관됨.
   • 익숙하지 않은 스크립트를 마주했을 때 모델은 침묵하는 대신, 알고 있는 다른 스크립트의 문자로 할루시네이션 (Hallucination) 을 일으킴.

4. 실험 결과 (Results)

4.1 리소스 계층별 성능

• High (라틴어): 모든 모델이 높은 성능 (Acc@5 > 75%) 을 보임. 최상위 모델은 90% 이상 달성.
• Mid (중자원): 성능이 현저히 저하됨. 최상위 모델 (Gemini 3.1 Flash-Lite) 은 82.7% 를 기록했으나, 다른 모델들은 60% 대 이하로 떨어짐.
• Low (저자원): 대폭적인 성능 붕괴 발생.
  • 148 개 스크립트 중 94% 에 해당하는 저자원 영역에서 모든 모델의 Acc@5 는 10% 미만으로 떨어집니다.
  • 가장 성능이 좋은 모델 (Gemini 3.1 Flash-Lite, dots.ocr 등) 이조차 **7.7%**의 정확도만 기록했습니다.
  • 대부분의 모델은 1% 미만의 점수를 기록하며, 사실상 저자원 스크립트 인식은 해결되지 않은 문제임이 확인되었습니다.

4.2 실패 패턴 분석

• 침묵하지 않는 실패: 모델은 인식 실패 시 빈칸을 반환하거나 불확실성을 표시하기보다, 유사한 다른 스크립트 (주로 라틴어, 아랍어, 데바나가리 등 고자원 스크립트) 로 유창한 텍스트를 생성합니다.
• 할루시네이션: 예를 들어, 구자라트어 (Gujarati) 이미지를 데바나가리 문자로, 타나어 (Thaana) 를 아랍어로 변환하는 등 훈련 데이터에서 가장 많이 접한 스크립트로 매핑하는 경향이 강합니다.
• 힌트 효과: 모델에 스크립트 정체성 (Script identity) 을 알려주는 힌트를 주더라도 성능 향상은 미미했습니다 (평균 +0.7%p). 이는 문제가 스크립트 식별이 아닌 시각적 인식 능력과 사전 학습 데이터의 부재에 있음을 시사합니다.

4.3 이미지 열화 (Degradation) 영향

• 깨끗한 이미지보다 노후화된 문서 이미지의 성능 저하가 모든 리소스 계층에서 발생했습니다.
• 저자원 스크립트의 경우, 이미 베이스라인 성능이 낮아 상대적인 저하폭이 더 컸습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 한계 제시: 최신 최첨단 비전 - 언어 모델조차도 유니코드 스크립트의 90% 이상 (저자원 영역) 에서는 실용적인 OCR 을 수행하지 못함을 증명했습니다.
• 학습 데이터의 중요성: OCR 성능은 시각적 인식 능력뿐만 아니라, 해당 스크립트에 대한 언어 모델의 사전 학습 커버리지에 크게 의존함을 보여줍니다.
• 커뮤니티의 과제: 현재의 OCR 개발이 소수 스크립트에 편향되어 있음을 지적하며, 문화적 보존과 역사적 문헌 디지털화를 위해 저자원 스크립트 연구의 확장을 촉구합니다.
• 재현성: 벤치마크 데이터셋, 렌더링 파이프라인, 평가 코드, 그리고 모든 모델의 결과를 공개하여 향후 연구의 기반을 마련했습니다.

이 논문은 OCR 기술이 "모든 언어를 이해한다"는 과장된 주장과 달리, 실제로는 매우 제한된 스크립트 집합에만 작동하고 있음을 데이터로 명확히 규명했다는 점에서 중요한 의의를 가집니다.