Can OCR-VLMs Read Devanagari? A Stress-Test Benchmark and Post-Correction Study

기술 요약: OCR-VLM은 데바나가리(Devanagari)를 읽을 수 있는가?

문제 정의
고전적 엔진부터 특화된 OCR 시각-언어 모델(OCR-VLM), 그리고 최첨단 멀티모달 LLM에 이르는 현대적 OCR 시스템들은 영어와 중국어 문서 벤치마크에서 강력한 성능을 입증하고 있지만, 인도 계열 문자에 대한 효용성은 여전히 규명되지 않은 상태로 남아 있다. 데바나가리(힌디어 및 기타 언어에 사용됨)는 라틴 문자나 CJK(한중일) 텍스트에는 없는 고유한 구조적 도전 과제를 제시한다. 여기에는 결합 자음(sam.yuktākṣar), 여러 방향으로 배치되는 의존 모음 기호(matras), 연결 헤드라인(shirorekha), 누크타(nukta) 디아크리틱, 빈번한 코드 믹싱(code-mixing), 그리고 이중 숫자 체계가 포함된다. 본 논문은 새로운 OCR-VLM과 최첨단 LLM을 대상으로 한 데바나가리 대규모 평가의 공백을 다루며, 영어/중국어 벤치마크에서의 최첨단 성능 향상이 인도 계열 스크립트로 전이되는지에 대해 의문을 제기한다.

방법론
저자들은 통제된 다중 폰트, 다중 조건 벤치마크와 실세계 스트레스 테스트를 구축하였다:

• 데이터: 평가는 훈련에서 제외된 FLORES 테스트 세트의 데바나가리 문장 100개를 다섯 가지 다른 폰트로 렌더링하여 활용한다. 또한, 합성 데이터와 실제 데이터 간의 격차를 측정하기 위해 Sanskrit-OCR-Typed 코퍼스에서 추출한 300개의 실제 인쇄된 데바나가리 이미지(단어 및 짧은 구 단위)를 사용하였다.
• 열화(Degradation): 합성 이미지는 네 가지 조건(클린, 가우시안 블러, 가산 픽셀 노이즈, 저해상도 DPI 스케일링)에 노출되었다.
• 모델: 네 가지 제품군에 걸쳐 10개의 시스템을 평가하였다:
  • 고전적 모델: EasyOCR.
  • 오픈 VLM: Qwen2.5-VL-3B, Qwen3-VL-8B, olmOCR-7B.
  • 특화된 OCR-VLM: DeepSeek-OCR, Unlimited-OCR.
  • 최첨단 폐쇄형 모델 (API): Google Gemini 2.5 Flash, Anthropic Claude Opus 4.7, OpenAI GPT-5.5, Mistral OCR.
• 지표: 평가에는 글자 오류율(CER), 단어 오류율(WER), 그리고 chrF++(글자 n-gram F-score)를 사용한다. 저자들은 데바奈가리의 그래핌(grapheme) 복잡성으로 인해 코드 포인트 기반의 CER이 구조적 오류를 과소평가할 수 있다고 언급한다. 결정적으로, 본 연구는 평균값뿐만 아니라 드물지만 심각한 실패 모드를 고려하기 위해 중앙값 CER과 재앙적 비율(CER > 50%인 샘플의 비율)을 함께 보고한다.
• 사후 교정(Post-Correction): 저렴한 엔진의 오류를 경량 교정기가 회복할 수 있는지 테스트하기 위해, 6,000개의 (노이즈가 섞인 OCR 출력, 클린 텍스트) 쌍을 사용하여 바이트 수준의 ByT5-small 모델을 미세 조정하였다.

주요 결과

1. 합성 텍스트는 차이를 은폐한다: 렌더링된 클린 텍스트 상에서 10개 시스템 모두 chrF++ 범위 91~98 사이로 밀집되어 나타난다. 합성 벤치마크는 고전적 엔진, 오픈 VLM, 특화된 OCR-VLM 간의 차이를 구분해내지 못한다.
2. 특화된 OCR-VLM의 취약성: 열화 조건 하에서 특화된 모델들은 상당한 불안정성을 보인다. DeepSeek-OCR은 가장 좋은 중앙값 CER을 가졌음에도 불구하고, 드물지만 재앙적인 반복 실패(참조 길이의 최대 71배 출력)를 겪으며 이는 평균 오차를 높인다. Unlimited-OCR 역시 완만하게 저하된다. 반면, 일반적인 VLM(Qwen)과 고전적 엔진(EasyOCR)은 합성 열화 상황에서도 비교적 안정적이다.
3. 실제 스캔본에서의 붕괴: 실제 인쇄된 스캔본에서 성능 격차는 극적으로 벌어진다. 10개 중 9개의 시스템이 붕괴하며, chrF++ 점수는 76포인트의 넓은 범위로 분산된다.
   • 특화 모델의 실패: DeepSeek-OCR과 Unlimited-OCR은 환각(hallucination)과 재앙적 오류가 빈번하게 발생하며 최하위 순위로 떨어졌다 (각각 chrF++ 10.4 및 24.7).
   • 영어 성능은 예측 지표가 아니다: 영어 OCR 성능은 인도 계열 성능과 상관관계가 없다. GPT-5.5는 chrF++ 58.5로 하락하여 EasyOCR과 동률을 기록했으며, olmOCR-7B는 40.5로 떨어졌다.
   • 상위 성능 모델: 프론티어 폐쇄형 모델(Gemini, Claude)이 각각 86.3과 82.2의 chrF++ 점수로 선두를 차지했다. 주목할 점은, 단일 24 GB GPU에서 실행 가능한 오픈 소스 Qwen3-VL-8B가 75.2를 달성하며 GPT-5.5를 능가하고 Mistral에 근접했다는 것이다.
4. 오류 분류(Error Taxonomy):
   • 고전적 엔진 (EasyOCR): 주로 표면 요소(예: 숫자를 라틴 숫자로 전사) 및 문장 부호 정규화에서 실패한다.
   • VLM: 주로 결합 자음, matra, nukta를 포함한 구조적 요소에서 실패한다.
   • 유사 형태 혼동 (Look-alike Confusions): 반복되는 오류(예: ba↔va, gha↔dha)는 모든 시스템에서 일관되게 나타나며, 시각적/음성적 유사성에 의해 발생한다.
5. 사후 교정의 한계: EasyOCR의 오류 분포에 학습된 바이트 수준의 사후 교정기는 해당 엔진의 성능을 개선(chrF++ +1.2 ~ +1.5)하지만, 다른 엔진(Qwen, Unlimited, DeepSeek)에 적용했을 때는 중립적이거나 오히려 해로운 결과를 초래했다.

의의 및 주장
본 논문은 합성 데이터만을 사용하는 벤치마크가 데바가리 OCR에 있어 오해의 소지가 있다고 주장한다. 이는 실제 세계의 열화가 드러내는 결정적인 강건성 차이를 숨기기 때문이다. 저자들은 다음과 같이 주장한다:

• 특화된 OCR-VLM은 현재 인도 계열 스크립트에 대해 가장 안전하지 않은 선택이다. 이는 재앙적인 반복 루프와 실제 스캔본에 대한 낮은 일반화 능력 때문이다.
• 강력한 영어 OCR 성능은 인도 계열 OCR 능력의 나쁜 예측 지표이다. 영어 벤치마크를 선도하는 모델들(GPT-5.5, olmOCR-7B)이 데바가리에서는 크게 뒤처진다.
• 오픈 모델이 폐쇄형 프론티어 모델과 경쟁할 수 있다: Qwen3-VL-8B는 오픈 소스 기반의 로컬 실행 가능 모델이 인도 계열 스크립트에서 최상위급 폐쇄형 API의 성능에 근접할 수 있음을 보여준다.
• 방법론적 기여: 본 연구는 OCR 성능을 충실히 요약하기 위해 단순히 평균을 보고하는 대신 중앙값 CER과 재앙적 비율을 보고할 것을 권장하며, 엔진별 학습이 필요한 분포 매칭 사후 교정 접근법을 제공한다.

저자들은 실제 평가가 인도 계열 스크립트에 필수적이라고 결론지으며, 향후 인도 계열 OCR 시스템 평가를 지원하기 위해 벤치마크, 코드 및 모델을 공개한다.