Designing Production-Scale OCR for India: Multilingual and Domain-Specific Systems

이 논문은 Chitrapathak 시리즈를 통해 다국어 OCR 시스템 구축 시 기존 OCR 모델의 파인튜닝이 엔드투엔드 멀티모달 학습보다 정확도-지연 시간 트레이드오프 측면에서 더 효과적임을 입증하고, 인도 정부 문서용 Parichay 모델과 함께 생산 규모의 OCR 파이프라인 구축을 위한 실용적인 가이드를 제시합니다.

핵심

이 논문은 인도라는 거대한 언어의 바다에서, 문서 속 글자를 읽는 'OCR(광학 문자 인식)' 시스템을 어떻게 현실적으로 구축할지에 대한 연구입니다.

인도는 22 개 이상의 공식 언어와 수백 개의 방언이 공존하며, 문서의 형태도 매우 다양합니다. 이 논문은 이런 복잡한 환경에서 **"가장 똑똑한 AI 를 만드는 것"**과 "가장 빠르고 효율적인 시스템을 만드는 것" 중 무엇을 선택해야 하는지, 그리고 그 해답이 무엇인지 알려줍니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: "모든 것을 다 아는 천재" vs "특정 일에 능숙한 전문가"

인도의 문서를 읽으려면 힌디어, 텔루구어, 타밀어 등 다양한 언어를 알아야 합니다. 연구팀은 두 가지 전략을 비교했습니다.

• 전략 1 (Chitrapathak-1): "모든 것을 배우는 천재"

  • 비유: 아무것도 모르는 상태에서 언어학, 역사, 과학을 모두 배우고, 그다음에 문서 읽기 시험을 치르는 대학 신입생입니다.
  • 방식: 일반적인 이미지 인식 AI 와 강력한 언어 모델을 붙여서 처음부터 끝까지 (End-to-End) 학습시킵니다.
  • 결과: 글자는 잘 읽지만, 너무 느리고 비쌉니다. 마치 고급 레스토랑에서 한 끼 식사를 하려면 3 시간이나 기다리는 것과 같습니다.

• 전략 2 (Chitrapathak-2): "이미 전문가인 사람을 채용"

  • 비유: 이미 문서 읽기 실력이 뛰어난 숙련된 직원을 고용해서, 인도 언어만 조금 가르쳐 주는 방식입니다.
  • 방식: 이미 OCR(문자 인식) 에 특화된 모델을 가져와서, 인도 언어 데이터로만 추가 학습 (Fine-tuning) 시킵니다.
  • 결과: 정확도는 더 높고, 속도는 3~6 배나 빠릅니다. 마치 전문 배달 기사처럼 목적지까지 가장 빠른 길로 달려가는 것과 같습니다.

👉 결론: "무에서 유를 창조하는 천재"보다 **"이미 실력이 있는 전문가를 특화시키는 것"**이 인도처럼 복잡하고 빠른 속도가 필요한 환경에서는 훨씬 효과적이었습니다.

---

2. 두 번째 사례: "모든 글자를 읽는 것" vs "필요한 정보만 뽑아내는 것" (Parichay)

첫 번째 모델은 문서의 모든 글자를 읽는 것이 목표였다면, 두 번째 모델인 Parichay(파리차) 는 조금 다릅니다.

• 상황: 인도 정부의 신분증 (아드하르 카드), 운전면허증, 자동차 등록증 같은 문서가 있습니다. 여기서 중요한 건 "문서 전체를 읽는 것"이 아니라 "이름, 주소, 생년월일" 같은 특정 정보만 정확하게 뽑아내는 것입니다.
• 비유:
  • 일반 OCR: 책 한 권을 통째로 복사해서 PDF 로 만드는 일. (불필요한 정보까지 다 포함됨)
  • Parichay: 책에서 '저자 이름'과 '출판일'만 찾아서 메모장에 적어주는 일.
• 성공 요인:
  • 이 모델은 구조화된 정보 (JSON 형식) 만 뽑아내도록 훈련되었습니다.
  • 문서가 비스듬하게 찍혀있으면, AI 가 먼저 "이걸 똑바로 세워야겠다"라고 생각하게 만들었습니다 (회전 모듈).
  • 결과: 기존 비싼 유료 서비스 (Gemini 등) 보다 정확도는 더 높고 (89.8%), 속도는 훨씬 빨랐습니다.

---

3. 이 논문이 우리에게 주는 교훈 (요약)

이 연구는 산업 현장에서 AI 를 쓸 때 중요한 세 가지 원칙을 알려줍니다.

1. 무조건 큰 모델을 쓸 필요는 없다: 모든 것을 다 배우게 하면 느리고 비쌉니다. 이미 특정 일에 능숙한 모델을 가져와서 필요한 부분만 가르치는 게 훨씬 효율적입니다.
2. 문맥에 맞는 설계가 중요하다: "모든 문서를 읽는 것"과 "특정 정보를 뽑는 것"은 다른 문제입니다. 목적에 따라 모델을 따로 만들어야 합니다.
3. 속도와 정확도의 균형: 인도처럼 문서가 많고 언어가 복잡한 곳에서는, 1 초라도 더 빠르게 처리하는 것이 정확도만큼이나 중요합니다.

🌟 한 줄 요약

"인도의 복잡한 문서들을 처리하려면, '모든 것을 아는 천재'를 키우기보다, '이미 실력 있는 전문가'를 데려와서 인도 언어만 가르치고, 필요한 정보만 뽑아내게 하는 것이 가장 빠르고 똑똑한 방법이다."

이 논문은 AI 를 단순히 기술적으로만 접근하는 것이 아니라, 실제 현장에서 어떻게 쓰일지 (생산성, 속도, 비용) 를 깊이 고민한 훌륭한 사례입니다.

기술 요약

1. 문제 정의 (Problem Statement)

인도의 OCR 환경은 다음과 같은 고유한 도전 과제를 가지고 있습니다:

• 언어적 다양성: 10 개 이상의 인도어 (Indic) 스크립트와 영어가 혼재되어 있으며, 복잡한 자모음 결합 (ligatures) 과 다양한 폰트 변이가 존재합니다.
• 문서 이질성: 고밀도 레이아웃, 다양한 인쇄 품질, 손글씨와 인쇄체의 혼재, 그리고 다양한 문서 형식 (정부 서류, 서적, 양식 등) 이 공존합니다.
• 배포 제약: 대규모 디지털화 파이프라인에서는 낮은 지연 시간 (latency), 높은 처리량 (throughput), 비용 효율성 및 신뢰성이 필수적입니다.

기존의 범용 비전 - 언어 모델 (VLM) 은 유연하지만, 인도어에 특화되지 않았거나 추론 속도가 느려 실제 산업 적용에 한계가 있습니다. 따라서 정확도와 속도 간의 최적 균형을 찾는 전략이 필요합니다.

2. 방법론 (Methodology)

저자들은 두 가지 주요 접근 방식을 비교하고, 세 가지 모델 시리즈를 개발했습니다.

A. Chitrapathak 시리즈 (다국어 OCR)

인도어 다국어 OCR 을 위한 두 가지 학습 전략을 비교합니다.

1. Chitrapathak-1 (LLaVA 스타일 엔드 - 투 - 엔드 학습):

   • 아키텍처: CLIP(비전 인코더) + Krutrim-1 7B(다국어 LLM 디코더) 를 결합.
   • 학습 방식: 멀티모달 사전 학습 (Projection Layer 만 학습) 과 지도 미세 조정 (Supervised Fine-Tuning) 을 거침.
   • 한계: 고정된 해상도 입력으로 인해 작은 텍스트 인식 저하가 발생하여 타일링 (tiling) 전략을 사용해야 함. 이로 인해 vLLM 같은 최적화된 추론 스택과 호환되지 않아 지연 시간이 길고 메모리 오버헤드가 큼.

2. Chitrapathak-2 (OCR 특화 모델 미세 조정):

   • 아키텍처: Nanonets-OCR2-3B (Qwen2.5-VL 기반) 를 베이스로 사용.
   • 특징: 네이티브 해상도 지원 (2D-RoPE, 윈도우 어텐션) 으로 동적 타일링 불필요. vLLM 과 완벽 호환.
   • 학습 방식: 인도어 데이터로 직접 지도 미세 조정 (Supervised Fine-Tuning) 수행. 베이스 모델은 인도어 학습 데이터가 없었으나, OCR 특화 구조를 유지한 채 언어 적응만 수행.
   • 장점: 데이터 효율성이 높고 추론 속도가 매우 빠름.

B. Parichay 시리즈 (도메인 특화 구조화 추출)

인도 정부 문서 (Aadhaar, 운전면허증, PAN 카드 등 9 가지) 에서 구조화된 키 - 값 필드를 추출하는 데 특화된 모델입니다.

• 전략: Chitrapathak-2 와 유사하게 OCR 특화 모델 (Phi-3.5 Vision 또는 Nanonets-OCR2-3B) 을 미세 조정.
• 전처리: 문서 회전 (Rotation) 모듈을 통합하여 문서 방향을 정규화 (Phi-3.5 Vision Encoder 기반).
• 출력: 자유형 텍스트가 아닌, 스키마에 맞는 JSON 형식의 키 - 값 쌍을 직접 생성.
• 학습: LoRA(파라미터 효율적 미세 조정) 와 전체 파라미터 미세 조정 (Full Fine-Tuning) 을 비교.

3. 주요 기여 (Key Contributions)

1. 전략 비교 및 검증: 범용 VLM 의 엔드 - 투 - 엔드 학습 (Chitrapathak-1) 보다 **OCR 특화 모델의 미세 조정 (Chitrapathak-2)**이 다국어 및 도메인 적응에서 정확도 - 지연 시간 트레이드오프 측면에서 우월함을 실증했습니다.
2. Chitrapathak-2 의 성능: 10 개 인도어와 영어를 지원하며, 텔루구어 (Telugu) 에서 SOTA(6.69 char ANLS) 를 달성하고 나머지도 상위권을 유지합니다. Chitrapathak-1 대비 3~6 배의 속도 향상을 기록했습니다.
3. Parichay 모델 개발: 9 가지 정부 문서에 특화된 모델로, 회전 모듈과 결합 시 89.8% 의 Exact Match (EM) 점수를 달성하여 폐쇄형 상용 솔루션 (Gemini-2.5 Flash 등) 을 능가했습니다.
4. 실용적 가이드라인: 다국어 OCR 과 도메인 특화 추출을 위한 구체적인 설계 원칙 (학습 전략, 모델 특화, 문서 범위 고려) 을 제시했습니다.

4. 실험 결과 (Results)

Chitrapathak 성능 (다국어 OCR)

• 정확도: Chitrapathak-2 는 모든 언어에서 베이스 모델 (Nanonets-OCR2-3B) 과 Chitrapathak-1 을 능가했습니다. 특히 텔루구어에서 SOTA 를 기록했고, 다른 언어에서도 Gemini-2.5 Flash 와 근접한 성능을 보였습니다.
• 지연 시간: Chitrapathak-2 는 Chitrapathak-1 대비 3~6 배 빠르며, GPT-4o 보다도 일관되게 빠릅니다.
  • 예: 영어 3.10 초 vs Chitrapathak-1 14.38 초.
• 한계: 희귀 인도어 스크립트나 복잡한 레이아웃 (색인 페이지 등) 에서는 성능이 저하될 수 있음.

Parichay 성능 (구조화 추출)

• 정확도: 전체 파라미터 미세 조정 + 회전 모듈을 적용한 Parichay-2가 89.8% EM을 기록하여 Gemini-2.5 Flash(86.0%) 를 상회했습니다.
• 속도: vLLM 을 사용한 Parichay-2 는 문서당 1.03 초의 지연 시간을 보여, Parichay-1 대비 약 4 배 빠른 추론 속도를 달성했습니다.
• LoRA vs Full Fine-Tuning: 도메인 제약이 명확한 경우, 파라미터 효율적 방법 (LoRA) 보다 전체 미세 조정이 더 안정적이고 정확한 적응을 제공했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 인도와 같은 다국어 및 복잡한 문서 환경에서 생산 규모의 OCR 시스템을 구축할 때 중요한 통찰을 제공합니다:

1. 특화 모델의 우위: 범용 VLM 을 처음부터 학습시키기보다, OCR 에 특화된 백본 (Backbone) 을 기반으로 미세 조정하는 것이 데이터 효율성과 성능 면에서 훨씬 우수합니다.
2. 인프라 정렬: vLLM 과 같은 최적화된 추론 프레임워크와 호환되는 아키텍처 (네이티브 해상도 지원, 동적 타일링 불필요) 를 선택하는 것이 지연 시간 단축에 결정적입니다.
3. 도메인 특화의 가치: 문서 스키마가 알려진 경우 (정부 서류 등), 일반 OCR 을 거치지 않고 구조화된 추출을 직접 학습하는 것이 정확도와 속도를 동시에 극대화합니다.
4. 토큰화 효율성: 다국어 OCR 에서 지연 시간의 주요 요인은 모델 크기보다 **토큰화 효율성 (Token-to-word ratio)**임을 확인했습니다 (예: 말라얄람어, 텔루구어는 토큰 길이가 길어 지연 시간 증가).

결론적으로, 저자들은 인도와 같은 복잡한 환경에서는 "단일 최선 모델"이 존재하지 않으며, 문서 범위와 배포 제약 조건에 맞춰 학습 전략 (미세 조정 vs 엔드 - 투 - 엔드) 과 모델 특화 (일반 OCR vs 구조화 추출) 를 유연하게 선택해야 함을 강조합니다.