Diacritic-Aware Post-OCR Correction for Vietnamese Scanned Documents: A Lightweight Baseline for Low-Quality Document Digitization

기술 요약: 베트남어 스캔 문서의 성조 및 기호 인식을 고려한 후처리 OCR 교정

문제 정의
광학 문자 인식(OCR)은 스캔된 문서를 디지털화하는 데 필수적이지만, 저품질 조건(예: 흐림, 저해상도, 불균일한 조명, 압축 아티팩트)에서 베트남어 텍스트에 적용될 때 상당한 어려움에 직면합니다. 비성조 라틴 문자와 달리, 베트남어는 어휘적 의미를 인코딩하기 위해 복잡한 기호(diacritics)와 성조(tone marks) 체계에 의존합니다. 이러한 기호를 인식할 때 발생하는 미세한 오류(예: ban(주다), bán(팔다), bàn(탁자), bản(사본), bạn(친구)을 혼동하는 경우)는 단어의 의미를 완전히 바꿀 수 있습니다. 열화된 스캔 이미지에서 이러한 작은 기호들은 종종 가장 먼저 소실되거나 잘못 인식되는 요소이며, 이로 인해 표준 OCR 출력물은 검색, 텍스트 마이닝, 기록 보존과 같은 다운스트림 작업에 사용할 수 없게 됩니다. 딥러닝 모델이 존재하기는 하지만, 대규모의 주석이 달린 데이터셋과 고가의 학습 비용을 요구하는 경우가 많아, 실질적인 저자원 디지털화 시나리오에서는 항상 실행 가능한 것은 아닙니다.

방법론
본 논문은 표준 OCR 엔진(예: Tesseract, VietOCR, PaddleOCR) 이후의 모듈형 단계로 작동하도록 설계된 경량화된, 기호 인지형 후처리 OCR 교정 파이프라인을 제안합니다. 방법론은 다섯 가지의 뚜렷한 단계로 구성됩니다:

1. 이미지 전처리: 입력 이미지는 그레이스케일 변환, 노이즈 제거, 대비 향상, 적응형 임계값 처리(또는 Otsu 이진화), 데스크류잉(deskewing) 과정을 거칩니다. 이 단계의 목표는 기호를 지워버릴 수 있는 과도한 이진화를 피하면서 작은 기호의 가시성을 극대화하는 것입니다.
2. OCR 인식: 전처리된 이미지는 "블랙박스" OCR 엔진으로 전달되어 원시 텍스트 토큰($T_{raw}$)을 생성합니다.
3. 오류 후보 탐지: 시스템은 교정이 필요한 "의심스러운" 토큰을 식별합니다. 다음의 경우 토큰이 플래그 처리됩니다:
   • 베트남어 사전에 없는 경우.
   • 기호가 제거된 기본형(base form)이 사전에 있는 여러 단어와 일치하는 경우.
   • 고확률 문맥에서 특이한 문자 조합을 포함하거나 성조 기호가 누락된 경우.
   • 시각적으로 유사한 문자의 혼동을 보이는 경우(예: o/ô/ơ, a/ă/â, u/ư, e/ê).
4. 기호 인지형 교정: 각 후보에 대해, 시스템은 기호를 제거하여 기본형을 찾고 해당 기본형을 공유하는 모든 유효한 베트남어 사전 단어를 검색합니다.
   • 후보 집합이 비어 있는 경우, 편집 거리(edit-distance) 검색을 통해 시각적으로 유사한 단어를 찾습니다.
   • 여러 후보가 존재하는 경우, 문자 유사도, 기호 유사도, 단어 빈도, 로컬 문맥, 도메인 사전 점수, n-gram 확률을 기반으로 한 점수 함수를 사용하여 순위를 매깁니다.
   • 가장 높은 점수를 받은 후보가 교정된 토큰($\hat{w}_i$)으로 선택됩니다.
5. 텍스트 재구성: 교정된 토큰들은 최종 텍스트($T_{corr}$)로 재조립됩니다.

이 접근 방식은 대규모 엔드 투 엔드(end-to-end) 모델을 재학습하는 것을 명시적으로 피하며, 대신 사전 조회, 규칙 기반 치환, 통계적 순위 지정에 의존합니다.

주요 기여
본 논문은 네 가지 주요 기여를 설명합니다:

1. 경량화된 파이프라인: 데이터와 계산 자원이 제한된 시나리오를 위해 설계된, 베트남어의 기호 및 성조 오류를 구체적으로 겨냥한 실용적이고 재현 가능한 후처리 OCR 교정 프레임워크입니다.
2. 오류 분류 체계: 기호 누락, 잘못된 성조, 모음 형태 혼동, 문자 치환, 단어 분절 오류, 레이아웃 관련 노이즈와 같은 문제를 분류한 베트남어 OCR 오류의 정의된 분류 체계입니다.
3. 교정 전략: 대규모 모델 학습 없이 작동하는 사전 기반 및 규칙 기반 교정 메커니즘으로, 후보 생성 및 순위 지정을 활용하여 모호성을 해결합니다.
4. 평가 프레임워크: 향후 연구를 지원하기 위해 문자 오류율(CER), 단어 오류율(WER), 기호 오류율(DER), 정확한 단어 정확도(Exact Word Accuracy)를 포함한 포괄적인 지표 세트와 정성적 분석을 제공합니다.

실험 결과
저자들은 다양한 레이아웃, 폰트 크기, 노이즈 수준을 가진 베트남어 스캔 문서 컬렉션에 대해 파이프라인을 평가했습니다. 논문에 기재된 특정 수치는 프리프린트 초안을 위한 예시적 수치이나, 보고된 추세는 다음과 같습니다:

• 성능 향상: 전처리와 후교정의 결 조합이 최상의 결과를 냈습니다. 원시 OCR과 비교했을 때, 전체 파이프라인은 기호 오류율(DER)을 18.95%에서 6.91%로 감소시켰고, 정확한 단어 정확도를 78.33%에서 87.15%로 향상시켰습니다.
• 품질 민감도: 교정 모듈은 모든 이미지 품질 하위 집합에서 상당한 개선을 보였습니다. 예를 들어, "저해상도" 이미지에서는 단어 오류율(WER)이 6.75% 개선되었고, "흐린 이미지"에서는 8.88% 개선되었습니다.
• 오류 분포: 분석 결과 "성조 누락"(38.6%)과 "모음 기호 누락"(25.1%)이 지배적인 오류 유형임을 확인하였으며, 이는 제안된 방법의 초점이 타당함을 입증합니다.

의의 및 주장
본 논문은 이 연구를 베트남어 OCR, 특히 저품질 문서 디지털화, 역사적 문서 분석, 저자원 언어 기술을 개선하기 위한 단순하고 재현 가능한 베이스라인으로 포지셔닝합니다.

저자들은 상당한 OCR 개선을 위해 반드시 데이터 집약적인 대규모 모델을 재학습할 필요는 없다고 주장합니다. 대신, 경량화된 후처리 모듈을 통해 베트남어 OCR의 의미론적 퇴보의 주요 원인인 체계적인 기호 오류를 효과적으로 복구할 수 있습니다. 이 방법은 반복적이고 도메인 특화된 구절이 있어 사전 기반 교정이 효과적인 행정 및 교육 문서에 특히 유용하다고 강조됩니다.

그러나 본 논문은 한계점에 대해 겸허한 입장을 유지합니다. 이 방법이 사전 커버리지에 크게 의존하며(희귀 이름이나 비표준 철자에서 어려움을 겪음), 주로 인쇄된 텍스트를 대상으로 하며 필기체에는 적합하지 않고, 복잡한 레이아웃 이해 문제(예: 표 열 순서)를 해결하지 못한다는 점을 인정합니다. 저자들은 현재의 접근 방식이 강력한 베이스라인이기는 하지만, 향후 연구에서 남은 과제들을 해결하기 위해 PhoBERT와 같은 신경 언어 모델 및 레이아웃 인지 이해를 통합해야 한다고 강조합니다.