A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents

이 논문은 현대적이고 서구 중심적인 평가 기준이 역사적 문서, 특히 흑인 역사 신문의 OCR 시스템 성능을 제대로 평가하지 못해 구조적 무형과 대표성 해악을 초래한다는 점을 PRISMA 프레임워크를 통해 분석하고, 이러한 격차의 원인을 조직적·제도적 구조에서 찾으며 개선 방안을 제시합니다.

핵심

🕵️‍♂️ 핵심 비유: "유능한 번역가지만, '옛날 방'을 모르는 사람"

이 논문의 주인공은 OCR(광학 문자 인식) 기술입니다. 쉽게 말해, **"종이에 적힌 글자를 컴퓨터가 읽어서 텍스트로 바꿔주는 기술"**이죠.

최근 이 기술은 정말 똑똑해져서, 복잡한 문서의 구조까지 이해하고 번역까지 해냅니다. 하지만 문제는 이 똑똑한 컴퓨터가 '배운 것'과 '실제 필요한 것'이 너무 다르다는 점입니다.

1. 컴퓨터는 어떤 '학교'를 다녔을까? (편향된 교육)

현재 가장 똑똑한 OCR 모델들은 현대적인 기업 문서, 과학 논문, 깔끔한 PDF들로만 훈련받았습니다.

• 비유: 이 컴퓨터가 마치 **"최신 고층 빌딩과 깔끔한 사무실"**에서만 자란 사람이라고 상상해 보세요.
• 문제: 이 사람이 갑자기 **"19 세기 흑인 신문"**을 읽으라고 하면 어떨까요?
  • 그 신문은 종이 상태가 낡고 (미세필름 스캔), 글씨체가 독특하며 (고딕체), 기사가 여러 열 (Column) 로 복잡하게 나뉘어 있습니다.
  • 컴퓨터는 "이건 뭐야? 글자가 너무 많고 지저분해!"라고 생각하며, 글자 하나하나의 철자만 맞으면 된다고 생각합니다.

2. "철자 맞췄으니 100 점!"이라는 착각 (잘못된 채점 기준)

지금까지 컴퓨터의 실력을 평가할 때는 **'철자 오류율 (CER)'**만 봤습니다.

• 비유: 시험지를 채점할 때, 문장의 순서나 단락 구조는 무시하고, 오직 '철자'만 맞으면 100 점을 주는 것과 같습니다.
• 현실: 컴퓨터는 흑인 신문의 복잡한 기사의 순서를 완전히 뒤죽박죽으로 섞어놔도, 글자 하나하나만 틀리지 않았다면 "완벽하게 읽었다!"라고 평가받습니다.
• 결과: 컴퓨터는 신문의 **정치적 메시지나 편집자의 의도 (예: 특정 기사를 강조하기 위해 3 열로 배치한 것)**를 완전히 무시하고, 글자만 기계적으로 뽑아냅니다. 마치 책의 내용을 다 읽었는데, 책장을 다 찢어버린 상태와 같습니다.

3. "보이지 않는" 역사 (실제 피해)

이 논문은 특히 **미국 흑인 역사 신문 (예: 'The North Star', 'Freedom's Journal')**을 사례로 들었습니다.

• 이 신문들은 흑인 커뮤니티의 목소리를 내고, 당시 백인 주류 언론이 다루지 않았던 중요한 이야기를 담고 있습니다.
• 하지만 컴퓨터가 이걸 제대로 읽지 못하면, 역사가 '지워진' 것과 같습니다.
• 비유: 마치 보물상자를 열었는데, 열쇠 구멍이 낡아서 자물쇠는 열렸지만, 안의 보물은 모두 흩어져서 찾을 수 없게 된 상황입니다. 컴퓨터는 "열쇠 구멍은 잘 열었어 (철자는 맞췄어)"라고 하지만, 보물 (역사의 의미) 은 사라진 것입니다.

4. 왜 이런 일이 일어날까? (시스템의 구조적 문제)

저자들은 이것이 단순히 기술이 부족해서가 아니라, 우리가 무엇을 '중요한 데이터'로 여기느냐의 문제라고 말합니다.

• 비유: 요리 학교에서 현대적인 스테이크 요리만 가르치고, 전통적인 흑인 요리 (소울 푸드) 는 '특별한 레시피'로 취급하지도 않는 상황입니다.
• 데이터셋을 만드는 기관이나 벤치마크 (시험지) 를 만드는 사람들이 현대적이고 서구적인 문서만 '표준'으로 정해놓았기 때문에, 흑인 역사 문서는 계속 '예외'로 취급받으며 제대로 평가받지 못합니다.

---

💡 이 논문이 제안하는 해결책

이 연구는 단순히 "기술을 더 발전시키자"는 것을 넘어, **"평가 기준을 바꾸자"**고 외칩니다.

1. 새로운 시험지 만들기: 단순히 철자만 맞는지 보는 게 아니라, 문서의 구조가 무너지지 않았는지, 글자의 배열이 원래 의도대로 유지되었는지를 보는 새로운 평가 기준이 필요합니다.
2. 다양한 교재 도입: 컴퓨터를 훈련시킬 때 현대 문서뿐만 아니라, 낡고 복잡한 역사 문서들도 포함시켜야 합니다.
3. 문화적 감수성: 기술이 단순히 '글자를 읽는 것'을 넘어, 그 글자가 담고 있는 역사적, 문화적 의미를 훼손하지 않도록 설계되어야 합니다.

📝 한 줄 요약

"컴퓨터가 옛날 흑인 신문을 읽을 때, 글자만 정확히 읽었다고 해서 '성공'이라고 하면 안 됩니다. 그 신문의 복잡한 구조와 역사적 의미를 보존하면서 읽어야 진정한 성공입니다. 지금의 평가 방식은 그 중요한 의미를 '보이지 않게' 만들고 있습니다."

이 논리는 인공지능이 더 공정하고, 모든 사람의 역사를 존중하는 방향으로 발전하려면, 우리가 **'무엇을 기준으로 평가할 것인가'**를 다시 한번 깊이 생각해야 함을 일깨워줍니다.

기술 요약

1. 문제 제기 (Problem)

최근 광학 문자 인식 (OCR) 및 문서 이해 시스템은 대규모 비전 및 비전 - 언어 모델 (VLM) 에 의존하여 발전하고 있으나, 평가 체계는 여전히 현대적이고 서구 중심의 제도적 문서에 집중되어 있습니다. 이로 인해 다음과 같은 심각한 문제가 발생합니다.

• 역사적 및 소외된 아카이브의 비가시성: 흑인 역사 신문 (Black historical newspapers) 과 같은 커뮤니티 제작 역사적 문서들은 훈련 데이터나 평가 벤치마크에서 거의 배제되어 있습니다.
• 평가 지표의 한계: 현재 주류인 문자 오류율 (CER) 과 단어 오류율 (WER) 은 편집 거리 (edit distance) 기반의 단순 문자 정확도만 측정합니다. 이는 문서의 구조적 오류 (열 붕괴, 레이아웃 왜곡, 잘못된 읽기 순서) 를 감지하지 못하며, 역사적 신문의 다중 열 구조가 가진 수사학적, 정치적 의미를 무시하게 만듭니다.
• 구조적 무결성 상실: 최신 모델이 문자 인식률은 높게 나오더라도, 역사적 신문의 복잡한 레이아웃을 해체하거나 '할루시네이션 (허위 텍스트 생성)'을 통해 원본의 맥락을 왜곡하는 경우가 빈번합니다.

2. 연구 방법론 (Methodology)

저자들은 2006 년부터 2025 년까지 발표된 OCR 및 문서 이해 관련 논문을 PRISMA 2020 프레임워크를 사용하여 체계적으로 검토 (Systematic Review) 했습니다.

• 데이터 수집: ACM, IEEE, arXiv 등 6 개 데이터베이스에서 80 편의 논문을 검색하고, 2 편의 중복을 제거하여 78 편의 논문을 최종 분석 대상으로 선정했습니다.
• 분석 범위:
  • 훈련 데이터: 모델이 어떤 데이터 (현대 문서, 합성 데이터, 역사적 문서 등) 로 훈련되었는지 분석.
  • 벤치마크 설계: 평가 벤치마크가 어떤 문서 유형을 포함하는지, 역사적/커뮤니티 아카이브를 고려하는지 확인.
  • 평가 지표: 비전 트랜스포머 및 멀티모달 OCR 시스템이 사용하는 평가 메트릭 (CER, WER, 레이아웃 정확도 등) 조사.
• 사례 연구 (Case Study): 평가의 공백을 구체화하기 위해 1837 년 발행된 초기 흑인 신문인 The Weekly Advocate의 페이지를 대상으로 Tesseract v5, Surya, olmOCR 2 등 세 가지 최신 모델을 적용하여 실패 패턴을 정성적으로 분석했습니다.

3. 주요 기여 (Key Contributions)

이 논문은 문서 이해 분야의 공정성, 책임성, 투명성 (FAccT) 연구에 다음과 같은 세 가지 기여를 합니다.

1. OCR 평가 시스템의 체계적 분석: 훈련 데이터, 벤치마크, 메트릭이 어떻게 제시되고 구현되는지에 대한 종합적인 분석을 제공했습니다.
2. 구조적 오류 감지 실패 주장: 현재 평가 시스템이 문자 수준의 높은 정확도를 보고함에도 불구하고, 역사적 신문에서 흔히 발생하는 구조적/레이아웃 오류 (열 붕괴, 타이포그래피 오류 등) 를 감지하지 못한다는 점을 입증했습니다.
3. 흑인 언론을 통한 사례 연구: 평가의 맹점이 어떻게 구조적으로 중요한 오류 (예: 편집 논리의 상실, 할루시네이션) 로 이어지며, 기존 평가 기법 하에서는 이러한 오류가 보고되지 않는지를 구체적인 사례로 보여주었습니다.

4. 주요 결과 (Results)

A. 훈련 데이터와 벤치마크의 편향

• 주요 모델의 훈련 데이터: 대부분의 최신 모델 (LayoutLM, DocFormer, DiT 등) 은 IIT-CDIP(담배 소송 관련 20 세기 중반 기업 문서) 나 PubMed Central(학술 논문) 과 같은 현대적, 제도적 데이터셋에 의존하고 있습니다.
• 역사적 문서 부재: Blackletter(고딕체) 나 19 세기 흑인 신문의 복잡한 레이아웃은 주요 훈련 데이터에서 거의 발견되지 않습니다. olmOCR 2와 같이 일부 역사적 데이터를 포함하는 모델도 있지만, 여전히 커뮤니티 아카이브나 소수자 문헌은 대표성이 부족합니다.
• 벤치마크의 한계: OCRBench, OmniDocBench, DocVQA 등 주요 벤치마크는 현대적 PDF, 과학 논문, 기업 양식을 기반으로 하여 역사적 문서의 열화 (foxing, bleed-through, 불균일 조명) 와 복잡한 레이아웃을 평가하지 못합니다.

B. 사례 연구 결과 (The Weekly Advocate, 1837)

세 가지 모델을 역사적 신문 페이지에 적용한 결과, 각기 다른 실패 패턴이 관찰되었습니다.

모델	기술적 실패 패턴	아카이브적 결과 (영향)
Tesseract v5	수직 열 규칙을 텍스트로 오인해석; 좌우 'Z 패턴' 읽기 순서로 강제 변환	서로 다른 콘텐츠 (시와 공보) 가 의미적으로 합쳐짐; 검색 기능 무효화
Surya	고대 고대비 폰트로 인한 토큰 붕괴; 생성적 반복 발생	'쓰레기 토큰 (garbage tokens)' 삽입
olmOCR 2 (SOTA VLM)	고확률 토큰으로 시각적 증거를 덮어씀 (지식 유출 현상)	실체 (Entity) 가 허위 텍스트로 대체됨 (할루시네이션)

• 결론: 모델들이 문자 인식률 (CER) 은 양호하게 보고하지만, 문서의 레이아웃 구조와 읽기 순서를 완전히 망가뜨려 역사적 문서의 맥락과 정치적 의도를 상실하게 만듭니다.

5. 의의 및 시사점 (Significance)

• 평가의 정치적 성격: 평가 방법의 선택은 단순히 기술적 측정이 아니라, "어떤 문서가 가독성이 있고 가치가 있는가"를 정의하는 정치적 행위임을 강조합니다. 현재의 평가 체계는 흑인 역사와 같은 소수자 문헌을 '예외 (outlier)'가 아닌 '주류'로 다루지 못하게 합니다.
• 기술적 한계 vs 자원 배분: 역사적 문서 처리의 실패는 기술적 불가능성이 아니라, 훈련 데이터의 다양성 부족과 평가 벤치마크의 편향, 그리고 문화적 중요성에 대한 인식 부재에서 기인합니다.
• 미래 방향성 제안:
  • 단순한 문자 정확도 (CER/WER) 를 넘어 레이아웃 인식 및 충실도 (fidelity) 기반의 평가 지표 개발이 필요합니다.
  • 역사적 문서의 물리적 열화와 문화적 맥락 (다중 열, 특수 타이포그래피) 을 고려한 새로운 벤치마크 구축.
  • 커뮤니티 아카이브를 평가 과정에 적극적으로 포함시켜 '구조적 비가시성'을 해소해야 합니다.

이 논문은 OCR 기술이 역사적 기록을 디지털화하는 과정에서 발생할 수 있는 대표적 해악 (representational harm) 을 경고하며, 문화적으로 책임 있는 OCR 평가 체계의 필요성을 강력하게 주장합니다.