Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts

문자는 연약한 존재입니다. 종이는 누렇게 변하고, 먹물은 흐려지며, 역사의 물리적인 페이지들은 서서히 바스러집니다. 이러한 기록을 보존하기 위해 도서관과 기록 보관소들은 수십 년 동안 책을 스캔하고 페이지의 이미지를 컴퓨터가 읽고 검색할 수 있는 디지털 텍스트로 변환하는 데 힘써왔습니다. 광학 문자 인식(OCR)이라고 알려진 이 과정은 폰트가 균일하고 종이가 깨끗한 현대의 서적에는 놀라울 정도로 잘 작동합니다. 그러나 메이지 시대부터 초기 쇼와 시대에 이르는 일본 서적처럼 표준화되기 이전의 시기에서 유래한 자료를 다룰 때는 작업이 훨씬 더 어려워집니다. 이러한 텍스트들은 무질서하게 다양한 서체, 마모된 인쇄 상태, 그리고 서로 놀라울 정도로 비슷해 보이는 글자들을 특징으로 합니다. 컴퓨터가 이를 읽으려고 할 때, 종종 한 글자를 다른 글자로 착각하여, 얼핏 보기에는 올바른 것처럼 보이지만 실제로는 미세하고 조용한 오류들로 가득 차 연구용으로는 쓸모없게 만드는 디지털 텍스트를 만들어냅니다.

나라, 교토, 시가의 대학 연구진들이 이러한 특정한 오류들을 해결할 새로운 방법을 개발했습니다. 그들은 이 손상된 디지털 텍스트를 위한 '2단계 편집기' 역할을 하는 시스템을 만들었습니다. 먼저, 시스템은 텍스트를 스캔하여 오류가 어디에 숨어 있는지 찾아냅니다. 이 과정을 단일한 방법에 의존하는 대신, 그들은 두 가지 서로 다른 접근 방식을 결합했습니다. 하나는 단어가 알려진 목록에 존재하는지 확인하는 방식이고, 다른 하나는 문장의 흐름과 맥락을 이해하도록 훈련된 컴퓨터 모델을 사용하는 방식입니다. 이 두 방법이 함께 작동하게 함으로써, 시스템은 한 가지 방법이 놓칠 수 있는 오류를 잡아내는 동시에, 다른 방법이 일으킬 수 있는 오보(false alarm)를 무시할 수 있습니다. 일단 오류가 발견되면, 시스템은 주변 텍text를 바탕으로 가장 가능성 높은 단어를 추측하는 강력한 언어 모델을 사용하여 교체할 올바른 글자를 제안합니다. 실험 결과, 이 결합된 접근 방식은 이전 방식들보다 오류를 더 정확하게 찾아내며 상당한 부분의 오류를 성공적으로 수정하여, 근대 초기 일본의 디지털화된 역사를 학자와 대중에게 훨씬 더 신뢰할 수 있게 만들었습니다.

이 오래된 책들을 읽는 과제는 단순히 종이의 연령 때문만이 아니라 인쇄 자체의 성격 때문입니다. 일관된 폰트를 사용하는 오늘날의 책들과 달리, 메이지 시대부터 초기 쇼와 시대의 출판물들은 출판사마다, 심지어 해마다 달라지는 매우 다양한 서체로 인쇄되었습니다. 당시의 인쇄 과정은 종종 글자를 흐릿하거나 불균일하게 만들었습니다. 깨끗하고 표준화된 텍스트에 훈련된 현대의 광학 문자 인식 소프트웨어가 이 페이지들을 읽으려고 할 때, 자주 유사한 글자들을 혼동합니다. 예를 들어, 약간의 획이 추가된 글자가 완전히 다른 단어로 읽힐 수 있습니다. 이러한 오래된 폰트를 처리하기 위해 특화된 소프트웨어가 구축되었음에도 불구하고, 여전히 약 3%의 글자에서 실수를 범합니다. 긴 문장에서 이는 거의 모든 문장의 절반 정도에 적어도 하나의 오류가 포함되어 있음을 의미하며, 이는 컴퓨터가 검색하기에도, 연구자가 검증 없이 신뢰하기에도 너무 많은 양입니다.

이를 해결하기 위해 연구진은 탐지와 교정이라는 두 가지 뚜렷한 단계로 작동하는 시스템을 구축했습니다. 첫 번째 단계는 가장 결정적인데, 시스템이 올바른 글자를 오류로 잘못 표시하지 않으면서 정확히 어떤 글자가 틀렸는지를 식별해야 하기 때문입니다. 연구진은 이러한 실수를 찾아내는 데 단 하나의 도구만을 사용하는 것으로는 충분하지 않다는 것을 깨달았습니다. 단순한 사전 체크 방식은 단어가 알려진 단어 목록에 있는지 확인하는 데 매우 뛰어나서 터무니없는 단어를 찾아내는 데는 능숙하지만, 실제로 올바른 희귀 단어나 미지의 단어를 만났을 때는 실패하는 경우가 많습니다. 반면에, 문장의 맥락으로부터 학습하는 컴퓨터 모델은 단어들이 어떻게 어우러지는지 이해하는 데 매우 뛰어나지만, 때때로 드문 이름이나 특정 용어에 대해 혼란을 겪을 수 있습니다.

연구진은 이 두 가지 강점을 하나의 앙상블 방법으로 결합하기로 했습니다. 그들은 사전 기반 체크의 출력값과 맥락 인식 컴퓨터 모델의 출력값을 가져와 함께 작동하게 했습니다. 만약 사전이 단어가 없다고 판단하면, 시스템은 맥락 모델 또한 그것이 틀렸다고 생각하는지 확인합니다. 만약 두 모델이 모두 동의하면, 시스템은 이를 오류로 표시합니다. 만약 하나만 틀렸다고 생각한다면, 시스템은 그것이 희귀하지만 올바른 단어일 수 있다고 가정하고 그대로 둡니다. 이 전략은 시스템이 올바른 단어를 오류라고 잘못 비난하는 횟수를 크게 줄였습니다. 테스트에서 이 결합된 접근 방식은 약 75%의 확률로 오류를 정확히 식별해 냈으며, 단독으로 사용했을 때보다 훨씬 낮은 수준으로 오보의 수를 유지했습니다.

시스템이 오류를 정확히 짚어내면, 두 번째 단계인 교정으로 넘어갑니다. 연구진은 의심되는 잘못된 글자를 빈칸, 즉 '마스크(mask)'로 대체한 뒤, 정교한 언어 모델에게 원래의 글자가 무엇이었어야 하는지를 예측하도록 요청했습니다. 동일한 시대의 방대한 텍스트로 훈련된 이 모델은 빈칸 앞뒤의 단어들을 살펴보고 가장 가능성 높은 후보를 추측합니다. 예측이 적절한지 확인하기 위해, 시스템은 새 글자가 기존의 틀린 글자와 얼마나 닮았는지도 함께 확인합니다. 왜냐하면 OCR 오류는 보통 서로 닮은 글자들 사이에서 발생하기 때문입니다. 그런 다음 시스템은 상위 추측값들의 순위를 매겨 가장 적합한 것을 선택합니다.

이 새로운 방법의 결과는 유망했습니다. 연구진이 수천 개의 문장을 대상으로 시스템을 테스트했을 때, 성공적으로 탐지된 오류 중 약 65%를 교정한다는 것을 발견했습니다. 이는 맥락 모델만을 사용했을 때의 교정률인 58%보다 눈에 띄게 향상된 수치입니다. 시스템은 오류의 위치를 혼동 없이 정확히 찾아냈을 때 특히 효과적이었는데, 그런 경우 교정 성공률은 90% 이상으로 뛰어올랐습니다. 그러나 연구진은 트레이드오프(trade-off)도 관찰했습니다. 오보를 피하기 위해 매우 신중하게 접근하다 보니, 시스템이 때때로 일부 오류를 아예 놓치기도 하여 텍스트의 모든 실수를 잡아내지는 못했습니다. 연구진은 시스템이 훈련 데이터에 흔치 않은 매우 희귀한 단어나 고유 명사를 다룰 때 가장 어려움을 겪는다는 점을 발견했는데, 이는 사전와 맥락 모델 모두에 대한 정보가 충분하지 않았기 때문입니다.

이러한 한계에도 불구하고, 이 연구는 서로 다른 유형의 검사들을 결합하는 것이 역사적 텍스트를 정제하는 강력한 방법임을 입증합니다. 연구진은 사전와 맥락 인식 모델이 서로를 교차 검증하게 함으로써, 더 신뢰할 수 있는 도구를 만들 수 있음을 보여주었습니다. 이 연구가 오래된 일본 서적을 읽는 문제를 완전히 해결했다고 주장하는 것은 아니지만, 이 텍스트들의 디지털 버전을 유용할 만큼 정확하게 만드는 데 있어 중요한 진전임을 제공합니다. 더 많은 책이 디지털화됨에 따라, 이러한 방식은 디지털 아카이브가 원본을 충실히 반영하도록 보장하고, 과거의 진정한 목소리를 미래 세대를 위해 보존하는 데 필수적일 것입니다.