FP-THD: Full page transcription of historical documents

당신이 타임머신을 타고 500년 된 먼지 쌓인 중세 라틴어 서적으로 줌인을 한다고 상상해 보세요. 페이지는 구겨져 있고, 잉크는 바랬으며, 필체는 오늘날 우리가 사용하는 글자와는 전혀 달라 보이는 루프, 구불구불한 선, 그리고 이상한 기호들이 뒤섞인 혼란스러운 상태입니다. 만약 현대의 컴퓨터를 사용하여 이를 읽으려 한다면, 그것은 마치 로봇에게 배운 적 없는 비밀 코드를 이해하라고 요구하는 것과 같습니다. 컴퓨터는 긴 's'('f'처럼 보이는)를 'f'로 바꾸거나, 두 글자를 현대의 'ae'로 합쳐버려 역사적 뉘NH flavor(풍미)를 완전히 망가뜨릴 수도 있습니다.

여기에 연구진이 설계한 새로운 디지털 파이프라인인 FP-THD가 등장합니다. 이들은 일종의 '시간 여행하는 사서'가 되고자 합니다. 그들의 목표는 단순히 단어를 읽는 것이 아니라, 역사학자들이 의존하는 까다로운 약어나 특수 기호들을 포함하여 원본 페이지의 정확한 모습과 느낌을 보존하는 것이었습니다.

두 단계의 댄스: 줄을 찾고, 그다음 읽기

저자들은 혼란스러운 페이지 전체를 한꺼번에 읽으려고 시도하는 것이 피자 한 판을 한 입에 다 먹으려는 것과 같다는 사실을 깨달았습니다. 대신, 그들은 전문가 팀처럼 작동하는 두 가지 뚜렷한 단계로 구성된 파이프라인을 구축했습니다.

1단계: 레이아웃 탐정 (ParseNet)
먼저, 시스템은 Parsenet이라는 도구를 사용하여 레이아웃 탐정 역할을 수행합니다. 이 도구는 전체 페이지 이미지를 스캔하고 모든 텍스트 라인 주위에 보이지 않는 상자를 그려, 선이 휘어지거나 기울어져 있더라도 단락이 어디서 시작하고 끝나는지 파악합니다. 이는 마치 로봇 사서가 혼란스러운 페이지 위의 모든 문장의 윤곽을 주의 깊게 따라 그리며 깔끔하고 곧은 띠 형태로 잘라내는 것과 같습니다. 이 단계는 컴퓨터가 정확히 어디를 보아야 하는지 알려주는 지도(PAGE XML 형식)를 생성합니다.

2단계: 슈퍼 리더 (Masked Autoencoder)
줄이 잘리고 곧게 펴지면, 이들은 두 번째 전문가인 Masked Autoencoder(Vision Transformer 기반)에게 전달됩니다. 이 모델을 '빈칸 채우기' 게임을 통해 글을 읽는 법을 배운 아주 똑똑한 학생이라고 생각해보세요.

이 게임이 작동하는 방식은 다음과 같습니다. 컴퓨터는 텍ền 한 줄을 가져와 무작위로 일부 구간을 가립니다(마치 몇 개의 단어 위에 포스트잇을 붙이는 것처럼). 그런 다음 주변의 단서들을 바탕으로 그 아래에 무엇이 있는지 추측합니다. 이 게임을 다양한 유형의 글쓰기로 수백만 번 연습함으로써, 모델은 현대의 글자뿐만 아니라 그 기묘한 중세 기호들, 합자(ligature, 예: "æ"), 그리고 누락된 글자를 나타내는 틸데(~)까지 인식하는 법을 배웁니다.

대규모 테스트: 필기체 vs 인쇄체

연구진은 단순히 이 시스템을 만든 것에 그치지 않고, 세 가지 다른 "훈련 캠프"(데이터셋)를 통해 혹독하게 검증했습니다.

1. Rodrigo (필기체): 1545년의 오래된 스페인 필기체가 담긴 853페이지의 컬렉션.
2. Bentham (필기체): 온갖 종류의 지저üst한 필체로 유명한 철학자 제레미 벤담의 유명한 편지들.
3. Molino (인쇄체): 연구진이 직접 제작한 새로운 데이터셋으로, 라틴어 약어가 가득한 1500년대와 1600년대의 인쇄된 법률 텍스트 143페이지를 포함합니다.

결과: 얼마나 잘 해냈는가?

논문은 이 접근 방식이 다른 도구들과 비교했을 때 놀라울 정도로 효과적임을 보여줍니다.

• Rodrigo 필기체의 경우: 배치 크기 128로 테스트했을 때, 모델은 **문자 오류율(CER) 1.30%**와 **단어 오류율(WER) 6.97%**를 달려 달성했습니다. 즉, 거의 모든 글자를 정확히 맞혔다는 뜻입니다! 이는 실수를 바로잡기 위해 더 복잡한 추가 단계를 사용하는 일부 하이테크 모델들보다 뛰어난 성적입니다.
• Bentham 필기체의 경우: **CER 4.46%**와 **WER 7.68%**를 기록했습니다. Rodrigo 결과보다는 약간 높지만, 저자들은 이 모델이 별도의 화려한 후처리 기법이나 외부 언어 가이드 없이도 이 성과를 냈다는 점을 강조하며, 이는 효율성 측면에서 매우 큰 의미가 있다고 언급했습니다.
• Molino 인쇄 텍스트의 경우: 이것이 진정한 주인공이었습니다. 연구진은 10 페이지의 Molino 데이터셋을 테스트하여 이를 두 가지 다른 방법, 즉 인기 있는 오픈 소스 도구인 Pero-OCR 및 상용 소프트웨어를 사용한 **Biblioteca Virtual del Patrimonio Bibliográfico (BVPB)**의 전사본과 비교했습니다.
  • BVPB 전사본은 CER 0.3379, WER 0.6835를 기록했습니다.
  • Pero-OCR은 CER 0.0242, WER 0.2106을 기록했습니다.
  • FP-THD는 가장 낮은 오류율인 CER 0.0178, WER 0.0450을 기록하며 압도적인 성적을 거두었습니다.

쉬운 말로 풀어서 설명하자면, 이 새로운 시스템은 상용 소프트웨어와 다른 오픈 소스 도구보다 실수가 적었으며, Pero-OCR에 비해서는 단어 수준의 오류를 거의 80% 줄였고, BVPB 전사본에 비해서는 90% 이상 줄였습니다. 또한 중요한 중세 틸데와 약어들을 온전히 유지하는 데에도 더 뛰어난 성능을 보였습니다.

아직 할 수 없는 것들 (현재 기준)

저자들은 자신들의 마법 같은 기술이 가진 한계에 대해서도 솔직하게 밝히고 있습니다. 이 시스템은 페이지 중앙의 본문을 읽는 데는 탁월하지만, 다음과 같은 부분에서 어려움을 겪기도 합니다.

• 주석 (Marginal notes): 페이지 가장자리에 적힌 작은 글씨들은 누락되거나 잘못 전사될 수 있습니다.
• 단일 단어: 텍론 한 줄에 단어 하나만 있는 경우, 모델은 주로 긴 문장 위주로 학습되었기 때문에 가끔 혼란을 느낍니다.

핵심 요약

이 논문은 역사를 읽는 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 레이아웃 탐정과 '빈칸 채우기' 리더를 결합함으로써, 우리는 매우 정확하고 자유롭게 사용할 수 있으며, 역사적 문서의 원래 스타일을 존중하는 도구를 만들 수 있다는 것을 시사합니다. 이는 중세의 스타일을 현대 텍스트로 바꾸지 않고도 컴퓨터가 여전히 읽을 수 있다는 것을 증명합니다.

연구진은 고립된 단어들을 학습 데이터에 추가하고, 궁극적으로 이 시스템을 사용하여 약어를 자동으로 확장하고 라틴어를 스페인어로 번역하는 방향으로 계속 개선할 계획입니다. 하지만 현재로서는, 적절한 파이프라인만 있다면 가장 엉망인 중세 페이지라도 그 영혼을 잃지 않고 깨끗한 디지털 텍스트로 바꿀 수 있다는 것을 보여주었습니다.