Which papyrus HTR is good enough? Character-error-rate tolerance of four papyrological tasks on Greek texts
이 연구는 그리스 텍스트에 대한 네 가지 파피로학적 작업에 대한 특정 문자 오류율 임계값을 설정하며, 정확도 요구 사항은 작업에 따라 상이하지만(3%에서 20% 사이), 노이즈가 있는 데이터로 모델을 재학습시키는 것이 성능 저하를 유의미하게 완화하고 불완전한 HTR 시스템을 실질적으로 유용하게 만든다는 점을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
고대 지중해 세계는 박물관과 수집품들에 흩어져 있는 백만 개 이상의 조각들로 이루어진 방대하고도 침묵하는 파피루스 도서관을 남겼다. 이 파편들 대부분은 아직 읽히지 않은 채 남아 있다. 그것들은 단어 사이의 공백 없이 흘려 쓰는 필기체로 쓰여 있으며, 시간의 흐름에 따라 손상되기도 했고, 숙련된 전문가만이 해독할 수 있는 약어들로 가득 차 있다. 한 세기 넘게 학자들은 이 문서들을 손으로 직접 전사해 왔으며, 이 과정은 단 하나의 텍스트를 처리하는 데에도 며칠 또는 몇 주가 걸릴 수 있다. 너무나 많은 부분이 읽히지 않은 상태로 남아 있기 때문에, 이 기록물의 대다수는 현대 디지털 도구들에게 보이지 않는 상태다. 연구자는 특정 이름이나 구절을 찾아 새로운 문서를 검색하기 위해 데이터베이스를 단순히 검색할 수 없는데, 그 이유는 해당 텍스트가 아직 기계가 읽을 수 있는 형태로 존재하지 않기 때문이다.
이를 변화시키기 위해 연구자들은 고대 글씨의 이미지를 보고 이를 디지털 문자로 변환할 수 있는 인공지능의 한 형태인 필기체 텍스트 인식 기술에 주목했다. 그러나 이러한 시스템은 완벽하지 않다. 시스템은 실수를 저지르며, 글자 하나를 잘못 읽거나 단어 하나를 건너뛰기도 한다. 수년간 이 분야는 시스템이 얼마나 정확한지를 보고하기 위해 글자를 맞게 읽었는지 틀리게 읽었는지를 측정하는 데 집중해 왔다. 하지만 결정적인 질문이 해결되지 않은 채 남아 있었다. 과연 시스템이 유용해지기 위해 실제로 어느 정도의 정확도가 필요한가? 학자는 어떤 문서가 법적 계약서인지 혹은 시(poetry)인지 알기 위해 완벽한 전사가 필요하지 않을 수도 있지만, 그것이 정확히 언제 작성되었는지를 판단하기 위해서는 거의 완벽에 가까운 정확도가 필요할 수도 있다. 이 질문에 대한 답을 모른다면, 현재의 기술이 파피루리의 읽히지 않은 대다수를 여는 데 도움을 줄 준비가 되었는지 알 방법이 없다.
한 연구팀은 네 가지 구체적인 작업에 대해 서로 다른 오류 수준이 어떻게 영향을 미치는지 테스트함으로써 그 답을 찾고자 했다. 그들은 완벽한 기계가 나타나기를 기다리는 대신, 이미 편집된 수천 개의 텍스트를 사용하여 의도적으로 오류를 도입함으로써 결함이 있는 기계가 만들어낼 법한 상황을 시뮬레이션했다. 그들은 이 불완전한 버전들을 가져와 문서 유형 식별, 연대 추정, 공식 기록과 문학 작품의 구분, 그리고 특정 단어 검색을 수행하도록 설계된 컴퓨터 모델에 실행했다. 오류의 수를 0에서부터 전체 텍스트의 절반에 이르기까지 체계적으로 늘려가며, 그들은 각 작업이 언제 실패하기 시작하는지를 측정했다.
결과는 오류에 대한 허용치가 학자가 무엇을 하려 하는지에 따라 전적으로 달라진다는 것을 보여주었다. 어떤 작업들은 놀라울 정도로 견고하다. 예를 들어, 관료적 문서와 문학 작품을 구분하는 것은 컴퓨터에게 매우 쉬운 일이며, 텍스트가 상당히 엉망이더라도 가능하다. 모델은 텍스트에 20%의 오류가 포함되어 있을 때조차 높은 정확도로 장르를 올바르게 식별할 수 있었다. 이는 법적 문서의 전반적인 양식과 어휘가 시와 매우 극명하게 다르기 때문에, 컴퓨터가 노이즈에도 불구하고 패턴을 인식할 수 있기 때문이다. 마찬가지로, 검색 용어가 충분히 길다면 심한 손상이 있더라도 긴 구절이나 특정 공식(formula)을 찾는 작업은 신뢰할 수 있는 상태로 유지된다.
그러나 다른 작업들은 훨씬 더 취약하다. 문서의 정확한 날짜를 결정하는 것이 오류에 가장 민감한 것으로 나타났다. 모델은 오류율이 약 3% 정도로 매우 낮게 유지될 때만 정확도를 유지할 수 있었다. 일단 실수가 이 작은 임계값을 넘어서면, 텍스트의 세기나 심지어 십 년 단위까지 특정해내는 능력이 무너졌다. 이는 연대 측정을 위해서는 전사의 품질이 매우 중요하다는 것을 시사하며, 현재의 시스템이 이 특정 작업을 맡기에 신뢰받기 위해서는 상당한 개선이 필요할 수 있음을 의미한다. 영수증과 청원서를 구분하는 것과 같이 문서의 구체적인 하위 유형을 식별하는 것 또한 더 높은 수준의 정확도를 요구했으며, 오류가 5%에 도달하자 성능이 눈에 띄게 떨어졌다.
이 연구의 중요한 발견 중 하나는 모델을 어떻게 훈련시키느냐에 따라 모든 것이 달라진다는 점이었다. 연구진이 깨끗하고 완벽한 텍스트로 컴퓨터를 훈련시킨 뒤 엉망이고 오류가 많은 텍스트로 테스트했을 때는 오류가 증가함에 따라 성능이 급격히 떨어졌다. 그러나 예상되는 것과 동일한 종류의 실수가 이미 포함된 텍스트를 사용하여 모델을 재훈련했을 때, 시스템은 훨씬 더 탄력적이 되었다. 보통 오류가 15%를 초과할 때 발생하는 심각한 성능 저하가 거의 사라졌다. 즉, 지저식한 텍스트를 읽도록 학습된 컴퓨터는 완벽한 예시만을 접해온 컴퓨터보다 지저분한 텍스트를 훨씬 더 잘 읽는다는 것이다. 이는 비록 현재의 기술이 불완다할지라도, 학자들이 완벽한 기계를 기다리기보다 현실적이고 노이즈가 섞인 데이터를 통해 학습시킨다면 이 도구들을 효과적으로 사용할 수 있음을 의미한다.
연구는 또한 파편의 크기가 중요하다는 점을 강조했다. 컴퓨터는 많은 오류가 있더라도 긴 문서의 유형을 종종 정확하게 추측할 수 있는데, 이는 전체적인 맥락을 파악할 수 있는 충분한 정보를 가지고 있기 때문이다. 하지만 매우 짧은 파편의 경우, 단 몇 개의 실수만으로도 분석을 망칠 수 있다. 더욱이, 연구진은 텍스트의 한 줄 전체를 놓치는 것이 개별 글자를 잘못 읽는 것보다 덜 해롭다는 것을 발견했다. 텍스트의 덩어리를 잃는 것은 알려진 공백이지만, 잘못된 글자들의 나열은 컴퓨터가 존재하지 않는 패턴을 보도록 속일 수 있기 때문이다.
궁극적으로, 이 연구는 디지털 파피로학의 미래를 위한 명확한 목표를 제시한다. 우리는 읽히지 않은 파피루스들을 여는 작업을 시작하기 위해 완벽한 전사 시스템을 기다릴 필요가 없다는 것을 보여준다. 문서 유형을 분류하거나 광범위한 주제를 검색하는 것과 같은 많은 작업에 있어서, 특히 도구가 불가피한 오류들을 처리하도록 훈련된다면 현재의 기술은 이미 "충분히 좋다." 연대 측정과 같이 더 섬세한 작업의 경우 기준은 더 높으며, 기술이 반드시 개선되어야 한다. 앞으로 나아갈 길은 완벽함을 기다리는 것이 아니라, 고대의 손상된 글쓰기라는 불완전한 현실 속에서 작동할 수 있을 만큼 견고한 시스템을 구축하는 것이다. 작업이 얼마나 많은 오류를 견딜 수 있는지 정확히 이해함으로써, 학자들은 이제 이 도구들을 세계의 읽히지 않은 수집품들에 적용하여, 보이지 않는 파편들을 검색 가능한 역사로 바꿀 수 있게 되었다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.