JoinFinder: A Multi-Modal Architecture for Historical Manuscript Page Identification
JoinFinder는 명시적인 결합 주석 없이도 카이로 제니자 코퍼스 전반에서 후보 결합을 발견하는 데 탁면한 성능을 달성하기 위해, 역사적 필사본 파편을 식별하기 위한 강건한 임베딩을 학습하는 확장 가능한 지도 학습 프록시로서 원고 정체성을 활용하는 멀티모달 딥러닝 프레임워크이다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
역사는 종종 파편들로 기록됩니다. 수 세기 동안 학자들은 찢어진 가장자리를 물리적으로 맞추거나 필체를 비교하는 방식으로 고대 필사본을 조각조각 이어 붙여 왔으며, 이는 전문가의 눈과 직관에 의존하는 고된 작업입니다. 단 한 권의 책이 여러 도서관에 흩어져 있거나, 페이지가 알아볼 수 없을 정도로 손상되었을 때, 그 잃어버린 조각들을 찾는 작업은 거의 불가능에 가깝습니다. 이러한 도전은 카이로의 한 시나고그(유대교 회당) 내 게니자(저장실)에 보관된 방대한 유대인 필사본 파편 모음인 카이로 게니자에서 특히 두드러집니다. 지난 세기 동안 이 파편들은 전 세계의 기관들로 흩어졌으며, 종종 이들이 한때 같은 책에 속해 있었다는 아무런 표시 없이 개별적으로 목록화되었습니다. 수십만 페이지에 달하는 엄청난 양의 자료는 수동 재구성을 불가능하게 만들어, 수많은 역사적 연결 고리들을 눈앞에 두고도 숨겨진 채로 남겨두고 있습니다.
이를 해결하기 위해 연구자들은 컴퓨터에게 필사본의 독특한 '지문'을 인식하도록 가르칠 방법이 필요합니다. 이 지문은 단순히 페이지에 쓰인 텍스트뿐만 아니라, 종이의 질감, 줄의 배치, 글자의 구체적인 모양, 그리고 잉크가 표면에 안착하는 방식과 같은 문서 자체의 물리적 특성을 의미합니다. 컴퓨터는 텍스트를 읽는 데는 매우 뛰어나지만, 문서가 오래되었거나 손상되었거나 다른 언어로 작성된 경우 이러한 미묘한 시각적 및 구조적 단서를 이해하는 데는 어려움을 겪어 왔습니다. 목표는 어떤 파편을 보고 그것이 공유하는 역사를 즉각적으로 찾아낼 수 있는 시스템을 만드는 것입니다. 설령 그 파편이 다른 나라에 저장되어 있거나 세월과 조명 때문에 모습이 조금 달라 보이더라도 말입니다.
텔아비브 대학교의 연구팀은 이 문제에 대한 새로운 접근 방식인 '조인파인더(JoinFinder)'를 개발했습니다. 연구진은 컴퓨터에게 특정 '연결 부위(join)'나 페이지 간의 연결을 찾는 법을 가르치는 대신(이는 학습할 사례가 매우 적은 작업입니다), 전체 필사본의 정체성을 인식하도록 가르쳤습니다. 그들은 잘 알려진 필사본 컬렉션을 훈련장으로 사용하여, 컴퓨터에게 수천 페이지를 보여주고 그것들이 어떤 책에서 왔는지에 따라 그룹화하도록 요청했습니다. 하나의 필사본을 다른 필사본과 구별하는 법을 배움으로써, 시스템은 각 필사본을 고유하게 만드는 미묘한 시각적, 구조적 세부 사항을 부수적으로 학습하게 되었습니다. 일단 훈련이 완료되면, 시스템은 이전에 본 적 없는 완전히 새로운 파편 집합에 적용되어 학습된 패턴을 바탕으로 일치하는 것을 검색할 수 있습니다.
연구진은 세 가지 서로 다른 방식으로 필사본 페이지를 동시에 살펴보는 시스템을 구축했습니다. 첫째, 레이아웃, 글쓰기의 밀도, 재료의 질감을 살펴보며 페이지의 전반적인 외형을 조사합니다. 둘째, 개별 글자로 확대하여 필체의 특징을 결정짓는 구체적인 모양과 획을 분석합니다. 셋째, 광학 문자 인식(OCR)을 사용하여 단어와 그 배치를 이해함으로써 텍스트 자체를 읽습니다. 시스템은 이 세 가지 정보원을 동등하게 취급하지 않고, 신뢰성에 따라 가중치를 부여합니다. 만약 페이지가 너무 손상되어 텍스트를 명확히 읽을 수 없다면, 시스템은 글자의 모양이나 페이지의 전반적인 모습에 더 많이 의존합니다. 이러한 유연성 덕분에 역사적 문서의 무질서하고 불완전한 현실을 다룰 수 있습니다.
이 접근 방식의 결과는 거대한 게니자 파편 컬렉션을 통해 테스트되었습니다. 시스템이 동일한 필사본에 속하는 페이지를 찾도록 요청받았을 때, 약 절반의 쿼리에 대해 상위 10개 결과 안에 정확한 일치 항목을 배치하는 데 성공했습니다. 연구진이 동일한 목록 번호나 서가 위치를 공유하는 페이지를 찾았을 때는 성공률이 60% 이상으로 높아졌습니다. 더 중요한 것은, 이 시스템이 기존의 목록들이 놓쳤던 연결 고리를 찾아냈다는 점입니다. 시스템은 서로 다른 도서관에 있는 파편들이 동일한 필체와 레이아웃을 공유하고 있음을 식서하여, 이들이 한때 같은 책의 일부였음을 시사했습니다. 이러한 발견은 인간 전문가들에 의해 확인되었으며, 이는 컴퓨터가 이전에 알려지지 않았던 진정한 역사적 연결 고리를 찾아냈음을 증명합니다.
이 연구는 또한 시스템이 조건이 급격히 변할 때도 작동한다는 것을 보여주었습니다. 시스템은 주로 컬러 이미지로 훈련되었음에도 불구하고 필사본의 흑백 이미지를 성공적으로 매칭했습니다. 또한 히브리 문자를 염두에 두고 설계되었음에도 불구하고 아랍어 필사본의 연결 고리를 찾아냈습니다. 이는 시스템이 단순히 특정 글자나 색상을 암기한 것이 아니라, 잉크가 흐르는 방식, 선의 리듬, 페이지의 구조와 같은 필사본의 근본적인 시각적 언어를 학습했음을 시사합니다. 연구진은 가장 중요한 단서가 글자의 모양과 페이지의 전반적인 레이아웃에서 온 반면, 텍кси트 내용은 도움이 되지만 부차적인 지원 역할을 한다는 것을 발견했습니다.
이 작업은 역사의 디지털 재구성에 있어 중요한 진전을 의미합니다. 필사본의 정체성을 학습의 대리물로 사용함으로써, 연구진은 인간 학자들이 수 세기 동안 수행해야 할 작업을 수행할 수 있는, 수백만 페이지 규모로 확장 가능한 도구를 만들었습니다. 이 시스템은 전문가를 대체하는 것이 아니라, 방대한 아카이브를 걸러내어 가장 유망한 후보들을 인간의 검토를 위해 제시하는 강력한 필터 역할을 합니다. 이는 건더미에서 바늘을 찾는 불가능한 작업을 관리 가능한 검색 작업으로 바꾸어 놓으며, 학자들이 가장 가능성 높은 연결 고리에 집중할 수 있게 해줍니다. 조인파인더의 성공은 적절한 접근 방식이 있다면, 흩어진 과거의 파편들을 다시 모아 그것들이 한때 들려주었던 온전한 이야기를 밝혀낼 수 있음을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.