A Lemmatized Corpus of the Pali Canon with Critical Apparatus
본 논문은 5개 텍스트 전통에 걸친 비판적 장치, 산디(sandhi) 및 운율 변이형에 대한 특화된 처리, 그리고 이 저자원 언어에 대해서는 이전에는 불가능했던 고급 계산 언어학적 과업을 가능하게 하는 높은 범위의 표제어 추출을 특징으로 하는 160만 토큰 규모의 팔리어 경전 오픈 액세스 표제어 추출 코퍼스를 제시한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
언어는 살아있는 생명체와 같지만, 고대 문헌의 단어들은 종종 유리 벽 뒤에 갇혀 있는 것처럼 느껴지곤 합니다. 산스크리트어, 라틴어, 그리스어와 같은 고대 세계의 고전 언어를 연구하는 학자들에게 컴퓨터는 이 텍스트들을 해독하기 위한 강력한 도구가 되어 왔습니다. 이러한 도구들은 단어의 수를 세고, 시간이 흐름에 따라 의미가 어떻게 변하는지 추적하며, 심지어 문장 내 단어들 사이의 문법적 관계를 지도처럼 그려낼 수도 있습니다. 그러나 이러한 디지털 진보에는 상당한 격차가 존재합니다. 위대한 고전 언어들은 컴퓨터에 의해 완전히 매핑된 반면, 테라바다(상좌부) 불교의 성전을 담고 있는 팔리어(Pāli)는 대체로 뒤처져 있었습니다. 텍스트는 방대한 양으로 존재하지만, 단어들이 문장에서의 역할에 따라 끊임없이 형태를 바꾸고, 때로는 진정한 의미를 숨긴 채 서로 엉겨 붙어 있기 때문에 기계가 읽기에는 여전히 어렵습니다. 이 단어들을 기본적인 사전 기본형으로 분해할 방법이 없다면, 컴퓨터는 그 안에 담긴 이야기나 철학, 혹은 역사를 이해할 수 없습니다.
독립 학자인 댄 지그먼드(Dan Zigmond)는 이제 이 격차를 메우는 다리를 건설했습니다. 그는 불교 경전의 전체 집합인 팔리 경전(Pāli Canon)을 바탕으로 거대한 표제어 추출(lemmatized) 코퍼스를 구축했습니다. 간단히 말해, "표제어 추출(lemmatization)"이란 텍스트에 등장하는 모든 단어를 찾아 그 원래의 변하지 않는 뿌리 형태를 찾는 과정을 의미합니다. 모든 책이 일종의 암호로 쓰여 있어서, "run"이라는 단어가 "running", "ran", "runs", "runner"로 나타날 때 컴퓨터가 이를 네 개의 완전히 다른 단어로 인식하는 도서관을 상상해 보십시오. 표제어 추출은 이 모든 변형이 사실은 "run"이라는 하나의 단어임을 컴퓨터에게 알려주는 행위입니다. 지그먼드의 작업은 약 160만 단어를 포함하는 팔리 경전 전체에 대해 이 작업을 수행한 것입니다. 이를 통해 그는 혼란스러운 고대 텍스트의 뭉치를 컴퓨터가 학습하고 분석할 수 있는 구조화되고 검색 가능한 데이터베이스로 탈바꿈시켰습니다.
팔리어를 다루는 데 있어 난관은 이 언어가 믿기 힘들 정도로 복잡하다는 점입니다. 단일 명사는 문장에서 주어인지, 목적어인지, 혹은 소유를 나타내는지에 따라 수십 가지의 다른 형태로 나타날 수 있습니다. 게다가 이 언어는 '산디(sandhi)'라고 불리는 과정을 사용하는데, 이는 한 구절의 끝에 있는 단어가 다음 구절의 시작 부분에 있는 단어와 매끄럽게 섞이면서, 문장의 흐름을 부드럽게 만들기 위해 철자를 바꾸는 현상을 말합니다. 인간 독자에게는 이것이 자연스럽지만, 컴퓨터에게는 하나의 인식 불가능한 문자열처럼 보입니다. 지그먼드의 프로젝트는 경전의 모든 단어에 대해 이 퍼즐을 풀어야 했습니다. 그는 단 하나의 판본에만 의존하지 않았습니다. 대신 스리랑카, 버마, 태국, 그리고 유럽 학계의 전통을 대표하는 다섯 가지 서로 다른 역사적 판본을 수집했습니다. 이 다섯 가지 버전을 나란히 비교함으로써, 그는 차이점을 찾아내고 오류를 수정하며, 어떤 판독이 가장 타당한지를 보여주는 "비판적 장치(critical apparatus)"—즉, 고대 사본들이 서로 어떻게 다른지를 보여주는 상세한 기록—를 만들 수 있었습니다.
이 거대한 노력의 결과로, 모든 단어 발생 사례의 99.78퍼센트가 성공적으로 식별되어 사전적 뿌리에 연결되었습니다. 이는 이전에 그러한 자원이 없었던 언어라는 점을 고려할 때 놀라운 수준의 커버리지입니다. 컴퓨터가 해결하지 못한 나머지 아주 적은 양의 단어들은 주로 시(verse) 섹션에서 발견되는 희귀하고 시적인 용어들이거나, 기존 사전에 아직 충분히 기술되지 않은 복잡한 합성어들입니다. 연구자는 해결되지 않은 단어들의 약 절반이 단순히 사전에 추가되어야 할 정당한 팔리어 단어이며, 나머지는 운율이나 지역 간의 철자 차이로 인한 변형이라고 밝혔습니다. 이러한 구분은 작업이 정확히 어디에서 계속되어야 하는지를 알려준다는 점에서 매우 중요합니다. 또한 이 프로젝트는 단어의 수천 가지 다른 표면 형태를 하나의 뿌리로 줄임으로써, 경전 전체의 어휘 크기가 3배 이상 줄어든다는 것을 밝혀냈습니다. 이러한 감소는 현대의 통계적 방법을 사용하여 이전에는 보이지 않았던 텍스트 내의 패턴을 찾는 것을 가능하게 합니다.
이 새로운 자원을 통해 연구자들은 이전에는 불가능했던 과업들을 수행할 수 있게 되었습니다. 그들은 어휘를 바탕으로 텍FT들을 그룹화하여 경전의 서로 다른 부분들이 어떻게 연관되어 있는지 확인할 수 있습니다. 또한 컴퓨터가 팔리어의 문법을 이해하도록 훈련시킬 수 있으며, 이는 궁극적으로 문장을 분석하고 단어들이 서로 어떻게 연결되는지를 보여주는 문장 구조의 지도처럼 작동하는 기계로 이어질 수 있습니다. 이 작업은 또한 팔리어의 모태가 된 산스크리트어와의 직접적인 비교를 가능하게 하여, 불교적 아이디어와 단어들이 한 문화에서 다른 문화로 이동하면서 어떻게 변화했는지 추적하는 데 도움을 줍니다. 코드와 데이터를 포함한 전체 시스템은 공개되어 다른 학자들이 이를 개선할 수 있도록 초대하고 있습니다. 비록 이 프로젝트가 아직 모든 가능한 문법적 태그를 포함하거나 모든 단어에 대한 인간의 검증을 마친 상태는 아니지만, 이는 이 고대 텍스트들에 대한 모든 미래의 디지털 작업을 위한 필수적인 토대를 제공합니다. 이 프로젝트는 팔리 경전을 정적인 고서의 집합에서, 현대 세계가 마침내 탐구할 수 있는 역동적이고 살아있는 데이터셋으로 변모시키고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.