A Word-Level Digital Reader of the Prasthanatrayi with Sankara's Bhasya: Corpus, Method, and an Open, Offline Reading Aid for the Advaita Vedanta Canon

기술 요약: 샹카라의 바샤(Śaṅkara's Bhāṣya)를 포함한 프라스타나트라이야(Prasthānatrayī)의 단어 단위 디지털 독서 도구

문제 제기
프라스타나트라이야(열 개의 주요 우파니샤드, 브라마 수트라, 그리고 바가바드 기타)와 이에 대한 샹카라의 주석(바샤)은 아드바이타 베단타의 기초적인 전집을 구성한다. 그러나 이 텍스트를 단어 단위의 미세한 수준으로 접근하는 것은 비전문가나 학생들에게 매우 어렵다. 고전 산스크리트어는 연속적인 음성 결합(산디, sandhi)과 복잡한 명사 합성(사마사, samāsa)을 사용하므로, 단어의 경계와 형태론적 구조를 모호하게 만든다. 페이지 상의 단일 표기 단위는 종종 여러 개의 단어나 숨겨진 어근을 나타낸다. 결과적으로 학습자들은 표면 형태가 사전의 표제어(lemma)와 일치하지 않는 경우가 많아 사전을 효과적으로 활용할 수 없다. 일부 텍스트(바가바드 기타 등)에 대해서는 단어별로 분절된 판본이 존재하지만, 샹카라의 방대한 산문 주석을 포함한 프라스타나트라이야 전체에 대해 균일한 단어 단위 분석 체계는 존재하지 않는다.

방법론: 하이브리드 분석 파이프라인
저자들은 균일하게 단어 분석이 된 디지털 판본을 생성하기 위해 설계된 재현 가능한 하이브리드 파이프라인을 제시한다. 이 과정은 다섯 단계로 구성된다:

1. 텍스트 정규화: 공유 토크나이저(tokenizer)가 렌더링 아티팩트(제로 너비 조인자, 사적 용도 글리프 등)를 제거하고 잘못 분리된 단어를 다시 결합한다. 이는 베다 문자를 보존하며, 오프라인 추출과 브라우저 내 토크나이징이 동일한 문자 클래스를 사용하도록 보장한다.
2. 결정론적 언어 분석: AI를 호출하기 전에 시스템은 다음 세 가지 권위 있는 자원을 우선순위에 따라 호출한다:
   • 검증된 코퍼스: 주석이 달린 코퍼스에서 발견된 분절(약 240,000개 항목)을 선호한다.
   • 굴절 어휘 목록: Huet의 Heritage 엔진에서 추출한 927,000개 형태의 어휘 목록이 인식된 표면 형태에 대한 형태론적 판독을 제공한다.
   • 규칙 기반 엔진: 해결되지 않은 형태를 처리하기 위한 폴백(fallback) 산디 분절 엔진이다.
3. LLM 지원 분석 및 적대적 검증: 결정론적으로 해결되지 않은 형태(및 모든 원문 단어)에 대해 대규모 언어 모델(LLM)이 사용된다. 결정적으로, LLM은 다음과 같은 검증 하네스(harness) 내에서 작동한다:
   • 원문 텍스트: 2단계 프로토콜이 사용된다. "검증(verify)" 단계는 분절과 문법을 제안하고, 별도의 "반박(refute)" 단계는 오류를 찾아 수정하려고 시도한다. 이 적대적 검사를 통과한 분석만이 유지된다.
   • 주석: 서로 다른 표면 형태들이 배치(batch) 단위로 분석된다.
   • 일관성 검사: 제안된 모든 분절은 원래의 표면 형태와 순방향 산디(forward sandhi)를 통해 다시 결합되는지 기계적으로 검증된다.
4. 집계 및 신뢰도 라벨링: 결과는 표면 형태를 키(key)로 하는 글로벌 사전로 병합된다. 각 항목에는 해결 경로와 LLM의 자기 평가에 따라 신뢰도 라벨(높음, 중간, 낮음)이 할당된다.
5. 인간 전문가 검토 루프: 신뢰도가 낮은 형태는 산스크리트어 전문가를 위한 작업 목록으로 내보내진다. 수정 사항은 영구적인 오버레이 파일에 저장된다. 재구축 시마다 이 오버레이가 마지막에 다시 적용되어, 전문가의 수정이 영구적이고 누적되며 향후 머신 파이프라인의 재생성 과정에서도 생존하도록 보장한다.

시스템 아키텍처 및 결과물
최종 출력물은 서버나 네트워크 접속이 필요 없는 두 개의 독립형 HTML 파일이다:

• 물(Mūla) 리더: 원문에 대한 클릭 가능한 분석을 제공한다.
• 디테일(Detail) 리더: 샹카라의 주석에 대한 클릭 가능한 분석을 포함한 상위 집합이다.
• 설계 결정:
  • 캐럿 기반 해결(Caret-based resolution): 모든 단어를 HTML 태그로 감싸는 대신(파일 크기 팽창 방지), 추출 단계와 동일한 토크나이저를 사용하여 런타임 시 커서 아래의 단어를 해결한다.
  • 경로 B (표면 분석): 주석의 경우, 각 고유한 표면 형태가 정확히 한 번씩 분석되어 글로벌 사전(95,587개 고유 형태)에 저장된다. 이는 내부적 일관성을 보장하고 계산 부하를 줄이지만, 동형이의어(homograph)에 대한 국소적 문맥 구별을 희생한다. 원문 텍스트는 맥락을 보존하기 위해 발생 시마다 분석된다.

주요 기여

1. 코퍼스 자원: 2,971개의 절/수트라/섹션을 포괄하며, 36,881개의 원문 단어 출현을 포함하는, 균일하게 분석된 완성된 프라스타나트라이야 및 샹카라의 바샤 디지털 판본.
2. 탐색 도구 (표제어 색인 기반 컨코던스): 모든 단어가 표제어(lemma)로 태깅되어 있으므로, 사용자는 사전의 표제어(예: ātman)를 검색하여 원문과 주석 전체에 걸쳐 산디나 합성에 의해 숨겨진 모든 굴절 및 합성 내부의 출현을 찾아낼 수 있다.
3. 방법론적 프레임-워크: 적대적 검증 프로토콜 하에서 결정론적 자원과 LLM 지원 분석을 결합한 하이브리드 파이프라인과, 인간 참여형(human-in-the-loop) 수정 시스템으로 마무리되는 방법론.
4. 접근 가능한 산출물: 의존성이 없는 단일 HTML 파일로서, 교육 보조 도구이자 학술적 교정을 위한 플랫폼으로 설계되었다.

평가 결과
시스템은 두 가지 상호 보완적인 방법으로 평가되었다:

• 결정론적 일치도: 고신뢰도 분석은 검증된 Heritage 굴절 어휘 목록의 명사 형태(격/수)에 대해 99.6%, 성(gender)을 포함하여 **99.4%**의 일치율을 보였다. 일치도는 신뢰도 구간(높음 > 중간 > 낮음)에 따라 예측 가능하게 감소하였으며, 이는 신뢰도 라벨이 품질 지표로서 유효함을 입증한다.
• 독립적 판정: 180개의 항목으로 구성된 맹검(blind) 층화 샘플이 독립적인 LLM에 의해 심사되었다. 고신뢰도 및 중신뢰도 분석은 거의 모든 경우에서 "수용 가능" 이상의 평가를 받았다. 모든 "오류" 판정은 저신뢰도 구간에서 발생하였으며, 이는 검토 작업 목록이 가장 신뢰할 수 없는 데이터를 정확하게 타겟팅하고 있음을 확인시켜 준다.

의의 및 주장
본 논문은 이 자원을 무결한 신탁(oracle)이 아니라, 광범위한 문법 훈련이 부족한 학생들에게 아드바이타 베단타의 기초 텍스트를 단어 수준에서 접근할 수 있게 해주는 "비계(scaffold)"로 정의한다. 이 연구의 주요 의의는 다음과 같다:

• 규모와 균일성: 샹카라의 주석의 산문 전체에 걸쳐 최초의 균일하고 상호 탐색 가능한 단어 단위 체계를 제공한다.
• 학술적 유용성: 표면적 제한(굴절, 합성, 산디)을 초월하여 텍스트를 검색 가능한 컨코던스로 변모시킨다.
• 지속 가능성: "인간 참여형" 오버레이를 통해 이 자원이 누적적임을 보장한다. 즉, 전문가의 수정은 영구적이며 재생성 과정에서 손실되지 않고 시스템을 지속적으로 개선한다.
• 접근성: 단일 오프라인 파일로서 인프라 장벽을 제거하여, 인터넷 접속이 없는 환경에서도 이 자원을 자유롭게 배포하고 사용할 수 있게 한다.

저자들은 특히 "경로 B"(표면 분석)로 인한 주석의 문맥 민감한 구별 부족과, 최종 권위가 아닌 비계로서의 LLM 의존성이라는 한계를 인정한다. 그들은 시스템의 역할이 일관된 1차 분석을 생성하고 저신뢰도 출력을 표시하는 것이며, 최종적인 학술적 권위는 인간 편집자에게 있음을 강조한다.