Arthasetu - Neural Machine Translation for Classical Jain Philosophical Text with Cross-System Evaluation

언어는 종종 사람들 사이의 가교 역할을 한다고 생각되지만, 세계에서 가장 오래된 연속된 문학 전통에 있어서 그 가교에는 중요한 구간이 빠져 있습니다. 고대 인도 철학의 신성한 언어인 산스크리트어는 수백만 명의 정신적, 지적 유산을 정의하는 방대한 텍스트 라이브러리를 보유하고 있습니다. 그러나 현대 디지털 시대에 이 언어는 세계의 언어를 번역해 주는 도구들에게 여전히 거의 보이지 않는 상태로 남아 있습니다. 컴퓨터는 이제 일상적인 대화나 뉴스 헤드라인을 점점 더 쉽게 번역할 수 있지만, 고전 철학 저술에서 발견되는 밀도가 높고 고도로 구조화되며 복합어가 많은 문장에는 깊은 어려움을 겪습니다. 이러한 격차는 인도 전통 내의 주요 학파인 자인(Jain) 철학에서 특히 심각한데, 여기서는 단 하나의 단어가 가진 정밀한 의미가 영적 통찰과 오해 사이의 차이를 결정할 수 있기 때문입니다. 이 과제는 단순히 단어를 번려하는 문제가 아닙니다. 그것은 현대의 구사자가 유창하게 읽기 어려운 언어로 보존된, 특유의 복잡한 사고 방식을 기계에게 가르치는 일입니다.

이를 해결하기 위해 연구자 타만나 제인(Tamanna Jain)과 니라즈 라헤자(Neeraj Raheja)는 고전 자인 철학 텍스트를 산스크리트어에서 힌디어로 번역하도록 설계된 '아르타세투(Arthasetu)'라는 특화된 시스템을 개발했습니다. 그들의 작업은 신경 기계 번역 시스템이라고 알려진 특정 유형의 인공지기능에 초점을 맞추고 있습니다. 간단히 말해, 이것은 한 언어의 문장과 그에 대응하는 올바른 번역이 쌍을 이룬 수천 개의 사례를 학습함으로써 번역을 배우는 컴퓨터 프로그램입니다. 연구진은 일상적인 대화에는 등장하지 않는 긴 복합어와 전문 용어로 가득 찬 고전 산스크리트어의 독특한 어려움을 처리할 수 있도록 시스템을 구축했습니다. 그들은 자인 철학의 기초가 되는 경전인 타트바르타 수트라(Tattvartha Sutra)와 그에 부수되는 주석들을 포함한 텍스트 모음으로 시스템을 테스트했습니다. 목표는 이 도구가 궁극적으로 자인 철학을 공부하는 학생과 학자들을 위한 대화형 보조 도구로서 기능하여, 그들이 이 고대 텍스트를 더 쉽게 탐구할 수 있도록 돕는 것이었습니다.

연구진은 방대한 문장 쌍 모음을 수집하고 정제하는 것부터 시작했습니다. 그들은 직접적으로 자인 철학적 출처에서 가져온 약 10,000개의 문장으로 구성된 핵심 세트로 시작했습니다. 컴퓨터에 더 많은 데이터를 입력하는 것이 도움이 될지 확인하기 위해, 그들은 두 가지 다른 확장 전략을 시도했습니다. 첫 번째에서는 그들의 철학 텍스트를 일반 백과사전 및 현대적 출처에서 가져온 약 80,000개의 문장과 혼합하여, 거의 90,000개에 달하는 거대한 데이터셋을 만들었습니다. 두 번째에서는 약 5,000개의 문장을 추가했지만, 이 문장들은 동일한 주제에 집중할 수 있도록 다른 자인 철학 및 신앙 텍스트에서 엄선되었습니다. 실험 결과는 놀라웠습니다. 더 큰 규모의 혼합 데이터셋은 오히려 시스템이 다루기로 되어 있었던 특정 철학 텍스트를 번역하는 능력을 저하시켰습니다. 자인 전용 문장들로 테스트했을 때, 혼합된 데이터로 학습된 시스템은 성능이 저조했습니다. 반면, 순수하게 철학적인 데이터로 학습된 더 작은 데이터셋의 시스템은 현저히 더 나은 성능을 보였습니다. 이 발견은 매우 전문화된 분야의 경우, 방대한 양의 일반적인 데이터보다 완벽하게 관련 있는 적은 양의 데이터가 더 가치 있다는 것을 시사합니다.

팀은 또한 컴퓨터가 문장을 어떻게 분해하여 학습해야 하는지도 조사했습니다. 현대 번역 시스템에서 흔히 쓰이는 기술은 희귀하거나 복잡한 단어를 처리하는 데 도움을 주기 위해 단어를 '서브워드(subword)'라고 불리는 더 작은 조각으로 나누는 것입니다. 그러나 연구진이 이 방법을 특정 데이터셋에 적용했을 때, 결과는 개선되지 않았습니다. 사실, 시스템은 단어가 나타나는 그대로의 전체 단어를 학습했을 때 더 잘 작동했습니다. 이는 규모가 작은 텍xt 컬렉션의 경우, 거대하고 범용적인 번역 시스템에서 사용하는 표준적인 기법들이 반드시 필요하지 않으며 오히려 방해가 될 수도 있음을 나타냅니다. 연구진은 또한 자신들이 직접 구축한 시스템을 공개적으로 사용 가능한 두 가지 주요 기존 번역 엔진과 비교했습니다. 하나는 널리 사용되는 상업적 서비스였고, 다른 하나는 수백 개의 언어로 학습된 대규모 오픈 소스 모델이었습니다. 상업적 서비스가 전반적으로 가장 우수한 성능을 보였지만, 연구진의 맞춤형 시스템은 이 철학적 텍스트를 번역하는 특정 작업에서 대규모 오픈 소스 모델을 크게 앞질렀습니다. 이는 특정 영역에 맞춰진 시스템이 모든 것을 한꺼번에 하려는 거대하고 범용적인 모델보다 더 뛰어난 성능을 낼 수 있음을 시사합니다.

연구 과정 중에 연구진은 번역 시스템을 테스트하는 방식에서 발생하는 심각한 결함도 발견했습니다. 초기 테스트 과정 중 하나에서, 시스템이 실제 텍스트를 번역하는 대신 훈련 데이터에서 정답을 직접 찾아내는 지름길(shortcut)을 사용하는 오류가 있었습니다. 이 실수로 인해 시스템은 마치 완벽한 것처럼 보였고, 거의 매번 정답을 맞히는 듯한 점수를 기록했습니다. 일단 이 지름길이 제거되자 점수는 훨씬 더 현실적인 수준으로 떨어졌으며, 시스템의 실제 역량을 드러냈습니다. 이 발견은 작은 데이터셋을 다루는 연구에서 매우 중요한 위험성을 강조합니다. 즉, 테스트 방법이 주의 깊게 통제되지 않으면, 실제 성능을 반영하지 못하는 왜곡되게 높은 결과가 나올 수 있다는 것입니다. 시스템이 실무에서 유용하게 쓰이도록 하기 위해, 연구진은 향-미래의 배포를 위한 하이브리드 접근 방식을 제안합니다. 이 설계는 먼저 사용자의 질문이 데이터베이스에 있는 알려진 문장과 일치하는지 확인하여 검증된 번역을 즉시 반환합니다. 만약 질문이 새로운 것이라면, 시스템은 생성적 번역 기술을 사용하여 답변을 구성합니다. 알려진 사실을 찾아보는 것과 새로운 번역을 생성하는 것의 이 조합은 고대 텍스트를 공부하는 사용자들에게 속도와 정확성을 모두 제공하는 것을 목표로 합니다.

결론적으로, 산스크리트어 기계 번역 분야는 아직 초기 단계에 있지만, 자인 철학과 같은 하위 도메인의 구체적인 요구 사항에 집중하는 것이 광범하고 일반적인 솔루션을 적용하는 것보다 더 나은 결과를 낳는다는 것을 보여줍니다. 연구진은 작고 고도로 집중된 데이터셋이 더 크고 혼합된 데이터셋보다 효과적이며, 단어를 분해하는 표준적인 방법이 항상 소규모의 전문 프로젝트에 적용되는 것은 아님을 입증했습니다. 또한 그들은 이러한 시스템을 테스트하기 위한 명확하고 재현 가능한 프레임워크를 제공함으로써 미래의 발전이 정확하게 측정될 수 있도록 했습니다. 데이터와 방법론을 투명하게 공개함으로써, 그들은 더 많은 연구가 고전 언어 번역을 촉진하여 이 고대의 목소리들이 현대 세계에서 명확하게 들릴 수 있기를 희망하고 있습니다.