Comparative Analysis of Rule Based Symbolic Logic and a Large Language Model in Sanskrit Morphological Analysis
이 탐색적 연구는 바가바드 기타 데이터를 활용한 산스크리트어 형태소 분석에서 규칙 기반 심볼릭 분류기와 거대 언어 모델을 비교하며, 두 방식 모두 어순 혼란(word-order scrambling) 하에서도 안정적인 호환성을 유지하는 가운데 거대 언어 모델이 심볼릭 시스템(81.43%)보다 약간 더 높은 정확도(86.43%)를 달성했음을 밝혀냈다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
언어는 흔히 단어들이 특정한 순서로 흐르는 스트림이며, 단어의 위치가 그 의미를 결정하는 것으로 생각됩니다. 많은 언어에서 단어의 순서를 바꾸면 문장이 완전히 변합니다. 그러나 인도의 고대 언어인 산스크리트어는 다르게 작동합니다. 이 언어는 단어에 붙은 어미 시스템을 기반으로 구축되어 있는데, 이는 마치 단어가 문장의 어디에 위치하든 상관없이 누가 누구에게 무엇을 하는지를 알려주는 태그와 같습니다. 이러한 유연성 덕분에 화자는 문법적 논리를 잃지 않으면서도 강조나 시적 효과를 위해 단어를 재배열할 수 있습니다. 수 세기 동안 학자들은 이러한 어미를 해독하기 위해 엄격하게 기록된 규칙, 즉 규칙 기반 로직(rule-based logic)이라 불리는 방법에 의존해 왔습니다. 오늘날에는 새로운 종류의 도구가 등장했습니다. 바로 거대 언어 모델(large language models)입니다. 이들은 고정된 지침을 따르는 대신, 학습한 패턴을 바탕으로 다음 단어나 단어의 의미를 예측하는, 방대한 양의 텍스트를 학습한 컴퓨터 시스템입니다. 연구자들이 던진 질문은 이 두 가지 매우 다른 접근 방식이 단어의 순서가 뒤섞였을 때 발생하는 산스크리크어의 독특한 과제를 어떻게 처리하느냐는 것이었습니다.
최근 한 연구는 전통적인 규칙 기반 컴퓨터 프로그램과 현대의 인공지능 시스템을 맞붙여 이를 테스트하고자 했습니다. 연구진은 신성한 힌두교 경전인 바가바드 기타(Bhagavad Gita)의 구절 100개를 사용했습니다. 그들은 이 구절들에서 단어들을 추출하여 각 구절에 대해 두 가지 버전의 텍스트를 만들었습니다. 첫 번째 버전에서는 단어들이 자연스럽고 원래의 순서대로 나타납니다. 두 second 버전에서는 동일한 단어들이 섞이거나 뒤섞여서, 단어의 집합은 정확히 같지만 그 순서는 완전히 달라졌습니다. 목표는 컴퓨터 시스템이 단어의 위치라는 맥락이 제거되었을 때도 각 단어의 문법적 역할(예를 들어, 단어가 주어인지, 목적어인지, 혹은 동사인지)을 여전히 올바르게 식iod할 수 있는지 확인하는 것이었습니다.
연구는 이미 문장에서 분리된 개별 단어들을 살펴보고, 시스템에 그 단어들의 레이블을 지정하도록 요청하는 특정 작업에 집중했습니다. 연구진은 단어의 어미를 확인하기 위해 명시적이고 단계적인 규칙을 따르는 파이썬(Python) 프로그램을 사용했습니다. 만약 단어가 특정한 방식으로 끝난다면, 프로그램은 미리 작성된 가능한 목록을 바탕으로 해당 단어에 레이블을 할당합니다. 이 시스템은 주변 단어나 문장 구조를 보지 않고 오직 단어 자체만을 봅니다. 반대편에서, 연구진은 제미나이(Gemini)라는 거대 언어 모델로부터 생성된 예측 파일들을 사용했습니다. 이 파일들은 번역이나 문맥에 집중하기보다 단어의 어미에 집중하도록 요청하는 프롬프트를 바탕으로 모델이 내놓은 문법적 레이블에 대한 추측들을 담고 있었습니다.
연구진이 결과를 비교했을 때, 놀라운 사실을 발견했습니다. 규칙 기반 프로그램은 자연스러운 순서와 뒤섞인 순서 모두에서 동일하게 수행되었습니다. 이는 예상된 결과였는데, 왜냐하면 그 프로그램은 단어 순서를 무시하도록 설계되었으며, 단순히 주어진 단어를 자신의 규칙 목록과 대조할 뿐이기 때문입니다. 그러나 거대 언어 모델 또한 놀라운 안정성을 보여주었습니다. 단어들이 뒤섞였을 때에도, 모델의 문법적 레이블 예측은 의미 있는 방식으로 변하지 않았습니다. 참조 가이드와 대조한 280개의 특정 단어 중, 모델은 단어가 원래 순서이든 섞여 있든 상관없이 86.43%의 사례에서 문법적 범주를 정확히 식별했습니다. 규칙 기반 시스템은 81.43%의 정확도를 보이며 약간 덜 정확했지만, 텍스트의 두 버전 모두에서 동일하게 일관되었습니다.
연구진은 이러한 안정성이 거대 언어 모델이 단어 순서를 무시하고 있다거나, 인간 학자와 같은 방식으로 산스크리트어 문법 규칙을 배웠다는 것을 의미하지 않는다고 주의 깊게 명시했습니다. 이 연구는 모델이 문맥 없이 작동한다는 것을 증명한 것도 아니며, 모델이 본 적 없는 완전히 새로운 단어 집합을 처리할 수 있다는 것을 보여준 것도 아닙니다. 결과는 오직 이 특정 단어 집합에 대해 모델의 출력이 입력값이 뒤섞였을 때도 일정하게 유지되었다는 것만을 보여주었습니다. 모델이 훈련 데이터에서 해당 단어들을 인식했거나, 사용된 특정 프롬프트가 문맥을 사용하지 않도록 유도했을 가능성이 있습니다. 또한 연구는 답변을 확인하는 데 사용된 참조 가이드가 완벽하지 않았음을 강조했습니다. 가이드에는 모호함이 포함되어 있었고 여러 전문가의 검토를 거치지 않았기에, 이 점수는 절대적인 진리가 아니라 제공된 가이드와의 일치도를 측정하는 것입니다.
이 연구가 궁극적으로 밝혀낸 것은 이 두 가지 서로 다른 기술가 특정 테스트 하에서 어떻게 행동하는지에 대한 스냅샷입니다. 규칙 기반 시스템은 단어 순면에 눈이 멀도록 설계되었기 때문에 의도한 대로 변함없이 행동했습니다. 단어의 순서에 따라 의미를 이해한다고 흔히 생각되는 거대 언어 모델 역시 입력의 순서가 깨졌을 때 동일한 결과를 만들어냈습니다. 이는 이 특정 작업에 대해 모델의 예측이 입력의 뒤섞임에 대해 견고하다는 것을 시사합니다. 그러나 저자는 이것이 모델이 산스크리트어를 마스터했다거나 모든 상황에서 이렇게 행동할 것이라는 의미는 아니라고 경고합니다. 이 연구는 이 특정 파일들과 이 특정 프롬프트들에 대해 일어난 일을 기록한 명확한 기록이며, 이 기록된 비교에서 단어의 순서가 결과에 영향을 미치지 않았음을 보여줍니다. 이는 더 복잡한 문장, 다른 모델, 혹은 훈련 데이터에 포함되지 않은 텍스트에서도 이러한 안정성이 유지될 것인지에 대한 의문을 남기며, 더 엄격한 기준을 갖춘 추가 테스트의 필요성을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.