Comparative Analysis of Rule Based Symbolic Logic and a Large Language Model in Sanskrit Morphological Analysis
这项探索性研究对比了基于规则的符号分类器与大语言模型在处理基于《薄伽梵歌》数据的梵文形态分析中的表现，发现两种方法在词序打乱的情况下均能保持稳定的兼容性，其中大语言模型的准确率（86.43%）略高于符号系统（81.43%）。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
语言通常被认为是一股按特定顺序流动的词汇流，其中单词的位置决定了其含义。在许多语言中，改变词序会彻底改变句子的意思。然而，古印度的梵文（Sanskrit）运作方式却大不相同。它是建立在附加在单词上的后缀系统之上的，就像标签一样，无论单词位于句中的何处，都能告诉你谁对谁做了什么。这种灵活性允许说话者为了强调或诗意效果而重新排列单词，而不至于丢失语法逻辑。几个世纪以来，学者们一直依赖严格的书面规则来解码这些后缀，这种方法被称为基于规则的逻辑（rule-based logic）。如今，一种新型工具已经出现：大语言模型（large language models）。这些是基于海量文本训练的计算机系统，它们根据学习到的模式来预测下一个词或一个词的含义，而不是遵循一套固定的指令。研究人员一直在探究的问题是，这两种截然不同的方法在面对词序被打乱时，如何处理梵文这一独特的挑战。
最近的一项研究试图通过将传统的基于规则的计算机程序与现代人工智能系统进行对比来测试这一点。研究人员使用了《薄伽梵歌》（Bhagavad Gita）——一部神圣的印度教经典——中的一百首诗节。他们提取了这些诗节中的单词，并为每个诗节创建了两个版本的文本。在第一个版本中，单词以其自然、原始的顺序出现。在第二个版本中，相同的单词被混合或打乱了，因此序列完全不同，尽管收集到的单词集合是完全一样的。目标是观察这些计算机系统是否仍能在移除位置语境的情况下，正确识别每个单词的语法角色——例如，该词是主语、宾语还是动词。
该研究侧重于一个特定的任务：观察已经被从句子中分离出来的单个单词，并要求系统对其进行标注。研究人员使用了一个遵循明确、逐步规则的 Python 程序来检查单词的结尾。如果一个单词以特定的方式结尾，程序就会根据预先写好的可能性列表为其分配一个标签。这个系统并不观察周围的单词或句子结构；它只看单词本身。在另一边，研究人员使用了由 Gemini（一个大语言模型）生成的预测文件。这些文件包含了该模型对相同单词语法标签的猜测，其提示词要求模型关注单词的结尾，而非翻译或语境。
当研究人员比较结果时，他们发现了一些令人震惊的事实。基于规则的程序在自然顺序和打乱顺序下的表现完全相同。这是预料之中的，因为该程序的设计初衷就是忽略词序；它只是将它接收到的单词与其规则列表进行比对。然而，大语言模型也表现出了惊人的稳定性。即使在单词被打乱的情况下，模型对语法标签的预测也没有发生任何实质性的变化。在针对 280 个特定单词对照参考指南进行检查的过程中，无论单词是在原始顺序还是混合顺序下，模型都正确识别了语法类别，准确率为 86.43%。基于规则的系统准确率略低，为 81.43%，但它在两个版本的文本中同样保持了一致性。
研究人员谨慎地指出，这种稳定性并不意味着大语言模型忽略了词序，也不意味着它以人类学者的方式学习了梵文语法。这项研究并未证明该模型是在脱离语境的情况下工作的，也没有表明它能够处理从未见过的全新单词集。结果仅表明，对于这组特定的单词，即使输入被打乱，模型的输出仍然保持稳定。模型可能是从其训练数据中识别出了这些单词，或者特定的提示词抑制了它使用语境。研究还强调，用于检查答案的参考指南并非完美；它包含了一些歧义且未经过多位专家的评审，这意味着这些分数是与所提供指南的兼容性度量，而非绝对真理。
这项研究最终揭示了这两种不同技术在特定测试下的行为快照。基于规则的系统表现得正如其设计初衷那样，因为它被构建为对词序“盲目”，所以保持不变。而通常被认为高度依赖词序来理解意义的大语言模型，在序列被打破时也产生了相同的结果。这表明，对于这项特定的任务，模型的预测对于输入的打乱具有鲁棒性（robustness）。然而，作者提醒说，这并不意味着该模型已经掌握了梵文，也不意味着它在所有情况下都会如此表现。该研究是对这些特定文件和特定提示词下发生情况的清晰记录，表明在这次记录的对比中，单词的顺序并没有改变结果。它留下了一个悬而未决的问题：这种稳定性是否适用于更复杂的句子、不同的模型或不在训练数据中的文本，从而指向了对更严苛标准的进一步测试的需求。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。