Comparative Analysis of Rule Based Symbolic Logic and a Large Language Model in Sanskrit Morphological Analysis
この探索的研究は、バガヴァッド・ギーターのデータを用いたサンスクリット語の形態解析において、ルールベースの記号的分類器と大規模言語モデルを比較し、両アプローチとも語順の入れ替えに対して安定した互換性を維持しつつ、大規模言語モデルが記号的システム（81.43%）をわずかに上回る精度（86.43%）を達成したことを明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
言語は、特定の順序で流れる言葉の連なりであり、単語の位置がその意味を決定するものとしばしば考えられています。多くの言語では、単語の順序を変えると文章の意味が完全に変わってしまいます。しかし、インドの古代言語であるサンスクリット語は、それとは異なる仕組みで機能しています。サンスクリット語は、単語に付着した「語尾」のシステムに基づいて構築されており、これは、単語が文のどこに位置しているかにかかわらず、「誰が何に対して何をしたのか」を伝えるタグのような役割を果たします。この柔軟性により、話し手は文法的な論理を失うことなく、強調や詩的な効果のために単語を並べ替えることができます。何世紀もの間、学者たちはこれらの語尾を解読するために、厳格な記述ルール、すなわち「ルールベースの論理」として知られる手法に頼ってきました。今日、新しい種類のツールが登場しました。それが大規模言語モデルです。これらは膨大な量のテキストを用いて学習したコンピュータシステムであり、固定された一連の指示に従うのではなく、学習したパターンに基づいて、次の単語や単語の意味を予測します。研究者たちが問い続けてきたのは、これら二つの全く異なるアプローチが、単語の順序が入れ替わった際のサンスクリット語特有の課題をどのように扱うかという点です。
ある最近の研究では、伝統的なルールベースのコンピュータプログラムと、現代の人工知能システムを対決させることで、この検証を行う試みがなされました。研究者たちは、聖典であるバガヴァッド・ギーターから100の節を集めました。彼らはこれらの節から単語を取り出し、各節に対して2つのバージョンのテキストを作成しました。最初のバージョンでは、単語は自然で本来の順序で現れます。2番目のバージョンでは、同じ単語が混ぜ合わされ、あるいはかき混ぜられ、単語の集合自体は全く同じであるものの、その配列は完全に異なるものになっています。目的は、単語の位置による文脈（コンテクスト）が取り除かれたとき、コンピュータシステムが各単語の文法的役割（例えば、その単語が主語なのか、目的語なのか、あるいは動詞なのかなど）を依然として正しく識別できるかどうかを確認することでした。
この研究は、特定のタスクに焦点を当てました。それは、すでに文章から切り離された個々の単語に注目し、それらにラベルを付ける作業です。研究者たちは、単語の語尾をチェックするために、明示的かつ段階的なルールに従うPythonプログラムを使用しました。もし単語がある特定の形で終わっていれば、プログラムはあらかじめ書かれた選択肢のリストに基づいてラベルを割り当てます。このシステムは、周囲の単語や文の構造を見ることはありません。ただ、与えられた単語そのものだけを見るのです。一方、研究者たちはGeminiという大規模言語モデルによって生成された予測ファイルを使用しました。これらのファイルには、翻訳や文脈ではなく、語尾に焦点を当てるよう求めるプロンプトに基づいた、モデルによる文法的ラベルの推測が含まれていました。
研究者が結果を比較したところ、驚くべきことが判明しました。ルールベースのプログラムは、自然な順序でも、かき混ぜられた順序でも、全く同じパフォーマンスを示しました。これは予想通りの結果でした。なぜなら、そのプログラムは単語の順序を完全に無視するように設計されており、単に与えられた単語を自身のルールリストと照合するだけだからです。しかし、大規模言語モデルもまた、顕著な安定性を示しました。単語がかき混ぜられた状態であっても、モデルによる文法的ラベルの予測は、意味のあるレベルで変化することはありませんでした。参照ガイドと照合された280の特定の単語のうち、モデルは、単語が元の順序であっても、あるいは混ぜ合わされていても、86.43パーセントのケースで文法的カテゴリーを正しく特定しました。ルールベースのシステムは、わずかに精度が低く、81.43パーセントの正解率でしたが、両方のバージョンのテキストにおいて同様に一貫していました。
研究者たちは、この安定性が、大規模言語モデルが単語の順序を無視しているということや、人間である学者のような方法でサンスクリット語の文法規則を学習したことを意味するのではない、という点に注意深く言及しました。この研究は、モデルが文脈なしで機能することを証明したわけでも、モデルが未経験の新しい単語のセットを扱えることを示したわけでもありません。結果が示したのは、この特定の単語のセットにおいて、入力がシャッフルされてもモデルの出力が安定していたということです。モデルがトレーニングデータからその単語を認識したか、あるいは使用された特定のプロンプトが文脈の使用を抑制した可能性があります。また、研究では、回答をチェックするために使用された参照ガイド自体が完璧ではなく、曖昧さを含んでおり、複数の専門家による査読も受けていないため、これらのスコアは絶対的な真実ではなく、提供されたガイドとの適合性を測定したものであることも強調されています。
この研究が最終的に明らかにしているのは、これら二つの異なるテクノロジーが、特定のテストの下でどのように振る舞うかというスナップショットです。ルールベースのシステムは、単語の順序が見えないように構築されているため、意図した通りに変化せず振る舞いました。一方で、単語の配列に大きく依存して意味を理解すると考えられている大規模言語モデルも、入力の配列が崩れた際に、同様の結果を生み出しました。これは、この特定のタスクにおいて、モデルの予測が入力のシャッフルに対して堅牢（ロバスト）であったことを示唆しています。しかし、著者は、これがモデルがサンスクリット語をマスターしたことを意味するわけではなく、あらゆる状況下でこのように振る舞うことを保証するものでもない、と警告しています。この研究は、これら特定のファイルと特定のプロンプトに関して起こったことの明確な記録であり、この記録された比較においては、単語の順序が結果を変えなかったことを示しています。そして、この安定性が、より複雑な文章や、異なるモデル、あるいはトレーニングデータに含まれていないテキストにおいても維持されるのかという問いを投げかけ、より厳格な基準を用いたさらなるテストの必要性を示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。