Arthasetu - Neural Machine Translation for Classical Jain Philosophical Text with Cross-System Evaluation

言語はしばしば人々を繋ぐ架け橋と考えられていますが、世界最古の継続的な文学伝統にとって、その架け橋には決定的なスパンが欠けています。古代インド哲学の聖なる言語であるサンスクリット語は、何百万人もの精神的・知的遺産を定義する膨大な文献のライブラリを保持しています。しかし、現代のデジタル時代において、この言語は世界の言語を翻訳してくれるツールから、大部分が不可視のままとなっています。コンピュータは今や、日常的な会話やニュースの見出しを容易に翻訳できるようになっていますが、古典的な哲学著作に見られる、高密度で高度に構造化された、複合語の多い文章に対しては、深刻な苦戦を強いられています。このギャップは、インドの伝統における主要な学派であるジャイナ教哲学において特に顕著です。そこでは、単一の単語の正確な意味が、精神的な洞察と誤解との違いを決定づけるからです。課題は単に言葉を翻訳することではありません。極めて少数の現代の話し手しか流暢に読めなくなった言語の中に保存されている、特定の複雑な思考様式を機械に理解させることなのです。

これに対処するため、研究者のタマンナ・ジェインとニラジ・ラヘジャは、古典的なジャイナ教哲学テキストをサンスクリット語からヒンディー語へ翻訳するために設計された、「アルタセトゥ（Arthasetu）」と呼ばれる特化型のシステムを開発しました。彼らの研究は、ニューラル機械翻訳システムとして知られる特定の種類の人工知能に焦点を当てています。簡単に言えば、これは一方の言語の文章と、それに対応する正しい翻訳のペアとなる数千の例を学習することで、翻訳を学ぶコンピュータプログラムのことです。研究者たちは、日常会話には現れない長い複合語や専門用語に満ちた古典サンスクリット語特有の困難に対処できるよう、システムを構築しました。彼らは、基礎的なジャイナ教の聖典である『タットヴァルタ・スートラ』とその注釈を含むテキストのコレクションを用いて、システムをテストしました。目標は、学生や学者がこれらの古代のテキストをより容易に読み解くための対話型アシスタントとして、最終的に機能するツールを作ることでした。

研究者たちは、まず膨大な文章ペアの収集とクリーニングから始めました。彼らは、ジャイナ教哲学のソースから直接抽出された約10,000の文からなるコアセットから着手しました。コンピュータにさらなるデータを投入することで効果が得られるかを確認するため、彼らは2つの異なる拡張戦略を試みました。第一の手法では、彼らの哲学的テキストを、一般的な百科事典や現代のソースから得られた約80,000の文章と混合し、合計約90,000文の巨大なデータセットを作成しました。第二の手法では、約5,000の文章のみを追加しましたが、これらは他のジャイナ教の哲学や devotional（信仰）に関するテキストから慎重に選ばれたものであり、コレクション全体を同じ主題に集中させました。結果は驚くべきものでした。より大規模で混合されたデータセットを用いた方が、扱うべき特定の哲学テキストの翻訳精度はむしろ低下したのです。混合データで学習させたシステムは、ジャイナ教特有の文章に対しては性能が悪化しました。対照的に、より小規模で純粋に哲学的なデータセットで学習させたシステムは、大幅に優れた性能を示しました。この発見は、高度に専門化された分野においては、膨大な量の一般的なデータよりも、完璧に関連性のある少量のデータの方が価値があることを示唆しています。

チームはまた、コンピュータが文章をどのように分解して学習すべきかについても調査しました。現代の翻訳システムで一般的な手法は、珍しい単語や複雑な単語を処理しやすくするために、単語を「サブワード」と呼ばれる小さな断片に分解することです。しかし、研究者がこの手法を彼らの特定のデータセットに適用したところ、結果は改善されませんでした。実際には、システムは単語を出現した通りの「一つの単語」として学習した方が、より高い性能を発揮しました。これは、より小規模なテキストコレクションの場合、大規模で汎用的な翻訳システムで使用される標準的なテクニックは、必ずしも必要ではなく、むしろ妨げになる可能性があることを示しています。研究者たちはまた、彼らが独自に構築したシステムを、一般に公開されている2つの主要な既存の翻訳エンジンと比較しました。一つは広く利用されている商用サービスであり、もう一つは数百の言語で学習された大規模なオープンソースモデルでした。商用サービスは全体として最高の性能を示しましたが、研究者たちのカスタムシステムは、これらの哲学テキストを翻訳するという特定のタスクにおいて、その大規模なオープンソースモデルを大幅に上回りました。これは、一度にすべてをやろうとする大規模な汎用モデルよりも、特定のドメインに特化したシステムの方が優れた性能を発揮できることを示唆しています。

研究の過程で、研究者たちは翻訳システムにおけるテスト方法の重大な欠陥も発見しました。初期のテストプロセスにおいて、システムが実際にテキストを翻訳するのではなく、トレーニングデータから直接答えを検索できてしまうショートカットが存在していました。このミスにより、システムはほぼ完璧であるかのように見え、正解率がほぼ毎回正しいことを示すスコアが出ていました。このショートカットが取り除かれると、スコアははるかに現実的なレベルまで低下し、システムの真の実力が明らかになりました。この発見は、小規模なデータセットを扱う研究における重要なリスクを浮き彫りにしています。つまり、テスト方法が厳密に制御されていない場合、現実世界のパフォーマンスを反映しない、誤解を招くほど高い結果が生じる可能性があるということです。システムを実用的なものにするために、研究者たちは将来の展開に向けたハイブリッドなアプローチを提案しています。この設計では、まずユーザーの質問がデータベース内の既知の文章と一致するかどうかを確認し、一致する場合は検証済みの翻訳を即座に返します。質問が新しいものである場合は、システムが生成的な翻訳スキルを使用して回答を構成します。既知の事実を検索することと、新しい翻訳を生成することのこの組み合わせは、古代のテキストを学ぶユーザーに対して、スピードと正確性の両方を提供することを目的としています。

結論として、サンスクリット語の機械翻訳の分野はまだ初期段階にあるものの、ジャイナ教哲学のようなサブドメインの特定のニーズに焦 없고、広範で一般的な解決策を適用しようとするよりも、そのニーズに焦点を絞る方がより良い結果をもたらすことが示されました。研究者たちは、より大規模で混合されたデータセットよりも、小さく高度に特化したデータセットの方が効果的であることを実証し、単語を分解する標準的な手法が必ずしも小規模で専門的なプロジェクトに適用できるわけではないことを明らかにしました。彼らはまた、これらのシステムをテストするための明確で再現可能なフレームワークを提供し、将来の進歩が正確に測定されることを保証しました。データと手法を透明にすることで、彼らはさらなる研究を促し、これらの古代の声を現代の世界で明確に聞き取れるようにすることを願っています。