Arthasetu - Neural Machine Translation for Classical Jain Philosophical Text with Cross-System Evaluation

On considère souvent la langue comme un pont entre les peuples, mais pour la plus ancienne tradition littéraire continue du monde, ce pont lui a manqué une travée cruciale. Le sanskrit, la langue sacrée de la philosophie indienne ancienne, détient une vaste bibliothèque de textes qui définissent l'héritage spirituel et intellectuel de millions de personnes. Pourtant, à l'ère numérique moderne, cette langue reste largement invisible pour les outils qui traduisent les langues du monde pour nous. Si les ordinateurs peuvent désormais traduire des conversations informelles ou des titres de presse avec une facilité croissante, ils éprouvent de profondes difficultés face aux phrases denses, hautement structurées et riches en composés que l'on trouve dans les écrits philosophiques classiques. Ce fossé est particulièrement marqué pour la philosophie jaïne, une école de pensée majeure au sein de la tradition indienne, où le sens précis d'un seul mot peut déterminer la différence entre une intuition spirituelle et un malentendu. Le défi ne consiste pas seulement à traduire des mots ; il s'agit d'apprendre à une machine une manière de penser spécifique et complexe qui a été préservée dans une langue que peu de locuteurs modernes lisent couramment.

Pour remédier à cela, les chercheurs Tamanna Jain et Neeraj Raheja ont développé un système spécialisé appelé Arthasetu, conçu pour traduire les textes philosophiques jaïns classiques du sanskrit vers le hindi. Leur travail se concentre sur un type spécifique d'intelligence artificielle connu sous le nom de système de traduction automatique neuronale. En termes simples, il s'agit d'un programme informatique qui apprend à traduire en étudiant des milliers d'exemples de phrases dans une langue appariées à leurs traductions correctes dans une autre. Les chercheurs ont construit leur système pour gérer les difficultés uniques du sanskrit classique, qui est rempli de mots composés longs et de termes techniques qui n'apparaissent pas dans le langage quotidien. Ils ont testé leur système sur une collection de textes comprenant le Tattvartha Sutra, une écriture jaïne fondamentale, et ses commentaires associés. L'objectif était de créer un outil qui puisse éventuellement servir d'assistant conversationnel pour les étudiants et les chercheurs de la philosophie jaïne, les aidant à naviguer dans ces textes anciens avec plus de facilité.

Les chercheurs ont commencé par rassembler et nettoyer une vaste collection de paires de phrases. Ils ont débuté avec un ensemble de base de près de 10 000 phrases tirées directement de sources philosophiques jaïnes. Pour voir si le fait de fournir plus de données à l'ordinateur aiderait, ils ont essayé deux stratégies d'expansion différentes. Dans la première, ils ont mélangé leurs textes philosophiques avec près de 80 000 phrases provenant de sources encyclopédiques générales et contemporaines, créant ainsi un immense ensemble de données de presque 90 000 phrases. Dans la seconde, ils ont ajouté seulement environ 5 000 phrases supplémentaires, mais celles-ci ont été soigneusement choisies pour provenir d'autres textes philosophiques et dévotionnels jaïns, maintenant l'ensemble de la collection focalisé sur le même sujet. Les résultats de cette expérience furent surprenants. Le jeu de données plus large et mixte a en réalité rendu le système moins performant pour traduire les textes philosophiques spécifiques qu'il était censé traiter. Lorsqu'ils ont été testés sur les phrases spécifiques au jaïnisme, les systèmes entraînés sur les données mixtes ont donné de mauvais résultats. En revanche, le système entraîné sur le plus petit ensemble de données purement philosophiques a obtenu des résultats nettement meilleurs. Cette découverte suggère que pour les domaines hautement spécialisés, une plus petite quantité de données parfaitement pertinentes est plus précieuse qu'une quantité massive de données générales.

L'équipe a également étudié la manière dont l'ordinateur devrait décomposer les phrases pour les apprendre. Une technique courante dans les systèmes de traduction modernes consiste à décomposer les mots en morceaux plus petits, appelés sous-mots, pour aider l'ordinateur à gérer les mots rares ou complexes. Cependant, lorsque les chercheurs ont appliqué cette méthode à leur ensemble de données spécifique, cela n'a pas amélioré les résultats. En fait, le système a mieux fonctionné lorsqu'il a appris à traduire des mots entiers tels qu'ils apparaissaient. Cela indique que pour les petites collections de textes, les astuces standards utilisées pour les systèmes de traduction à usage général massif ne sont pas forcément nécessaires et pourraient même être un obstacle. Les chercheurs ont également comparé leur système construit sur mesure à deux moteurs de traduction préexistants et largement utilisés, disponibles au public. L'un était un service commercial très utilisé, et l'autre un grand modèle open-source entraîné sur des centaines de langues. Bien que le service commercial ait été le plus performant globalement, le système personnalisé des chercheurs a nettement surpassé le grand modèle open-source sur la tâche spécifique de la traduction de ces textes philosophiques. Cela suggère qu'un système adapté à un domaine spécifique peut surpasser un modèle massif à usage général qui tente de tout faire à la fois.

Au cours de leurs travaux, les chercheurs ont également découvert une faille sérieuse dans la manière dont les systèmes de traduction sont parfois testés. Dans une version précoce de leur processus de test, le système disposait d'un raccourci qui lui permettait de chercher directement les réponses dans les données d'entraînement pendant le test, plutôt que de réellement traduire le texte. Cette erreur a fait apparaître le système comme étant presque parfait, avec un score suggérant qu'il était correct presque à chaque fois. Une fois ce raccourci supprimé, les scores sont tombés à un niveau beaucoup plus réaliste, révélant les véritables capacités du système. Cette découverte souligne un risque critique dans la recherche impliquant de petits ensembles de données : si la méthode de test n'est pas soigneusement contrôlée, elle peut produire des résultats trompeurs et artificiellement élevés qui ne reflètent pas les performances en conditions réelles. Pour garantir l'utilité du système en pratique, les chercheurs proposent une approche hybride pour un déploiement futur. Cette conception vérifierait d'abord si la question de l'utilisateur correspond à une phrase connue dans leur base de données, renvoyant instantanément une traduction vérifiée. Si la question est nouvelle, le système utiliserait ensuite ses capacités de traduction générative pour construire une réponse. Cette combinaison de recherche de faits connus et de génération de nouvelles traductions vise à fournir à la fois rapidité et précision aux utilisateurs étudiant ces textes anciens.

Les travaux concluent que, bien que le domaine de la traduction automatique pour le sanskrit en soit encore à ses débuts, se concentrer sur les besoins spécifiques d'un sous-domaine comme la philosophie jaïne produit de meilleurs résultats que d'essayer d'appliquer des solutions larges et générales. Les chercheurs ont démontré qu'un ensemble de données plus petit et hautement ciblé est plus efficace qu'un ensemble plus large et mixte, et que les méthodes standards de décomposition des mots ne s'appliquent pas toujours aux projets spécialisés de plus petite envergure. Ils ont également fourni un cadre clair et reproductible pour tester ces systèmes, garantissant que les progrès futurs soient mesurés avec précision. En rendant leurs données et leurs méthodes transparentes, ils espèrent encourager la poursuite des recherches sur la traduction des langues classiques du monde, afin de garantir que ces voix anciennes puissent être entendues clairement dans le monde moderne.