Comparative Analysis of Rule Based Symbolic Logic and a Large Language Model in Sanskrit Morphological Analysis
Cette étude exploratoire compare un classificateur symbolique fondé sur des règles et un grand modèle de langage sur l'analyse morphologique du sanskrit à l'aide de données de la Bhagavad Gita, constatant que les deux approches maintiennent une compatibilité stable sous un changement d'ordre des mots, le LLM atteignant une précision légèrement supérieure (86,43 %) à celle du système symbolique (81,43 %).
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
On considère souvent le langage comme un flux de mots circulant dans un ordre spécifique, où la position d'un mot détermine son sens. Dans de nombreuses langues, changer l'ordre des mots modifie entièrement la phrase. Cependant, le sanskrit, une langue ancienne de l'Inde, fonctionne différemment. Il est construit sur un système de terminaisons attachées aux mots, semblables à des étiquettes qui indiquent qui fait quoi à qui, quel que soit l'endroit où se trouve le mot dans la phrase. Cette flexibilité permet aux locuteurs de réorganiser les mots pour l'emphase ou l'effet poétique sans perdre la logique grammaticale. Pendant des siècles, les chercheurs se sont appuyés sur des règles écrites strictes pour décoder ces terminaisons, une méthode connue sous le nom de logique basée sur des règles. Aujourd'hui, un nouveau type d'outil a émergé : les grands modèles de langage. Ce sont des systèmes informatiques entraînés sur de vastes quantités de texte qui prédisent le mot suivant ou le sens d'un mot en se basant sur des motifs qu'ils ont appris, plutôt qu'en suivant un ensemble fixe d'instructions. La question que les chercheurs se posent est de savoir comment ces deux approches très différentes gèrent le défi unique du sanskrit lorsque l'ordre des mots est mélangé.
Une étude récente s'est proposée de tester cela en opposant un programme informatique traditionnel basé sur des règles à un système d'intelligence artificielle moderne. Les chercheurs ont utilisé une collection de cent versets de la Bhagavad Gita, un texte sacré hindou. Ils ont pris les mots de ces versets et ont créé deux versions du texte pour chaque verset. Dans la première version, les mots apparaissaient dans leur ordre naturel, original. Dans la seconde version, les mêmes mots ont été mélangés, ou brouillés, de sorte que la séquence était complètement différente, bien que la collection de mots soit restée exactement la même. L'objectif était de voir si les systèmes informatiques pouvaient toujours identifier correctement le rôle grammatical de chaque mot — comme si un mot était le sujet, l'objet ou un verbe — lorsque le contexte de sa position était supprimé.
L'étude s'est concentrée sur une tâche spécifique : examiner des mots individuels qui avaient déjà été séparés des phrases et demander aux systèmes de les étiqueter. Les chercheurs ont utilisé un programme Python qui suivait des règles explicites, étape par étape, pour vérifier les terminaisons des mots. Si un mot se terminait d'une certaine façon, le programme lui attribuait une étiquette basée sur une liste de possibilités pré-écrite. Ce système ne regarde pas les mots environnants ou la structure de la phrase ; il ne regarde que le mot lui-même. De l'autre côté, les chercheurs ont utilisé des fichiers de prédiction générés par Gemini, un grand modèle de langage. Ces fichiers contenaient les suppositions du modèle concernant les étiquettes grammaticales des mêmes mots, sur la base de requêtes (prompts) qui lui demandaient de se concentrer sur les terminaisons des mots plutôt que sur la traduction ou le contexte.
Lorsque les chercheurs ont comparé les résultats, ils ont trouvé quelque chose de frappant. Le programme basé sur des règles a performé exactement de la même manière sur l'ordre naturel et sur l'ordre brouillé. C'était attendu, car le programme a été conçu pour ignorer totalement l'ordre des mots ; il vérifie simplement le mot qui lui est donné par rapport à sa liste de règles. Cependant, le grand modèle de langage a également montré une stabilité remarquable. Même lorsque les mots étaient mélangés, les prédictions du modèle pour les étiquettes grammaticales n'ont pas changé de manière significative. Sur 280 mots spécifiques vérifiés par rapport à un guide de référence, le modèle a correctement identifié la catégorie grammaticale dans 86,43 pour cent des cas, que les mots soient dans leur ordre d'origine ou mélangés. Le système basé sur des règles était légèrement moins précis, obtenant 81,43 pour cent de réussite, mais il était tout aussi cohérent à travers les deux versions du texte.
Les chercheurs ont pris soin de noter que cette stabilité ne signifie pas que le grand modèle de langage ignore l'ordre des mots ou qu'il a appris les règles de la grammaire sanskrite de la même manière qu'un érudit humain. L'étude n'a pas prouvé que le modèle fonctionne sans contexte, ni qu'il peut gérer un nouvel ensemble de mots qu'il n'a jamais vus auparavant. Les résultats ont seulement montré que, pour cet ensemble spécifique de mots, la sortie du modèle est restée stable même lorsque l'entrée a été brassée. Il est possible que le modèle ait reconnu les mots de ses données d'entraînement ou que les requêtes spécifiques utilisées aient découragé l'utilisation du contexte. L'étude a également souligné que le guide de référence utilisé pour vérifier les réponses n'était pas parfait ; il contenait certaines ambiguïtés et n'a pas été examiné par plusieurs experts, ce qui signifie que les scores sont une mesure de compatibilité avec le guide fourni plutôt qu'une vérité absolue.
Ce que cette recherche révèle finalement est un instantané de la manière dont ces deux technologies différentes se comportent sous un test spécifique. Le système basé sur des règles s'est comporté exactement comme prévu par sa conception, restant inchangé car il a été construit pour être aveugle à l'ordre des mots. Le grand modèle de langage, qui est souvent considéré comme dépendant fortement de la séquence des mots pour comprendre le sens, a également produit les mêmes résultats lorsque la séquence a été brisée. Cela suggère que, pour cette tâche particulière, les prédictions du modèle étaient robustes face au brassage de l'entrée. Cependant, l'auteur avertit que cela ne signifie pas que le modèle a maîtrisé le sanskrit ou qu'il se comportera ainsi dans toutes les situations. L'étude sert de compte rendu clair de ce qui s'est passé avec ces fichiers spécifiques et ces requêtes spécifiques, montrant que, dans cette comparaison enregistrée, l'ordre des mots n'a pas changé le résultat. Cela laisse ouverte la question de savoir si cette stabilité se maintient pour des phrases plus complexes, d'autres modèles ou des textes qui ne faisaient pas partie des données d'entraînement, pointant ainsi vers la nécessité de tests supplémentaires avec des normes plus rigoureuses.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.