Sense-Augmented Corpus for Sanskrit-English Machine Translation: Corpus Construction, Model Fine-Tuning, and Evaluation
Cet article aborde le défi de l'ambiguïté lexicale dans la traduction automatique sanskrit-anglais en construisant un corpus parallèle augmenté de sens à l'aide de LLM et d'un inventaire de sens personnalisé, démontrant que l'incorporation explicite d'informations sur le sens des mots améliore considérablement la qualité de la traduction à travers différentes architectures de modèles.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le langage est bien plus qu'une simple collection de mots ; c'est un système vivant où le sens change selon la compagnie que tient un mot. Dans l'étude du langage, un seul mot peut porter plusieurs chapeaux différents, un concept connu sous le nom de polysémie. Pour un lecteur humain, le contexte agit comme un guide, clarifiant instantanément si un mot se réfère à un objet physique, une idée abstraite ou une action. Cependant, pour les ordinateurs, cette tâche est notoirement difficile. Les machines peinent souvent à distinguer ces différents sens, ce qui conduit à des traductions grammaticalement correctes mais sémantiquement confuses. Ce problème est particulièrement aigu pour les langues anciennes comme le sanskrit, où un terme unique peut porter des siècles de nuances, et pour lesquelles les ressources numériques sont rares. Lorsqu'une machine ne parvient pas à saisir le sens voulu d'un mot, la traduction résultante peut perdre l'essence même du texte original, transformant une déclaration philosophique profonde en une suite de mots insensés.
Des chercheurs de l'IIIT Hyderabad et de l'Université Centrale du Sanskrit ont relevé ce défi en apprenant aux machines à prêter une attention plus soutenue au sens spécifique des mots avant de tenter de les traduire. Leurs travaux se concentrent sur la création d'un nouveau type de données d'entraînement pour la traduction sanskrit-anglais. Au lieu de simplement fournir à un ordinateur des paires de phrases en sanskrit et leurs équivalents en anglais, l'équipe a enrichi ces paires avec des étiquettes explicites qui identifient le sens exact de chaque mot de la phrase. Ils ont utilisé un outil d'intelligence artificielle puissant pour agir comme un lexicographe numérique, lisant chaque phrase en sanskrit et sélectionnant la définition correcte pour chaque mot dans un dictionnaire massif, tout comme le ferait un érudit humain. Ce processus a abouti à un corpus « augmenté par le sens », un ensemble de données où l'ordinateur n'est pas seulement confronté aux mots, mais se voit également dire exactement ce que ces mots signifient dans ce contexte spécifique.
L'équipe a testé cette approche en utilisant plusieurs modèles de traduction différents, y compris des moteurs de traduction spécialisés et des modèles de langage de grande taille à usage général. Ils ont commencé par observer comment ces modèles se comportaient sans entraînement supplémentaire, un état connu sous le nom d'inférence à zéro tir (zero-shot inference). Comme prévu, les modèles ont éprouvé des difficultés, produisant souvent des traductions fragmentées ou manquant complètement le point central du texte original. Par exemple, lors de la traduction d'une phrase sur des guerriers fuyant de terreur, un modèle de base pourrait traduire un mot signifiant « forteresse de montagne » simplement par « forêt », manquant ainsi l'imagerie cruciale de l'épopée originale. Lorsque les chercheurs ont ensuite affiné ces modèles en utilisant les phrases parallèles standards, les traductions se sont considérablement améliorées, devenant plus cohérentes et fluides. Cependant, le saut de qualité le plus spectaculaire s'est produit lorsque les modèles ont été entraînés sur les nouvelles données augmentées par le sens.
Les résultats ont montré que la fourniture d'informations de sens explicites améliorait systématiquement la qualité des traductions pour tous les modèles testés. Les machines sont devenues bien plus aptes à choisir le bon mot pour la bonne situation. Dans un cas spécifique, un modèle entraîné sur les données augmentées par le sens a correctement traduit une expression décrivant une « grande armée » par « armée », alors que ce même modèle entraîné uniquement sur des données standards l'avait incorrectement traduite par « tissu », une erreur qui altérait complètement le sens de la scène. Un autre exemple impliquait un mot qui pouvait signifier « parti » ou « cause » ; le modèle amélioré a correctement choisi « parti » pour désigner un groupe de personnes, tandis que le modèle standard a choisi « cause », ce qui ne convenait pas au contexte. Ces améliorations n'étaient pas de simples ajustements mineurs ; elles représentaient un changement fondamental dans la manière dont les modèles comprenaient le texte, leur permettant de résoudre les ambiguïtés qui les faisaient auparavant échouer.
L'étude a également souligné que cette méthode fonctionne bien même pour les modèles d'intelligence artificielle à usage général qui n'ont pas été conçus à l'origine pour la traduction. Un modèle général, qui peine typiquement avec des paires de langues spécifiques, a pu atteindre des niveaux de performance comparables à ceux de moteurs de traduction dédiés une fois entraîné sur les données augmentées par le sens. Cela suggère que la clé d'une meilleure traduction ne réside pas seulement dans l'augmentation des données, mais dans la possession de données sémantiquement riches. Les chercheurs ont constaté que les modèles apprenaient à faire des choix plus contextuellement appropriés, réduisant efficacement le nombre de fois où ils répétaient des phrases ou généraient du non-sens, une erreur courante en traduction automatique. Bien que le processus de création de cet ensemble de données enrichi ait nécessité une puissance de calcul et un temps considérables, la récompense a été une démonstration claire que l'enseignement de la désambiguïsation explicite des mots conduit à des traductions qui sont non seulement plus précises, mais aussi plus fidèles à l'esprit de la langue originale.
Ce travail ne prétend pas avoir résolu tous les problèmes de la traduction automatique, ni suggère que les méthodes actuelles sont parfaites. Les chercheurs ont noté que leur inventaire de sens était extrêmement détaillé, ce qui rendait parfois plus difficile pour les modèles de choisir entre des significations très proches. Ils ont également reconnu que le processus est coûteux en termes de calcul et que des erreurs dans l'attribution initiale du sens pourraient potentiellement affecter la traduction finale. Cependant, les conclusions offrent une voie prometteuse, particulièrement pour les langues à faibles ressources où les données sont rares. En montrant que l'information de sens explicite peut combler le fossé entre la compréhension humaine et le traitement par machine, l'étude fournit un plan directeur pour améliorer la façon dont les ordinateurs interagissent avec les significations complexes et stratifiées du langage humain. L'objectif ultime n'est pas seulement de traduire des mots, mais de transmettre l'intention précise et la nuance de l'orateur, une tâche qui exige un niveau de compréhension que seul un entraînement attentif et sensible au sens peut fournir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.