Sense-Augmented Corpus for Sanskrit-English Machine Translation: Corpus Construction, Model Fine-Tuning, and Evaluation
Dit artikel behandelt de uitdaging van lexicale ambiguïteit in de Sanskriet-Engelse machinevertaling door een met betekenissen verrijkte parallelle corpus te construeren met behulp van LLM's en een aangepaste inventaris van betekenissen, waarmee wordt aangetoond dat het expliciet opnemen van woordbetekenisinformatie de vertaalkwaliteit aanzienlijk verbetert over verschillende modelarchitecturen heen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Taal is meer dan een verzameling woorden; het is een levend systeem waarbij de betekenis verschuift afhankelijk van het gezelschap dat een woord houdt. In de studie van taal kan een enkel woord vele verschillende hoeden dragen, een concept dat bekend staat als polysemie. Voor een menselijke lezer fungeert context als een gids, die onmiddellijk verduidelijkt of een woord verwijst naar een fysiek object, een abstract idee of een handeling. Voor computers is deze taak echter berucht moeilijk. Machines worstelen vaak met het onderscheid tussen deze verschillende betekenissen, wat leidt tot vertalingen die grammaticaal correct zijn maar semantisch verward. Dit probleem is bijzonder acuut voor oude talen zoals het Sanskriet, waarbij een enkele term eeuwen aan genuanceerde betekenis kan dragen en waarvoor digitale bronnen schaars zijn. Wanneer een machine de beoogde zin van een woord niet begrijpt, kan de resulterende vertaling de essentie van de oorspronkelijke tekst verliezen, waardoor een diepzinnige filosofische stelling verandert in een zinloze reeks woorden.
Onderzoekers van het IIIT Hyderabad en de Central Sanskrit University hebben dit probleem aangepakt door machines te leren meer aandacht te besteden aan de specifieke betekenis van woorden voordat ze proberen te vertalen. Hun werk richt zich op het creëren van een nieuw soort trainingsdata voor de vertaling van Sanskriet naar het Engels. In plaats van een computer simpelweg paren van Sanskrietzinnen en hun Engelse equivalenten te voeren, heeft het team deze paren verrijkt met expliciete labels die de exacte betekenis van elk woord in de zin identificeren. Ze gebruikten een krachtig kunstmatige intelligentie-instrument om als een digitale lexicograaf te fungeren, dat elke Sanskrietzin leest en de juiste definitie voor elk woord selecteert uit een enorme woordenlijst, net zoals een menselijke geleerde dat zou doen. Dit proces resulteerde in een "sense-augmented" corpus, een dataset waarbij de computer niet alleen de woorden wordt getoond, maar ook precies wordt verteld wat die woorden in die specifieke context betekenen.
Het team testte deze aanpak met behulp van verschillende verschillende vertaalmodellen, waaronder gespecialiseerde vertaalmachines en algemene grote taalmodellen. Ze begonnen met kijken hoe deze modellen presteerden zonder extra training, een staat die bekend staat als zero-shot inference. Zoals verwacht hadden de modellen moeite, waarbij ze vaak vertalingen produceerden die gefragmenteerd waren of de kern van de oorspronkelijke tekst volledig misten. Bijvoorbeeld, bij het vertalen van een zin over krijgers die in doodsangst vluchten, zou een basismodel een woord voor "bergvesting" simpelweg als "bos" kunnen vertalen, waardoor de cruciale beeldspraak van het originele epos verloren gaat. Wanneer de onderzoekers deze modellen vervolgens hebben verfijnd met behulp van de standaard parallelle zinnen, verbeterden de vertalingen aanzienlijk en werden ze coherenter en vloeiender. De meest dramatische sprong in kwaliteit vond echter plaats toen de modellen werden getraind op de nieuwe, sense-augmented data.
De resultaten toonden aan dat het verstrekken van expliciete betekenisinformatie de kwaliteit van de vertalingen consistent verbeterde over alle geteste modellen heen. De machines werden veel beter in het kiezen van het juiste woord voor de juiste situatie. In één specifiek geval vertaalde een model dat getraind was op de sense-augmented data een frase die een "groot leger" beschreef correct als een leger, terwijl hetzelfde model dat alleen met standaard data was getraind, het onjuist als "doek" had vertaald, een fout die de betekenis van de scène volledig veranderde. Een ander voorbeeld betrof een woord dat "partij" of "oorzaak" kon betekenen; het verbeterde model koos correct "partij" om naar een groep mensen te verwijzen, terwijl het standaardmodel "oorzaak" koos, wat niet bij de context paste. Deze verbeteringen waren niet slechts kleine aanpassingen; ze vertegenwoordigden een fundamentele verschuiving in hoe de modellen de tekst begrepen, waardoor ze ambiguïteiten konden oplossen die hen voorheen hadden doen falen.
De studie benadrukte ook dat deze methode goed werkt, zelfs voor algemene kunstmatige intelligentie-modellen die oorspronkelijk niet voor vertaling zijn ontworpen. Een algemeen model, dat doorgaans worstelt met specifieke taalparen, was in staat om prestatieniveaus te bereiken die vergelijkbaar zijn met toegewijde vertaalmachines zodra het werd getraind op de sense-augmented data. Dit suggereert dat de sleutel tot betere vertaling niet alleen ligt in het hebben van meer data, maar in het hebben van data die semantisch rijk is. De onderzoekers ontdekten dat de modellen leerden om meer contextueel passende keuzes te maken, waardoor het aantal keren dat ze zinnen herhaalden of onzin genereerden – een veelvoorkomende fout in machinale vertaling – effectief werd verminderd. Hoewel het proces van het creëren van deze verrijkte dataset aanzienlijke rekenkracht en tijd vereiste, was de beloning een duidelijke demonstratie dat het aanleren van machines om woorden expliciet te disambigueren leidt tot vertalingen die niet alleen nauwkeuriger zijn, maar ook trouwer aan de geest van de oorspronkelijke taal.
Het werk claimt niet elk probleem in machinale vertaling te hebben opgelost, noch suggereert het dat de huidige methoden perfect zijn. De onderzoekers merkten op dat hun sense-inventaris extreem gedetailleerd was, wat het voor de modellen soms moeilijker maakte om te kiezen tussen zeer vergelijkbare betekenissen. Ze erkenden ook dat het proces computationeel duur is en dat fouten in de initiële betekenistoewijzing potentieel de uiteindelijke vertaling kunnen beïnvloeden. De bevindingen bieden echter een veelbelovend pad vooruit, met name voor talen met weinig middelen waar data schaars is. Door aan te tonen dat expliciete betekenisinformatie de kloof tussen menselijk begrip en machinale verwerking kan overbruggen, biedt de studie een blauwdruk voor het verbeteren van hoe computers interageren met de complexe, gelaagde betekenissen van de menselijke taal. Het uiteindelijke doel is niet alleen het vertalen van woorden, maar het overbrengen van de precieze intentie en nuance van de spreker, een taak die een niveau van begrip vereist dat alleen door zorgvuldige, sense-bewuste training kan worden geboden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.