Arthasetu - Neural Machine Translation for Classical Jain Philosophical Text with Cross-System Evaluation

Taal wordt vaak beschouwd als een brug tussen mensen, maar voor de oudste continue literaire traditie van de wereld is die brug een cruciaal deel van het weggebleven middendeel. het Sanskriet, de heilige taal van de oude Indiase filosofie, herbergt een enorme bibliotheek aan teksten die het spirituele en intellectuele erfgoed van miljoenen mensen definiëren. Toch blijft deze taal in het moderne digitale tijdperk grotendeels onzichtbaar voor de instrumenten die de talen van de wereld voor ons vertalen. Hoewel computers nu met toenemende gemak alledaagse gesprekken of nieuwsberichten kunnen vertalen, hebben ze grote moeite met de dichte, hooggestructureerde en samengestelde zinnen die voorkomen in klassieke filosofische geschriften. Deze kloof is bijzonder groot voor de Jain-filosofie, een belangrijke stroming binnen de Indiase traditie, waarbij de precieze betekenis van één enkel woord het verschil kan bepalen tussen een spiritueel inzicht en een misverstand. De uitdaging gaat niet alleen over het vertalen van woorden; het gaat over het leren begrijpen van een specifieke, complexe manier van denken die is bewaard in een taal die weinig moderne sprekers vloeiend lezen.

Om dit aan te pakken, ontwikkelden onderzoekers Tamanna Jain en Neeraj Raheja een gespecialiseerd systeem genaamd Arthasetu, ontworpen om klassieke Jain-filosofische teksten van het Sanskriet naar het Hindi te vertalen. Hun werk richt zich op een specifiek type kunstmatige intelligentie dat bekend staat als een neuraal machinevertalingssysteem. In eenvoudige termen is dit een computerprogramma dat leert vertalen door duizenden voorbeelden van zinnen in de ene taal te bestuderen, gekoppeld aan hun correcte vertalingen in een andere taal. De onderzoekers bouwden hun systeem om de unieke moeilijkheden van het klassieke Sanskriet aan te kunnen, dat vol zit met lange, samengestelde woorden en technische termen die niet in het dagelijks taalgebruik voorkomen. Ze testten hun systeem op een collectie teksten, waaronder de Tattvartha Sutra, een fundamentele Jain-geschrift, en de bijbehorende commentaren. Het doel was om een hulpmiddel te creëren dat uiteindelijk zou kunnen dienen als een conversationele assistent voor studenten en geleerden van de Jain-filosofie, om hen te helpen deze oude teksten met meer gemak te navigeren.

De onderzoekers begonnen met het verzamelen en opschonen van een enorme collectie zinnenparen. Ze begonnen met een kernset van bijna 10.000 zinnen, rechtstreeks afkomstig uit Jain-filosofische bronnen. Om te zien of het voeden van de computer met meer data zou helpen, probeerden ze twee verschillende expansiestrategieën. In de eerste mengden ze hun filosofische teksten met bijna 80.000 zinnen uit algemene encyclopedische en hedendaagse bronnen, waardoor een enorme dataset van bijna 90.000 zinnen ontstond. In de tweede strategie voegden ze slechts ongeveer 5.000 meer zinnen toe, maar deze waren zorgvuldig gekozen uit andere Jain-filosofische en devotionele teksten, waardoor de gehele collectie gericht bleef op hetzelfde onderwerp. De resultaten van dit experiment waren verrassend. De grotere, gemengde dataset maakte het systeem zelfs slechter in het vertalen van de specifieke filosofische teksten waarvoor het bedoeld was. Wanneer het systeem werd getest op de Jain-specifieke zinnen, presteerde het systeem dat getraind was op de gemengde data slecht. In contrast hiermee presteerde het systeem dat getraind was op de kleinere, puur filosofische dataset aanzienlijk beter. Deze bevinding suggereert dat voor zeer gespecialiseerde velden een kleinere hoeveelheid perfect relevante data waardevoller is dan een enorme hoeveelheid algemene data.

Het team onderzocht ook hoe de computer de zinnen zou moeten opbreken om ze te leren. Een veelgebruikte techniek in moderne vertalingssystemen is het opbreken van woorden in kleinere stukjes, zogenaamde subwoorden, om de computer te helpen bij het omgaan met zeldzame of complexe woorden. Echter, toen de onderzoekers deze methode op hun specifieke dataset toepasten, verbeterde dit de resultaten niet. Sterker nog, het systeem presteerde beter wanneer het leerde om hele woorden te vertalen zoals ze verschenen. Dit geeft aan dat voor kleinere tekstcollecties de standaardtrucs die gebruikt worden voor massale, algemene vertalingssystemen niet noodzakelijk zijn en zelfs een belemmering kunnen vormen. De onderzoekers vergeleken hun eigen systeem ook met twee grote, reeds bestaande vertaalmachines die publiekelijk beschikbaar zijn. De ene was een veelgebruikte commerciële dienst, en de andere een groot, open-source model dat getraind is op honderden talen. Hoewel de commerciële dienst het beste presteerde in algemene zin, presteerde het aangepaste systeem van de onderzoekers aanzienlijk beter dan het grote open-source model bij de specifieke taak van het vertalen van deze filosofische teksten. Dit suggereert dat een systeem dat is afgestemd op een specifiek domein een grootschalig, algemeen systeem kan overtreffen dat probeert alles tegelijk te doen.

Tijdens hun werk ontdekten de onderzoekers ook een ernstig gebrek in de manier waarop vertalingssystemen soms worden getest. In een vroege versie van hun testproces had het systeem een afkorting waardoor het antwoorden direct uit de trainingsdata kon opzoeken tijdens de test, in plaats van de tekst daadwerkelijk te vertalen. Deze fout zorgde ervoor dat het systeem bijna perfect leek, met een score die suggereerde dat het bijna elke keer correct was. Zodra deze afkorting werd verwijderd, daalden de scores naar een veel realistischer niveau, wat de werkelijke capaciteiten van het systeem onthulde. Deze ontdekking benadrukt een kritiek risico in onderzoek met kleine datasets: als de testmethode niet zorgvuldig wordt gecontroleerd, kan dit misleidend hoge resultaten opleveren die niet de werkelijke prestaties in de echte wereld weerspiegelen. Om te garanderen dat het systeem bruikbaar is in de praktijk, stellen de onderzoekers een hybride aanpak voor voor toekomstige implementatie. Dit ontwerp zou eerst controleren of de vraag van een gebruiker overeenkomt met een bekende zin in hun database, om vervolgens direct een geverifieerde vertaling terug te geven. Als de vraag nieuw is, zou het systeem vervolgens zijn generatieve vertalingsvaardigheden gebruiken om een antwoord te construeren. Deze combinatie van het opzoeken van bekende feiten en het genereren van nieuwe vertalingen heeft tot doel zowel snelheid als nauwkeurigheid te bieden aan gebruikers die deze oude teksten bestuderen.

Het werk concludeert dat hoewel het veld van machinevertaling voor het Sanskriet nog in een vroeg stadium verkeert, het focussen op de specifieke behoeften van een subdomein zoals de Jain-filosofie betere resultaten oplevert dan het toepassen van brede, algemene oplossingen. De onderzoekers hebben aangetoond dat een kleinere, zeer gefocuste dataset effectiever is dan een grotere, gemengde dataset, en dat standaardmethoden voor het opbreken van woorden mogelijk niet altijd van toepassing zijn op kleinere, gespecialiseerde projecten. Ze hebben ook een duidelijk, reproduceerbaar kader geboden voor het testen van deze systemen, om ervoor te zorgen dat toekomstige vooruitgang nauwkeurig wordt gemeten. Door hun data en methoden transparant te maken, hopen zij verder onderzoek naar het vertalen van de klassieke talen van de wereld aan te moedigen, zodat deze oude stemmen duidelijk gehoord kunnen worden in de moderne wereld.