Comparative Analysis of Rule Based Symbolic Logic and a Large Language Model in Sanskrit Morphological Analysis
Deze verkennende studie vergelijkt een regelgebaseerde symbolische classifier en een Large Language Model op het gebied van Sanskriet morfologische analyse met behulp van Bhagavad Gita-data, waarbij wordt vastgesteld dat beide benaderingen een stabiele compatibiliteit behouden onder woordvolgorde-scrambling, waarbij het LLM een iets hogere nauwkeurigheid (86,43%) bereikt dan het symbolische systeem (81,43%).
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Taal wordt vaak beschouwd als een stroom van woorden die in een specifieke volgorde stromen, waarbij de positie van een woord de betekenis bepaalt. In veel talen verandert het veranderen van de woordvolorde de zin volledig. Sanskrit, een oude taal uit India, werkt echter anders. Het is gebouwd op een systeem van uitgangen die aan woorden worden bevestigd, vergelijkbaar met labels die aangeven wie wat doet met wie, ongeacht waar het woord in de zin staat. Deze flexibiliteit stelt sprekers in staat om woorden te herschikken voor nadruk of een poëtisch effect zonder de grammaticale logica te verliezen. Eeuwenlang hebben geleerden vertrouwd op strikte, geschreven regels om deze uitgangen te ontcijferen, een methode die bekend staat als regelgebaseerde logica. Vandaag de dag is er een nieuw soort instrument opgekomen: grote taalmodellen. Dit zijn computersystemen die getraind zijn op enorme hoeveelheden tekst en die het volgende woord of de betekenis van een woord voorspellen op basis van patronen die ze hebben geleerd, in plaats van een vaste set instructies te volgen. De vraag die onderzoekers zich hebben gesteld, is hoe deze twee zeer verschillende benaderingen omgaan met de unieke uitdaging van het Sanskrit wanneer de volgorde van woorden wordt gehusseld.
Een recente studie zette zich af om dit te testen door een traditioneel regelgebaseerd computerprogramma tegenover een modern kunstmatig intelligentiesysteem te plaatsen. De onderzoekers gebruikten een collectie van honderd verzen uit de Bhagavad Gita, een heilige hindoeïstische tekst. Ze namen de woorden uit deze verzen en maakten twee versies van de tekst voor elk vers. In de eerste versie verschenen de woorden in hun natuurlijke, oorspronkelijke volgorde. In de tweede versie werden dezelfde woorden gehusseld, of door elkaar gehusseld, zodat de sequentie volledig anders was, hoewel de collectie woorden exact hetzelfde bleef. Het doel was om te zien of de computersystemen nog steeds de grammaticale rol van elk woord konden identificeren — zoals of een woord het onderwerp, het object of een werkwoord was — wanneer de context van de positie werd verwijderd.
De studie richtte zich op een specifieke taak: het bekijken van individuele woorden die al van de zinnen waren gescheiden en het vragen aan de systemen om ze te labelen. De onderzoekers gebruikten een Python-programma dat expliciete, stapsgewijze regels volgde om de uitgangen van de woorden te controleren. Als een woord op een specifieke manier eindigde, gaf het programma het een label op basis van een vooraf geschreven lijst met mogelijkheden. Dit systeem kijkt niet naar de omliggende woorden of de zinsstructuur; het kijkt alleen naar het woord zelf. Aan de andere kant gebruikten de onderzoekers voorspellingsbestanden gegenereerd door Gemini, een groot taalmodel. Deze bestanden bevatten de gokjes van het model voor de grammaticale labels van dezelfde woorden, gebaseerd op prompts die het model vroegen zich te concentreren op woorduitgangen in plaats van vertaling of context.
Toen de onderzoekers de resultaten vergeleken, ontdekten ze iets opmerkelijks. Het regelgebaseerde programma presteerde exact hetzelfde op de natuurlijke volgorde en de gehusselde volgorde. Dit was verwacht, omdat het programma ontworpen is om de woordvolgorde volledig te negeren; het controleert simpelweg het woord dat het krijgt tegenover zijn lijst met regels. Echter, het grote taalmodel vertoonde ook een opmerkelijke stabiliteit. Zelfs toen de woorden gehusseld waren, veranderden de voorspellingen van het model voor de grammaticale labels op geen enkele betekenisvolle manier. Van de 280 specifieke woorden die tegen een referentiegids werden gecontroleerd, identificeerde het model de grammaticale categorie correct in 86,43 procent van de gevallen, of de woorden nu in hun oorspronkelijke volgorde stonden of gemengd waren. Het regelgebaseerde systeem was iets minder accuraat en kreeg 81,43 procent correct, maar was even consistent over beide versies van de tekst.
De onderzoekers merkten er zorgvuldig bij op dat deze stabiliteit niet betekent dat het grote taalmodel de woordvolgorde negeert of dat het de regels van de Sanskrietgrammatica heeft geleerd op dezelfde manier als een menselijke geleerde dat doet. De studie bewees niet dat het model zonder context werkt, noch toonde het aan dat het in staat is om met een volledig nieuwe set woorden om te gaan die het nog nooit eerder had gezien. De resultaten toonden alleen aan dat voor deze specifieke set woorden de output van het model stabiel bleef, zelfs toen de input werd gehusseld. Het is mogelijk dat het model de woorden herkende uit zijn trainingsdata of dat de specifieke prompts het gebruik van context ontmoedigden. De studie benadrukte ook dat de referentiegids die werd gebruikt om de antwoorden te controleren, niet perfect was; het bevatte enkele ambiguïteiten en werd niet door meerdere experts beoordeeld, wat betekent dat de scores een maatstaf zijn voor compatibiliteit met de verstrekte gids in plaats van absolute waarheid.
Wat dit onderzoek uiteindelijk onthult, is een momentopname van hoe deze twee verschillende technologieën zich gedragen onder een specifieke test. Het regelgebaseerde systeem gedroeg zich precies zoals het ontwerp bedoeld was, onveranderd bleven omdat het gebouwd was om blind te zijn voor de woordvolgorde. Het grote taalmodel, dat vaak wordt gedacht dat het zwaar leunt op de sequentie van woorden om betekenis te begrijpen, produceerde ook dezelfde resultaten toen de sequentie werd doorbroken. Dit suggereert dat de voorspellingen van het model voor deze specifieke taak robuust waren tegen het husselen van de input. De auteur waarschuwt echter dat dit niet betekent dat het model het Sanskriet beheerst of dat het in alle situaties zo zal reageren. De studie dient als een duidelijk verslag van wat er gebeurde met deze specifieke bestanden en deze specifieke prompts, en laat zien dat in deze geregistreerde vergelijking de volgorde van de woorden de uitkomst niet veranderde. Het laat de vraag open of deze stabiliteit standhoudt bij complexere zinnen, andere modellen of teksten die niet deel uitmaakten van de trainingsdata, wat wijst op een behoefte aan verdere testen met strengere standaarden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.