Shared Circuits for Shared Grammar: Tracing Subject-Verb Agreement Across Languages
Door 29 talen over vijf modelfamilies te analyseren, toont deze studie aan dat meertalige grote taalmodellen gedeeltelijk gedeelde computationele circuits gebruiken voor onderwerp-werkwoordovereenkomst, waarbij de mate van cross-linguale overlap toeneemt in talen die morfologische flexie expliciet uitdrukken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne computers die kunnen lezen en schrijven in vele talen zijn opmerkelijk vaardig geworden en vertalen of beantwoorden vaak vragen in een dozijn talen met één enkel brein. Toch begrijpen wetenschappers, ondanks al hun vloeiendheid, nog niet volledig hoe deze systemen van binnen werken. Een centraal mysterie is of een meertalige computer één universele set regels gebruikt om de grammatica voor elke taal te afhandelen, of dat hij voor elke taal een aparte, unieke motor bouwt. Deze vraag is van belang omdat als de machine dezelfde interne machinerie voor verschillende talen gebruikt, inzichten verkregen uit het bestuderen van één taal ons kunnen helpen alle andere talen te begrijpen. Als hij echter aparte motoren bouwt, dan kan wat we over het Engels leren niets vertellen over hoe hij Spaans of Chinees afhandelt. De specifieke puzzel die dit onderzoek aanpakt, is hoe deze modellen omgaan met onderwerp-werkwoordovereenkomst, de grammaticale regel die de werkwoordsvorm dwingt te veranderen om te passen bij de persoon die de handeling verricht, zoals het veranderen van "walk" naar "walks" wanneer het onderwerp "he" is.
Om dit op te lossen, onderzochten onderzoekers hoe vijf verschillende families van open-source taalmodellen deze grammaticale regel verwerken in eenentwintig talen. Ze concentreerden zich op een specifiek moment in het denkproces van de computer: het fractie van een seconde voordat de computer de laatste letter of het laatste woord van een werkwoord voorspelt. Door een techniek te gebruiken waarbij de interne signalen van een correcte zin worden verwisseld met die van een licht gewijzigde, incorrecte zin, kon het team precies aanwijzen welke delen van het netwerk van de computer verantwoordelijk waren voor het correct uitvoeren van de grammatica. Ze testten deze methode op talen waarin werkwoorden sterk veranderen, zoals het Spaans, talen waarin ze helemaal niet veranderen, zoals het Chinees, en het Engels, dat ze slechts in een paar specifieke gevallen verandert.
Het onderzoek onthulde dat deze modellen niet vertrouwen op volledig aparte motoren voor elke taal, maar ook niet op één identieke motor voor alles. In plaats daarvan lijken ze een gedeelde set interne paden te hergebruiken, maar alleen wanneer de taak daarom vraagt. Wanneer de onderzoekers keken naar talen waar het werkwoord zichtbaar moet veranderen om bij het onderwerp te passen, ontdekten ze dat dezelfde specifieke delen van het netwerk van de computer actief waren in bijna al deze talen. Deze gedeelde paden waren het meest consistent wanneer de computer het exacte verschil tussen twee werkwoordsvormen moest herstellen, zoals het onderscheid maken tussen "I walk" en "he walks". Op deze momenten leken de modellen te vertrouwen op een gemeenschappelijke, gedeelde bedrading om de grammaticale berekening uit te voeren.
Deze het delen is echter niet uniform. Wanneer de onderzoekers keken naar talen waar het werkwoord helemaal niet verandert, zagen de interne paden er heel anders uit. De computer leek voor deze talen niet dezelfde gedeelde machinerie te gebruiken. Nogzegender was het gedrag van het Engels. Omdat het Engels zijn werkwoorden alleen verandert in de derde persoon enkelvoud, zag de interne bedrading van de computer er de meeste tijd anders uit dan die van de talen die veelal vervoegen. Maar op het moment dat de computer die specifieke "he walks"-vorm moest produceren, verschoof de interne activiteit naar een patroon dat bijna exact leek op de patronen die gezien werden in talen die hun werkwoorden constant veranderen. Dit suggereert dat de computer niet besluit een gedeelde motor te gebruiken op basis van de taal zelf, maar op basis van de specifieke grammaticale operatie die hij op dat moment uitvoert.
De studie onderzocht ook hoe deze gedeelde onderdelen van het netwerk zich daadwerkelijk gedragen. Ze vonden dat de specifieke componenten die verantwoordelijk zijn voor overeenkomst in verschillende talen, aandacht besteden aan dezelfde delen van de zin. Wanneer een model een werkwoordsvorm bepaalt, richten deze gedeelde componenten hun aandacht op het onderwerp en het werkwoord zelf, ongeacht of het om het Spaans, Frans of het specifieke geval in het Engels gaat. Dit geeft aan dat de overlap niet slechts een toevalligheid van locatie is; de gedeelde onderdelen voeren daadwerkelijk dezelfde taak uit door informatie over het onderwerp naar het werkwoord te leiden.
Uiteindelijk suggereren de bevindingen dat meertalige computers niet simpelweg aparte regels voor elke taal onthouden, noch dat ze één rigide systeem voor alles gebruiken. Ze lijken een flexibele architectuur te hebben die gedeelde interne structuren hergebruikt wanneer een taal dezelfde grammaticale operatie zichtbaar vereist om uit te voeren. De mate waarin deze structuren gedeeld worden, hangt minder af van de identiteit van de taal en meer van of de taal de computer dwingt om dat specifieke grammaticale verschil expliciet te berekenen en weer te geven. Dit biedt een duidelijker beeld van hoe kunstmatige intelligentie leert om te gaan met de complexe, gevarieerde regels van de menselijke grammatica, door te laten zien dat het zijn begrip opbouwt door functionele hulpmiddelen te hergebruiken in plaats van voor elke taal geheel nieuwe instrumenten te construeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.