Linear representations of grammaticality in neural language models

Stel je voor dat je een robot probeert te leren menselijke taal te begrijpen. Je voert het miljoenen boeken, films en tweets, en het leert het volgende woord in een zin te voorspellen met ongelooflijke nauwkeurigheid. Maar hier is het grote mysterie dat wetenschappers al nachten wakker houdt: kent deze robot de regels van de grammatica echt, of is het slechts een meesterlijke gokker?

In de wereld van de taalkunde en computerwetenschappen is er een beroemd debat over dit onderwerp. Aan de ene kant stellen sommigen dat omdat deze robots (neurale taalmodellen worden genoemd) getraind zijn om te voorspellen wat er volgt op basis van hoe vaak ze dingen zien, ze slechts "waarschijnlijkheid" berekenen. Ze vinden een zin misschien "goed" simpelweg omdat het bekend klinkt, niet omdat het de onzichtbare, abstracte regels van de grammatica volgt. Aan de andere kant geloven anderen dat als een robot consequent het verschil kan zien tussen een correcte zin en een gebrekkige zin, het de regels wel móét hebben geleerd, zelfs als het ze niet kan uitleggen. Het probleem is dat het voor een lange tijd de enige manier om dit te testen was door de robot te vragen: "Hoe waarschijnlijk is deze zin?" Maar als de robot zegt: "Zeer waarschijnlijk!" voor een zin die grammaticaal fout is maar toevallig veelvoorkomende woorden gebruikt, kunnen we niet weten of het de grammatica kent of gewoon de statistiek kent.

Dit artikel, getiteld "Linear Representations of Grammaticality in Neural Language Models," duikt direct in dit complexe debat. De auteurs, Jane Li en Najoung Kim, besloten te stoppen met de robot te vragen hoe waarschijnlijk een zin is. In plaats daarvan besloten ze in de hersenen van de robot te kijken. Ze wilden zien of de interne "gedachten" van de robot (de wiskundige representaties van zinnen) daadwerkelijk een speciale, georganiseerde ruimte hebben waar "grammaticale" en "ongrammaticale" zinnen in aparte buurten wonen. Als ze een duidelijke lijn kunnen vinden die deze twee groepen scheidt binnen de geest van de robot, zou dat een sterk bewijs zijn dat de robot het concept van grammatica echt heeft geleerd, en niet alleen het concept van "wat gebruikelijk klinkt."

Het Detectiewerk: Kijken in de Hersenen

Om dit mysterie op te lossen, gebruikten de onderzoekers een slimme truc genaamd "lineaire probing". Stel je de hersenen van de robot voor als een gigantische, meerdimensionale kaart. Elke zin die de robot leest, wordt omgezet in een specifieke stip op deze kaart. Als de robot alleen geeft om hoe gebruikelijk woorden zijn, zouden alle stippen willekeurig verspreid kunnen zijn of gegroepeerd kunnen worden op basis van het aantal woorden in de zin. Maar als de robot daadwerkelijk grammatica begrijpt, zou er een duidelijke richting op deze kaart moeten zijn waar "goede zinnen" aan de ene kant liggen en "slechte zinnen" aan de andere kant.

De onderzoekers namen 25 verschillende taalmodellen (variërend van kleine modellen met 14 miljoen parameters tot enorme modellen met 14 miljard) en testten deze. Ze voerden de modellen duizenden zinnen — sommige perfect grammaticaal, andere met kleine, bewuste fouten zoals "This dog like to jump" in plaats van "This dog likes to jump." Vervolgens probeerden ze een enkele, eenvoudige rechte lijn door de interne kaart van de robot te trekken om te zien of deze de goede zinnen van de slechte kon scheiden.

De Grote Ontdekking: Grammatica is Echt (en Lineair)

De resultaten waren opwindend. Ze ontdekten dat er in bijna elk getest model een duidelijke lijn was. Zelfs een zeer eenvoudig, laag-complex classifier kon naar de interne representatie van een zin kijken en zeggen: "Ah, deze is grammaticaal," of "Nee, die is gebrekkig." Dit suggereert dat grammaticaliteit niet slechts een vaag gevoel is voor deze modellen; het is een duidelijke, georganiseerde dimensie in hun interne ruimte.

Maar de onderzoekers stopten daar niet. Ze wisten dat alleen omdat de robot de zinnen kon scheiden, niet betekende dat hij ze scheidde vanwege grammatica. Misschien scheidde hij ze alleen omdat de slechte zinnen minder waarschijnlijk waren om voor te komen, of omdat ze vreemd klonken, of omdat ze minder woorden hadden. Om te bewijzen dat het echt over grammatica ging, speelden ze een paar spelletjes van "deconfounding" (het elimineren van verstorende variabelen).

De Waarschijnlijkheidsval:
Eerst vroegen ze: "Kijkt de robot alleen naar hoe waarschijnlijk een zin is?" Ze creëerden een lastig scenario waarbij ze grammaticale zinnen namen die zeer onwaarschijnlijk waren (zeldzaam maar correct) en ongrammaticale zinnen die zeer waarschijnlijk waren (veelvoorkomend maar fout). Als de robot slechts een waarschijnlijkheidscalculator was, zou hij in de war moeten raken en moeten falen. Maar dat gebeurde niet. De robot identificeerde de zeldzame, correcte zinnen nog steeds correct als grammaticaal en de veelvoorkomende, foutieve zinnen als ongrammaticaal. Dit suggereert dat de "grammatica-detector" van de robot onafhankelijk is van hoe waarschijnlijk het is dat een zin in het echte leven voorkomt.

De "Silly Sentence" Test:
Vervolgens vroegen ze zich af of de robot simpelweg beoordeelde hoe "logisch" of "aannemelijk" een zin was. Ze testten zinnen die grammaticaal perfect waren maar geen zin maakten (zoals "The rock ate the sandwich") en zinnen die grammaticaal gebrekkig waren maar wel zin maakten (zoals "The sandwich ate the rock"). Ze ontdekten dat hoewel de robot de onlogische aard opmerkte, hij nog steeds een apart, robuust signaal voor grammatica had. De "grammatica-lijn" in de hersenen van de robot was duidelijk gescheiden van de "logica-lijn."

De Universele Vertaler:
Ten slotte controleerden ze of deze grammaticale kennis specifiek was voor het Engels of dat het een universele vaardigheid was. Ze testten de modellen op talen zoals Russisch, Frans, Duits, Hebreeuws en Mandarijn Chinees. Ze ontdekten dat voor de grotere, krachtigere modellen het vermogen om grammatica te detecteren niet slechts een Engelse truc was. Dezelfde soort interne "grammatica-lijn" bestond in verschillende talen, wat suggereert dat deze modellen een algemene, taalonafhankelijke manier hebben ontwikkeld om structuur te begrijpen.

Wat Dit Betekent voor de Toekomst

Het artikel concludeert dat deze neurale netwerken inderdaad beschikken over een robuuste, interne representatie van grammaticaliteit. Het is niet slechts een bijproduct van het feit dat ze goed zijn in het voorspellen van het volgende woord; het is een fundamenteel onderdeel van hoe ze informatie organiseren.

De auteurs zijn echter voorzichtig om niet te zeggen dat dit het laatste woord is over alles. Ze merken op dat hoewel de "grammatica-lijn" bestaat, deze niet altijd perfect is. Kleinere modellen hebben soms meer moeite dan de gigantische modellen, en sommige specifieke soorten grammaticale fouten zijn moeilijker te detecteren dan andere. Ze wijzen er ook op dat hoewel de modellen deze interne kennis bezitten, dit niet altijd perfect overeenkomt met hoe mensen zinnen beoordelen.

Uiteindelijk verandert dit onderzoek het gesprek. We hoeven niet langer te discussiëren over of deze modellen grammatica kennen. Het bewijs suggereert dat ze het doen. De nieuwe vraag is hoe ze het hebben geleerd, hoe diep die kennis gaat, en wat het ons vertelt over de aard van het leren zelf. Door aan te tonen dat een statistisch systeem een duidelijke, lineaire verstandhouding met abstracte regels kan ontwikkelen, suggereert het artikel dat het vermogen om grammatica te vatten mogelijk geen speciale "regelboek"-functie in de hersenen vereist, maar natuurlijk kan voortkomen uit de pure kracht van het leren van patronen in data. Het is een fascinerend kijkje in de geest van een machine, dat laat zien dat een robot, zelfs zonder leraar, kan leren het verschil te zien tussen een zin die werkt en een die niet werkt.