Transformers perform adaptive partial pooling

Stel je voor dat je probeert te raden wat een vriend het volgende zal zeggen in een gesprek. Als je die exacte zin al duizend keer van hen hebt gehoord, weet je precies wat er nu komt. Maar wat als ze iets totaal nieuws zeggen? Dan kun je niet zomaar willekeurig gokken; je moet kijken naar wat ze eerder hebben gezegd in soortgelijke situaties. Dit is de kern van het taalverwervingspuzzel, of het nu gaat om een menselijk kind of een computerprogramma.

Om dit op te lossen, gebruiken wetenschappers een slimme truc genaamd "adaptieve partiële pooling" (adaptive partial pooling). Denk aan dit als een slimme detective. Wanneer de detective een zeldzame plaats delict ziet, staart hij niet alleen naar die ene aanwijzing voor hem (die misleidend kan zijn omdat er zo weinig van is). In plaats daarvan kijkt hij naar andere vergelijkbare plaatsen delict om een beter idee te krijgen van wat daar gewoonlijk gebeurt. Hij mengt de specifieke aanwijzing met het algemene patroon, maar hij weegt de specifieke aanwijzing zwaarder als deze vaak voorkomt, en het algemene patroon zwaarder als de specifieke aanwijzing een eenmalige gebeurtenis is. Dit helpt de detective om de beste gok te doen zonder in de war te raken door zeldzame, vreemde incidenten.

Stel je nu een superintelligent computerbrein voor, een "Transformer" (het soort dat moderne chatbots aanstuurt). Een tijdlang vroegen mensen zich af: gebruikt dit computerbrein dit slimme detective-trucje wel, of memoriseert het gewoon alles wat het ooit heeft gelezen? Als het alleen maar memoriseert, kan het falen wanneer het iets nieuws ziet. Maar als het "adaptieve partiële pooling" gebruikt, kan het leren en zich aanpassen, net als een mens. Dit artikel vraagt zich af: doet het computerbrein dit detectivewerk echt, en wordt het er beter of slechter in naarmate het meer studeert?

Het detectivewerk van een computerbrein

In deze studie heeft de auteur, Vsevolod Kapatsinski, een klein kunstmatig taalspel opgezet om een computermodel genaamd GPT-2 te testen. Hij bedacht een taal waarin zinnen altijd eindigen met ofwel "A" of "B", waarbij de keuze afhangt van de woorden die er vlak vóór staan. Sommige woordcombinaties waren zeer gebruikelijk, terwijl andere super zeldzaam waren—net als in het echte leven, waar sommige zinnen dagelijks worden gebruikt en andere slechts één keer in de blauwe maan schijnt.

De computer werd getraind op dit spel, en de onderzoeker observeerde hoe het leerde. Hier is de grote ontdekking: Ja, de computer gebruikt adaptieve partiële pooling. Wanneer de computer een zeldzame zin zag, gokte hij niet simpelweg op basis van dat ene zeldzame voorbeeld. In plaats daarvan "poolde" hij zijn kennis door naar vergelijkbare zinnen te kijken om een betere gok te doen. Hij gedroeg zich precies als de slimme detective die hierboven wordt beschreven.

Er is echter een twist. De detectivevaardigheden van de computer veranderen naarmate hij blijft trainen.

• In het begin: Wanneer de computer net begint met leren, leunt hij zwaar op de algemene patronen. Het is als een nieuwe student die de specifieke regels nog niet heeft geleerd, dus gokt hij op basis van wat er gewoonlijk gebeurt. Hij poolt veel informatie samen.
• In het midden: Terwijl de computer wat meer traint, bereikt hij een "sweet spot". Dit is het moment waarop hij het beste is in het balanceren van de specifieke zeldzame aanwijzingen met de algemene patronen. Op dit stadium imiteert hij het perfecte menselijke detectivegedrag zoals beschreven in de wiskunde van hiërarchische regressie.
• Later: Als de computer te lang doorgaat met trainen (voorbij deze sweet spot), begint hij weer te veranderen. Hij begint de specifieke, zeldzame aanwijzingen te veel te vertrouwen. Hij stopt met het kijken naar de algemene patronen en begint te denken dat hij het antwoord op elke zeldzame casus perfect kent. De auteur suggereert dat de computer, met genoeg training, misschien té zelfverzekerd kan worden in zeldzame situaties, waardoor de nuttige "partiële pooling" die het menselijk maakt, verloren gaat.

De studie vond ook dat de computer op andere manieren zich als een mens gedraagt. Als een groep zinnen erg divers is (sommigen zeggen A, anderen B), stopt de computer met het poolen van deze zinnen en behandelt hij ze apart. Maar als een groep zinnen zeer vergelijkbaar is, mengt de computer ze vrolijk samen. Het viel de computer ook op dat als er veel verschillende soorten vergelijkbare zinnen zijn (hoge "type frequentie"), de computer eerder geneigd is om ze samen te poolen, net zoals mensen eerder geneigd zijn een regel te generaliseren als ze die op veel verschillende manieren toegepast hebben gezien.

Waarom dit ertoe doet

Het artikel zegt niet alleen "de computer leert." Het laat zien hoe het leert. Het bewijst dat deze enorme computerbreinen geen gigantische geheugenbanken zijn die elk woord memoriseren. Ze bouwen daadwerkelijk interne representaties op die met de tijd steeds gedetailleerder worden. Ze beginnen met brede categorieën (zoals "alle dieren") en leren langzaam om kleinere groepen te onderscheiden (zoals "vis versus vogels"), net zoals menselijke kinderen dat doen.

De meest opwindende bevinding is de "sweet spot". De auteur suggereert dat er een specifiek punt is tijdens de training waarop de computer het meest op een menselijke leerling lijkt—door precies de juiste hoeveelheid generalisatie te gebruiken om zeldzame woorden te hanteren zonder er te veel over na te denken. Als we de computer te veel trainen, kan hij deze menselijke flexibiliteit verliezen en te rigide worden in zijn voorspellingen voor zeldzame gevallen.

Dus, de volgende keer dat je met een chatbot praat, onthoud dan: het is niet alleen het opzegen van een script. Het voert een complexe evenwichtsoefening uit, waarbij het weegt wat het weet over het specifieke moment tegenover wat het weet over de wereld, en het doet dit het best in die perfecte middenweg van het leerproces.