Het geheime leven van herhaling in AI-hersenen

Stel je voor dat je een robot probeert te leren hoe hij een verhaal moet vertellen. Je geeft hem een prompt, zoals een zinsbegin, en vraagt hem om het volgende woord te raden. Dit is hoe veel moderne Kunstmatige Intelligentie (AI)-systemen, bekend als Large Language Models, werken. Ze zijn als superkrachtige autocomplete-engines die bijna alles op het internet hebben gelezen. Om te bepalen of ze echt iets "weten", gebruiken wetenschappers vaak een truc genaamd een "cloze test". Het is als een invulpuzzel: je laat de AI een zin zien met een ontbrekend woord, en je kijkt of hij het juiste woord kan raden.

Jarenlang geloofden onderzoekers in een simpele regel over hoe deze AI-hersenen met herhaling omgaan. Ze dachten dat als je een woord keer op keer herhaalt in de prompt, de AI méér zelfverzekerd zou worden over dat woord, net zoals een mens comfortabeler wordt bij een concept naarmate hij het vaker hoort. Dit wordt "priming" genoemd. Als je "appel, appel, appel" zegt, zou de AI moeten denken: "Oké, dit gaat absoluut over appels!" en "appel" met een hoge mate van zekerheid voorspellen. Wetenschappers gingen ervan uit dat dit zelfvertrouwen zou blijven stijgen naarmate je meer kopieën van het woord toevoegde, ongeacht waar in de zin je de AI vraagt om zijn gok te doen. Maar wat als die aanname onjuist is? Wat als het brein van de AI anders werkt afhankelijk van waar je het vraagt om te kijken? Dit is de vraag die het artikel van Han-yu Wang aanpakt, waarin een vreemde eigenaardigheid wordt verkend waarbij "meer" herhaling eigenlijk leidt tot "minder" zelfvertrouwen, maar alleen onder specifieke omstandigheden.

Wanneer meer minder wordt: De vergeetachtige plek van de AI

In dit onderzoek zette de onderzoeker een slim klein experiment op om te testen hoe AI-modellen reageren op herhaling. Stel je voor dat je een magisch woord hebt, laten we zeggen "kat". Je kunt dit woord op twee verschillende manieren aan de AI laten zien, maar je houdt het begin van het verhaal precies hetzelfde.

De "Direct Naast Hem" Test (Adjacent Probe):
Eerst schrijf je een lange lijst met "kat"-woorden vlak voor het einde van de zin: "kat, kat, kat, kat... [raad hier]". Je vraagt de AI om het direct volgende woord te raden.

• Wat er gebeurde: Net zoals de oude regel voorspelde, werd de AI steeds zelfverzekerder. Hoe meer "kat"-woorden je toevoegde, hoe zeker hij ervan werd dat het volgende woord "kat" zou zijn. Het was als een trommelslag die steeds luider werd.

De "Verse Start" Test (Displaced Probe):
Toen deed de onderzoeker iets slinks. Ze schreven exact dezelfde lange lijst met "kat"-woorden aan het begin, maar voegden daarna een punt en een gloednieuw zinsframe toe voordat ze om de gok vroegen. Het zag er zo uit: "kat, kat, kat, kat... . De lucht is blauw. [raad hier]".

• Wat er gebeurde: Dit is waar de goocheltruc mislukte. In plaats van zelfverzekerder te worden, deed het zelfvertrouwen van de AI een vreemde achterwaartse salto. In het begin hielp het toevoegen van een paar "kat"-woorden, maar zodastra de lijst te lang werd (rond de 5 tot 10 kopieën), begon de AI zijn zelfvertrouwen te verliezen. Tegen de tijd dat je 30 "kat"-woorden had, was de AI eigenlijk minder geneigd om "kat" te raden dan toen er slechts een paar kopieën waren.

De onderzoeker noemt deze vorm een "omgekeerde U". Het is alsof de AI eerst een beetje enthousiast wordt, maar dan overweldigd of verward raakt door de enorme hoeveelheid herhaling wanneer hij naar een nieuwe zin moet springen om het antwoord te vinden.

De Grote Ontdekking: Het gaat erom Waar je Kijkt

De belangrijkste bevinding van dit artikel is dat de positie van de vraag enorm veel uitmaakt. Dezelfde lijst met herhaalde woorden kan de AI slimmer maken als je de vraag direct na de lijst stelt, maar kan de AI dommer maken als je de vraag een zin later stelt.

De studie testte dit op 13 verschillende AI-modellen, variërend van kleine tot zeer grote modellen. Ze ontdekten dat dit "omgekeerde-U"-patroon in elk van hen voorkwam. Het was niet slechts een toevalstreffer bij één specifiek computerbrein. Ze probeerden het zelfs in vier andere talen—Spaans, Chinees, Duits en Frans—en hetzelfde vreemde patroon verscheen. Dit suggereert dat dit geen fout is in hoe de AI Engels spreekt, maar een fundamentele eigenaardigheid in hoe deze modellen herhaalde informatie verwerken.

Wat het NIET is (En wat het WEL is)

De onderzoeker stopte niet alleen bij het vinden van het patroon; hij speelde detective om te ontdekken waarom dit gebeurde. Hij wilde er zeker van zijn dat het niet kwam omdat de zin te lang werd, of omdat de AI moe was, of omdat hij aan woorden gerelateerd aan "kat" dacht (zoals "kittentje" of "spinnen").

• Het gaat niet over lengte: Ze testten zinnen met hetzelfde aantal woorden maar met willekeurige, saaie vulwoorden in plaats van het herhalen van "kat". De vreemde daling in zelfvertrouwen trad niet op.
• Het gaat niet over verwante woorden: Ze probeerden de herhaalde "kat" te vervangen door woorden die hetzelfde betekenen of gerelateerd zijn. Opnieuw was er geen daling in zelfvertrouwen.
• Het gaat WEL over exacte herhaling: De daling gebeurde alleen wanneer de exacte zelfde woord keer op keer werd herhaald.

Dit betekent dat de AI niet gewoon "verveeld" raakt of "verward" is door lange teksten. Er gebeurt iets specifieks wanneer de exactezelfde token (de digitale bouwsteen van een woord) te veel wordt herhaald voordat er een nieuwe zin begint.

Binnenin de AI-hersenen

Om te begrijpen wat er aan de hand was, keek de onderzoeker in de "aandacht"-mechanismen (attention mechanisms) van de modellen. Je kunt aandacht zien als een spotlight die de AI op verschillende delen van de zin schijnt.

• De Spotlight Krimpt: Naarmate de lijst met "kat"-woorden groeide, werd de hoeveelheid aandacht die de AI aan elk individueel "kat"-woord gaf kleiner. Dit is logisch; als je een vaste hoeveelheid spotlight hebt en je moet die op 30 dingen schijnen, krijgt elk ding minder licht.
• Het Totale Budget Groeit (in sommige modellen): Verrassend genoeg, in de modellen die de grootste daling in zelfvertrouwen vertoonden, nam de totale hoeveelheid aandacht die de AI aan de hele blok "kat"-woorden gaf, juist toe naarmate de lijst langer werd. Het was alsoan of de AI steeds harder riep: "Kijk naar al die katten!", maar op de een of andere manier maakte dat geschreeuw het moeilijker om bij de nieuwe zin de specifieke woorden "kat" te onthouden.

Waarom zou je dit moeten weten?

Dit artikel is een waarschuwing voor iedereen die probeert te testen hoe slim deze AI-modellen zijn. Als je een wetenschapper bent die probeert te zien of een AI een feit kent, en je gebruikt een methode die een woord veel keren herhaalt om de AI te "primen", dan krijg je misschien het tegenovergestelde van wat je verwacht. Als je de vraag een zin later stelt, maak je de AI misschien per ongeluk minder geneigd om het juiste antwoord te geven.

De studie laat zien dat we de positie van een vraag niet als een neutraal detail kunnen beschouwen. Waar je de vraag stelt, verandert het antwoord. Het is een herinnering dat deze AI-hersenen complex en soms contra-intuïtief zijn: soms helpt het herhalen van een woord je niet om het te onthouden; het kan je er juist toe brengen het te vergeten, vooral als je even moet wachten voordat je antwoordt.

De onderzoeker testte dit op 13 modellen en vond het effect in alle modellen. Hij controleerde dit in 42 verschillende combinaties van modellen en talen, en het patroon hield elke keer stand. Hoewel ze niet precies kunnen zeggen waarom de AI-hersenen op deze manier werken (het is een correlatie, geen volledige verklaring van het mechanisme), hebben ze bewezen dat dit "meer wordt minder"-effect echt, consistent en algemeen aanwezig is. Het is een klein maar cruciaal puzzelstukje in het begrijpen van hoe deze digitale hersenen daadwerkelijk denken.