Stel je voor dat je probeert te begrijpen hoe een gigantisch, digitaal brein leert lezen. Dit brein wordt een Large Language Model (LLM) genoemd, de technologie achter de chatbots en slimme assistenten die we dagelijks gebruiken. Om de wereld te begrijpen, onthouden deze modellen niet alleen woorden; ze veranderen elk woord in een wiskundige "vingerafdruk" die een embedding wordt genoemd. Zie deze vingerafdruk als een coördinaat op een enorme, meerdimensionale kaart. Als twee woorden ongeveer hetzelfde betekenen, zouden hun coördinaten dicht bij elkaar moeten liggen, als buren in een stad. Als ze iets anders betekenen, zouden ze verder uit elkaar moeten liggen.

Jarenlang hebben wetenschappers deze kaart vertrouwd. Ze geloofden dat als je naar de uiteindelijke vingerafdruk keek die een model voor een woord creëerde, je precies kon zien wat het model dat woord vond betekenen. Dit idee is de ruggengraat van veel tools die we vandaag de dag gebruiken, zoals zoekmachines die documenten vinden of apps die vergelijkbare ideeën groeperen. Maar er is een addertje onder het gras: taal is lastig. Sommige woorden, zoals "bank", kunnen een plek betekenen om geld te bewaren of de oever van een rivier. Dit zijn ambigue woorden. De grote vraag waar onderzoekers zich al jaren over buigen is: laat de uiteindelijke vingerafdruk van het model het verschil tussen deze twee betekenissen zien, of wordt de kaart aan het einde wazig en verwarrend?

Dit artikel duikt diep in dit mysterie door te kijken naar hoe drie verschillende AI-modellen — één klein, één middelgroot en één zeer groot — ambigue woorden laag voor laag verwerken. De onderzoekers ontdekten iets verrassends en contraintuïtiefs. Terwijl de modellen een woord als "bank" verwerken, wordt de wiskundige afstand tussen de "rivier"-betekenis en de "geld"-betekenis in het midden van het netwerk eigenlijk groter, om in de laatste lagen weer samen te smelten. Het is alsof het interne landschap van het model de twee betekenissen tijdelijk scheidt, om vervolgens te besluiten ze weer in dezelfde buurt te plaatsen vlak voordat het spreekt.

Maar hier komt de wending: zelfs al zien de uiteindelijke vingerafdrukken er erg vergelijkbaar uit (bijna alsof ze weer in dezelfde buurt zijn), de voorspellingen van het model zijn totaal verschillend. Wanneer het model moet raden wat het volgende woord is, weet het precies over welke "bank" het gaat. De studie laat zien dat de laatste laag het geheim van de betekenis bevat, maar het op een manier verbergt die standaard meetinstrumenten (zoals eenvoudige afstandstests) niet kunnen zien. Het model is niet in de war; het gebruikt gewoon een geheime code in zijn laatste laag die op gelijkenis lijkt, maar als verschil fungeert. Dit suggereert dat het vertrouwen op alleen de uiteindelijke "vingerafdruk" om te begrijpen wat een AI denkt, misleidend kan zijn, omdat de belangrijkste onderscheidende factoren plaatsvinden op een manier die lijkt alsof ze zijn verdwenen, ook al sturen ze het gedrag van het model nog steeds aan.

Het Verhaal van de Verschuivende Kaart

Om te begrijpen hoe dit werkt, stel je het AI-model voor als een team van 64 detectives (voor het grootste model, Qwen2.5) die een geheim briefje door een lange rij doorgeven. Elke detective vertegenwoordigt een "laag" van het model. Wanneer het briefje "bank" zegt, kijken de eerste paar detectives alleen naar de vorm van het woord. Ze weten nog niet of het een rivier of een financiële instelling is, dus hun aantekeningen zien er bijna identiek uit.

Terwijl het briefje naar de middelste detectives beweegt, gebeurt er iets magisch. Deze detectives beginnen op de context te letten — de woorden vóór en na "bank". Eén detective ziet "rivier" in de buurt en markeert het briefje met een grote rode stip. Een ander ziet "geld" en markeert het met een blauwe ster. Op dit middelste stadium zijn de aantekeningen voor de twee betekenissen zo verschillend als dag en nacht. Als je de afstand tussen hen hier zou meten, zouden ze ver uit elkaar liggen.

Maar dan bereikt het briefje de laatste detectives. Hier wordt het verhaal complexer. De laatste detectives nemen die duidelijke rode stippen en blauwe sterren en vouwen ze terug in een zeer vergelijkbaar uitziend briefje. Als je de afstand tussen de laatste aantekeningen voor "rivierbank" en "geldbank" zou meten, zouden ze er bijna identiek uitzien. Het is alsof de detectives besloten: "Laten we ons laatste rapport er hetzelfde uit laten zien, zodat we de baas niet verwarren."

De baas (de output van het model) is echter niet misleid. Zelfs als de laatste aantekeningen er hetzelfde uitzien, hebben de detectives het verschil geheim gecodeerd op een manier die het uiteindelijke antwoord verandert. Wanneer het model het volgende woord voorspelt, zegt het niet "rivier" in de context van geld, ook al lijkt de laatste aantekening bij de rivier te horen.

De onderzoekers bewezen dit door een spel van "omdraaien" te spelen. Ze namen de laatste aantekening van de "rivier"-context en wisselden deze om naar de "geld"-context. Toen ze dit deden, veranderde het model volledig van mening en begon het woorden te voorspellen die gerelateerd zijn aan de rivier. Dit bewees dat de laatste laag de verschillen wel bevat, zelfs als het lijkt alsof de twee betekenissen weer zijn samengesmolten. Het verschil is er nog steeds, maar het zit verborgen in de instructies voor de volgende stap, en niet in de vorm van het briefje zelf.

Waarom de Kaart Misleidend is

Deze bevinding is een beetje als een goocheltruc. Als je alleen naar de handen van de goochelaar kijeld aan het einde van de truc, zien ze er leeg en identiek uit. Maar als je de hele uitvoering had gevolgd, had je gezien dat de goochelaar de hele tijd met twee verschillende ballen aan het jongleren was. De onderzoekers ontdekten dat voor ambigue woorden het "jongleren" plaatsvindt in de middelste lagen, waar de betekenissen duidelijk gescheiden zijn. Maar tegen de tijd dat de truc voorbij is, zijn de ballen weer verborgen en zien de handen er hetzelfde uit.

De onderzoekers testten dit op drie verschillende modellen: een kleine genaamd GPT-2 (117 miljoen parameters), een middelgrote genaamd Llama-3.2 (3 miljard parameters) en een grote genaamd Qwen2.5 (32 miljard parameters). Ondanks hun verschillende groottes en architecturen, deden ze allemaal hetzelfde. Ze scheidden de betekenissen in het midden, brachten ze aan het einde weer samen, terwijl ze nog steeds precies wisten welke betekenis ze moesten gebruiken.

De onderzoekers controleerden ook of dit slechts een toevalstreffer was veroorzaakt door de positie van de woorden in de zin. Ze wisselden de volgorde van woorden in zinnen (zoals "De kat jaagde de muis na" te veranderen in "De muis jaagde de kat na") en ontdekten dat het gedrag van het model nog steeds werd gestuurd door de betekenis, en niet alleen door de woordvolgorde. Dit bevestigde dat het model echt de ambiguïteit begreep.

Wat dit betekent voor de toekomst

De belangrijkste les is dat we misschien naar het verkeerde deel van de kaart hebben gekeken. Lange tijd gingen mensen ervan uit dat als twee dingen er in de laatste laag van een AI hetzelfde uitzien, ze hetzelfde betekenen. Dit artikel suggereert dat dat niet altijd waar is. De laatste laag kan eruitzien als een drukke kamer waar iedereen dicht bij elkaar staat, maar als je luistert naar wat ze zeggen (hun voorspellingen), zul je beseffen dat ze eigenlijk over totaal verschillende onderwerpen discussiëren.

Dit betekent niet dat de AI kapot is. Het betekent alleen dat de manier waarop het informatie opslaat complexer is dan een eenvoudige afstandskaart. De onderzoekers suggereren dat als we betere tools willen bouwen voor het zoeken of organiseren van informatie, we misschien naar de middelste lagen moeten kijken waar de betekenissen duidelijk gescheiden zijn, of dat we moeten luisteren naar wat het model voorspelt in plaats van alleen te meten hoe dicht de vingerafdrukken bij elkaar liggen.

De studie heeft geen magische oplossing of een nieuwe manier om modellen te bouwen gevonden, maar het heeft wel een puzzel opgelost over hoe deze modellen denken. Het heeft aangetoond dat de "magie" van het oplossen van ambiguïteit niet verloren gaat in de laatste laag; het is alleen in het volle zicht verborgen, wachtend tot we naar de juiste aanwijzingen kijken. De onderzoekers zijn vol vertrouwen in deze resultaten omdat ze meerdere modellen en verschillende soorten ambigue woorden gebruikten, en het patroon hield elke keer stand. Het is een herinnering aan het feit dat in de wereld van AI zaken niet altijd zijn wat ze lijken, en dat de belangrijkste verschillen soms de verschillen zijn die je niet met een liniaal kunt meten.