Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models

In de wereld van de moderne kunstmatige intelligentie hebben computers geleerd te lezen en te schrijven door het bestuderen van enorme bibliotheken aan menselijke tekst. Lange tijd begrepen deze machines woorden zoals een woordenboek dat doet: als statische inzendingen met één enkele, vaste betekenis. Als een computer het woord "bank" zag, zou deze er één specifieke identiteit aan toekennen, ongeacht of de zin over een rivier of een financiële instelling ging. Deze aanpak werkte goed genoeg voor basisopdrachten, maar miste een fundamentele waarheid van de menselijke taal: betekenis is vloeibaar. Wij begrijpen een woord niet alleen door wat het is, maar door waar het verschijnt. Een nieuwe generatie AI-modellen, bekend als transformer-taalmodellen, werd gebouwd op het idee dat zij deze vloeibaarheid konden vangen. Ze werden ontworpen om hun begrip van een woord te laten veranderen afhankelijk van het gezelschap dat het in een zin houdt. Maar hoewel deze modellen breed worden beschouwd als goed in dit, is het moeilijk om dit op een zuivere manier te bewijzen. De meeste bewijzen komen van het observeren hoe goed de modellen presteren op specifieke tests, wat ons vertelt dat ze nuttig zijn, maar niet noodzakelijkerwijs hoe ze de woorden binnen hun eigen geest organiseren.

Een team onderzoekers aan de Universiteit van Campinas in Brazilië heeft een gespecialiseerde toolkit gebouwd om direct in deze machines te kijken en te zien hoe ze omgaan met woorden met meerdere betekenissen. Ze vroegen de computer niet om een definitie te raden of een puzzel op te lossen. In plaats daarvan creëerden ze een gecontroleerd experiment om te kijken hoe de interne representatie van een woord in de machine verschuift naarmate de context verandert. Hun werk beweert niet het mysterie van hoe AI taal begrijpt te hebben opgelost, noch rapporteert het een specifieke ontdekking over hoe een bepaald model zich gedraagt. Integendeel, het biedt een rigoureus, herhaalbaar instrument—een set gereedschappen en methoden—die andere wetenschappers in staat stelt deze vraag met precisie te stellen. De onderzoekers hebben een methode ontworpen om het woord zelf vast te zetten en alleen de wereld waarin het verschijnt te veranderen, waardoor een manier wordt gecreëerd om het exacte moment te isoleren waarop een machine één betekenis van de andere scheidt, mocht een dergelijke scheiding bestaan.

De kern van hun methode rust op een concept dat ze een "brugvorm" noemen. Stel je een enkel woord voor, zoals "current" (stroom/actueel), dat kan betekenen: de stroming van elektriciteit, een financiële rekening, of de beweging van oceaanwater. In een standaardwoordenboek zijn dit drie verschillende definities. In het experiment van de onderzoekers behandelen ze "current" als één enkel, onveranderlijk object dat door drie verschillende werelden reist. Ze verzamelen duizenden zinnen die het woord "current" bevatten uit Wikipedia-artikelen over natuurkunde, economie en geografie. Omdat het woord in elke zin exact hetzelfde gespeld wordt, is het initiële begrip van de computer identiek. De onderzoekers voeden deze zinnen vervolgens aan het AI-model en kijken wat er gebeurt terwijl de informatie dieper in de lagen van de machine reist.

Het cruciale inzicht is dat als het model werkelijk context begrijpt, het interne beeld van het woord "current" er anders uit zou moeten zien wanneer het wordt omringd door woorden over geld vergeleken met wanneer het wordt omringd door woorden over rivieren. In de eerste paar lagen van het model blijft het woord hetzelfde, net zoals het in het woordenboek staat. Maar naarmate de informatie dieper in de machine beweegt, kijken de onderzoekers of de "elektriciteits"-versie van het woord weg drijft van de "geld"-versie in de interne ruimte van het model. Om deze drift te meten, gebruiken ze een statistisch hulpmiddel dat berekent hoe ver groepen punten uit elkaar liggen. Als de punten die de natuurkundige zinnen vertegenwoordigen dicht bij elkaar clusteren en ver weg blijven van de punten die de economische zinnen vertegenwoordigen, zou dit bewijzen dat het model erin is geslaagd de betekenissen op basis van context te scheiden.

De onderzoekers ontwierpen hun toolkit om veelvoorkomende valkuilen te vermijden die eerdere studies hebben misleid. Een belangrijke valkuil is het kijken naar het eindresultaat van de verwerking van een model en ervan uitgaan dat dit de enige plek is waar betekenis bestaat. Sommige eerdere studies suggereerden dat modellen betekenissen in de middelste lagen kunnen scheiden en ze aan het einde weer samenbrengen. Om dit te vangen, controleert de nieuwe toolkit elke enkele laag van het model, niet alleen de laatste. Een andere potentiële fout is het proberen te vergelijken van te veel betekenissen tegelijkertijd. Als een onderzoeker probeert de scheiding tussen drie of vier verschillende betekenissen simultaan te meten, kan de wiskunde vervormd raken, waardoor ongerelateerde groepen dichter bij of verder van elkaar lijken te staan dan ze in werkelijkheid zijn. De onderzoekers losten dit op door slechts twee betekenissen tegelijk te vergelijken, wat ervoor zorgt dat de meting schoon en direct is.

Ze adresseerden ook het probleem van hoe de computer de woorden ziet. Moderne AI leest woorden niet als hele eenheden; het breekt ze af in kleinere stukjes. Soms kan hetzelfde woord verschillend worden opgesplitst afhankelijk van waar het in een zin verschijnt. Om te garanderen dat ze het juiste meten, gebruikten de onderzoekers een precieze methode om het exacte deel van het woord te lokaliseren waar ze in geïnteresseerd waren, waarbij ze karakter voor karakter overeenkwamen met de originele tekst. Dit garandeert dat ze dezelfde instantie van het woord volgen door alle verschillende contexten heen, zonder verwarring veroorzaakt door hoe de machine de tekst uiteenlegt.

De toolkit produceert twee soorten visueel bewijs om onderzoekers te helpen de resultaten te begrijpen. Ten eerste creëert het een kaart van de positie van het woord in de geest van het model aan het begin en aan het einde. Door een gedeeld referentiekader voor deze kaarten te gebruiken, kunnen onderzoekers zien of het woord is bewogen of op zijn plek is gebleven. Ten tweede genereert het een grafiek die laat zien hoe de scheiding tussen betekenissen verandert naarmate de informatie door de lagen van het model beweegt. Deze grafiek fungeert als een hartslagmonitor voor de betekenis van het woord, en laat precies zien waar het model begint onderscheid te maken tussen de verschillende zinnen.

Dit werk is significant omdat het een manier biedt om de interne mechanica van AI te testen zonder te vertrouwen op de uiteindelijke output van het model. In plaats van te vragen: "Heeft het model het juiste antwoord gegeven?", vragen de onderzoekers: "Heeft het model zijn eigen gedachten correct georganiseerd?". De toolkit is ontworpen om gebruikt te worden door iedereen die wil bestuderen hoe verschillende soorten AI-modellen met taal omgaan. Het werkt met diverse modelarchitecturen, van die welke tekst in beide richtingen lezen tot die welke het alleen van links naar rechts lezen. Door een standaardmethode te bieden om dit fenomeen te meten, hopen de onderzoekers een nieuwe golf van studies mogelijk te maken die modellen eerlijk kunnen vergelijken en de grenzen van hun linguïstische vermogens kunnen begrijpen.

De auteurs merken zorgvuldig op dat hun toolkit een instrument is, geen claim. Ze beweren niet dat hun specifieke tests een universele waarheid hebben onthuld over hoe alle AI-modellen werken, noch presenteren of interpreteren ze de empirische uitkomsten van het draaien van de toolkit op een specifiek model of een specifieke set woorden. De resultaten van het draaien van deze toolkit hangen af van het specifieke model dat wordt getest en de specifieke woorden die zijn gekozen. Wat de onderzoekers hebben geleverd, is een betrouwbare methode om de vraag te stellen. Ze hebben een brug geslagen tussen het abstracte idee van "contextueel begrip" en een concrete, meetbare realiteit. Door het woord constant te houden en de wereld eromheen te variëren, hebben ze een helder venster gecreëerd naar hoe deze complexe machines leren om onderscheid te maken tussen de rivier en de bank.