The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers

In de digitale geesten van moderne taalmodellen staan woorden niet stil. Wanneer een computer een zin leest, transformeert het elk woord in een lange lijst met getallen, een punt dat zweeft in een enorme, onzichtbare ruimte met honderden dimensies. Deze punten zijn niet willekeurig verspreid; ze klonteren samen en vormen dunne, gebogen vellen binnen die hoogdimensionale leegte. Wetenschappers noemen deze vellen manifolds, en de dikte van het vel vertelt een verhaal over hoeveel informatie het woord draagt. Als een woord in veel richtingen vrij kan veranderen, is het vel dik en complex. Als het woord strikt wordt beperkt door zijn buren, wordt het vel dun en simpel. Deze compressie van informatie is een fundamentele manier waarop deze modellen de wereld begrijpen, maar tot nu toe hadden onderzoekers moeite om te zien hoe de specifieke taak die een woord in een zin vervult — of het nu een zwaar zelfstandig naamwoord als "kat" is of een lichte verbinder als "de" — deze geometrie vormgeeft.

Een team onderzoekers zette zich scharpe scherp om dit verborgen landschap in kaart te brengen, met de vraag of de grammaticale rol van een woord het pad bepaalt dat het aflegt door de lagen van een neuraal netwerk. Ze richtten zich op het onderscheid tussen open klassen woorden, die rijke betekenis dragen zoals zelfstandige naamwoorden en werkwoorden, en gesloten klassen woorden, die een structureel doel dienen zoals voorzetsels en voornaamwoorden. Door duizenden zinnen in vier verschillende soorten taalmodellen in te voeren, volgden ze hoe de vorm van de data laag voor laag veranderde. Ze ontdekten dat deze twee soorten woorden niet hetzelfde traject afleggen. Gesloten klassen woorden breiden zich vroeg in het proces uit tot een bredere, complexere ruimte, om vervolgens veel sneller terug te krimpen naar een compacte, simpele vorm dan hun inhoudelijke tegenhangers. Dit suggereert dat het model deze structurele woorden eerst uitrekt om te begrijpen hoe ze zich verbinden met andere delen van de zin, en zodra die verbinding is gemaakt, ze weer opvouwt, nadat alle noodzakelijke relationele informatie is geëxtraheerd.

De onderzoekers ontdekten dat deze geometrische vouwing geen willekeurige fluctuatie is, maar een precieze reorganisatie van de omgeving rondom elk woord. Terwijl een woord dieper het netwerk in beweegt, veranderen zijn dichtstbijzijnde buren in de wiskundige ruimte. Voor structurele woorden gebeurt deze verandering snel en besluitvaardig. Een woord als "de" kan zijn reis beginnen omringd door andere determinatieven, maar naarmate het netwerk de zin verwerkt, laat het die groep los en beweegt het dichter naar het specifieke zelfstandig naamwoord dat het modificeert. Deze verschuiving in buren komt exact overeen met het moment waarop de interne representatie van het woord eenvoudiger en compacter wordt. In contrast hiermee behouden inhoudelijke woorden zoals "olifant" of "rennen" een meer complexe, open geometrie voor een langere tijd, wat de voortdurende noodzaak weerspiegelt om hun specifieke betekenissen te integreren met de evoluerende context van de zin.

De studie onthulde ook dat de architectuur van het model er diep toe doet. Modellen die zinnen in beide richtingen tegelijk lezen, zoals encoders, lossen deze structurele verbindingen vroeg op, waardoor de geometrische veranderingen in de middelste lagen plaatsvinden. Modellen die strikt van links naar rechts lezen, zoals decoders, volgen een ander pad, waarbij deze geometrische verschuivingen later optreden, naarmate de context zich opbouwt. Ondanks deze architecturale verschillen bleef de kernbevinding overeind: het pad dat een woord door het netwerk aflegt, is een directe reflectie van zijn grammaticale functie. De onderzoekers bewezen dit door aan te tonen dat een computer enkel naar de vorm van de datapunten kon kijken — hun dikte en hoe hun buren verschoven — en correct kon raden of een woord een functiewoord of een inhoudswaard was, of zelfs de specifieke woordsoort kon identificeren, zonder het woord zelf ooit te hebben gezien.

Dit werk suggereert dat de grammatica van een zin niet alleen een set regels is die het model volgt, maar een fysieke realiteit binnen zijn wiskundige structuur. Het model slaat niet simpelweg de betekenis van een woord op; het hervormt fysiek de ruimte rond dat woord om het puzzelstukje op te lossen van hoe het in de zin past. Op het moment dat een structureel woord zijn partner in de zin vindt, laat het model de extra dimensies die het nodig had om te verkennen ineenstorten, waardoor een compacte, efficiënte representatie achterblijft. Het is alsof het model een tijdelijke steiger bouwt om de zin bij elkaar te houden, en zodra de structuur stevig staat, de steiger verwijdert, waardoor alleen de essentiële vorm van de betekenis overblijft. Deze geometrische dans van expansie en contractie biedt een nieuw venster op hoe kunstmatige intelligentie het delicate evenwicht begrijpt tussen de woorden die betekenis dragen en de woorden die het geheel bij elkaar houden.