Beyond next-word prediction: hierarchical linguistic composition drives LLM-brain alignment in time

Door het manipuleren van linguïstische kenmerken in zinnen die zijn afgestemd op voorspelbaarheid, toont dit onderzoek aan dat hiërarchische linguïstische compositie, met name syntactische structuur en associatieve semantiek, de uitlijning tussen LLM-representaties en menselijke hersenactiviteit aanzienlijk stuurt, terwijl compositiële semantiek blijkbaar unieker wordt gecodeerd in het menselijk brein.

De kern

Stel je voor dat je brein en een superintelligente computer (een Large Language Model, of LLM) allebei luisteren naar een verhaal dat hardop wordt voorgelezen. Wetenschappers hebben opgemerkt dat, wanneer mensen luisteren, hun hersengolven 'dansen' in een vergelijkbaar ritme met de interne berekeningen die de computer maakt. Maar waarom? Is het alleen omdat zowel het brein als de computer goed zijn in het raden van welk woord als volgende komt (zoals het afmaken van een zin), of is er iets diepers aan de hand over hoe ze de structuur van taal begrijpen?

Dit artikel behandelt het brein en de computer als twee verschillende koks die proberen hetzelfde gerecht na te maken. De onderzoekers wilden weten: Volgen ze hetzelfde recept omdat ze beide de ingrediënten goed kennen (statistische patronen), of begrijpen ze daadwerkelijk het kookproces (hiërarchische compositie) op dezelfde manier?

Om dit uit te vinden, serveerde het team zinnen aan zowel menselijke vrijwilligers (terwijl hun hersengolven werden opgenomen met een EEG-muts) als aan een computermodel genaamd GPT-2. Ze pasten de zinnen op drie specifieke manieren zorgvuldig aan, waarbij ze ervoor zorgden dat de 'voorspelbaarheid' van de woorden gelijk bleef, zodat het enige verschil lag in het type betekenis:

1. Het 'Grammaticale Skelet' (Syntactische Structuur): Ze keken naar zinnen met duidelijke, georganiseerde grammatica.

   • Het Resultaat: Wanneer de zinnen een sterke grammaticale structuur hadden, kwamen de interne 'gedachten' van de computer en de menselijke hersengolven nog beter overeen. Het is als het ontdekken dat zowel de kok als de computer dezelfde specifieke messkills gebruiken bij het snijden van groenten.

2. De 'Bouwblok-Betekenis' (Compositional Semantics): Dit is wanneer de betekenis van een frase strikt wordt opgebouwd uit de betekenissen van de onderdelen (zoals 'rode auto' een auto betekent die rood is).

   • Het Resultaat: Verrassend genoeg daalde de overeenkomst tussen de computer en het brein wanneer de zinnen zwaar leunden op dit soort bouwblok-betekenis. Het is alsof de menselijke kok een geheim familierecept begon te gebruiken dat de computer simpelweg niet had. Het menselijke brein lijkt dit specifieke type betekenis op een unieke manier te verwerken die de computer niet helemaal nabootst.

3. De 'Woordassociatie' (Associatieve Semantiek): Dit is wanneer woorden verbonden zijn door losse connecties of gewoontes (zoals denken aan 'boter' als je 'brood' hoort).

   • Het Resultaat: Het veranderen van deze associaties veranderde de overeenkomst helemaal niet. De computer en het brein zaten al op exact hetzelfde blad wat betreft deze losse connecties. Het is alsof beide koks automatisch weten dat 'zout' bij 'peper' past zonder dat er een speciale instructie nodig is.

De Grote Conclusie
De studie toont aan dat de connectie tussen menselijke hersenen en AI niet alleen gaat over het voorspellen van het volgende woord. De computer en het brein 'spreken eigenlijk dezelfde taal' als het gaat om grammatica en woordassociaties. Echter, als het gaat om het opbouwen van complexe betekenissen uit kleinere onderdelen, heeft het menselijke brein een speciale, unieke manier van doen die de computer nog niet helemaal onder de knie heeft. De computer is een geweldige nabootser van onze gewoontes en regels, maar onze hersenen hebben een unieke flair voor het construeren van betekenis die de machine nog steeds leert na te bootsen.

Technische samenvatting

Technische Samenvatting: Voorbij Volgende-Woordvoorspelling

Probleemstelling
De interne representaties van Large Language Models (LLM's) blijken te correleren met menselijke neurale activiteit tijdens taalverwerking. De onderliggende mechanismen die deze "LLM-hersenen-afstemming" aandrijven, blijven echter omstreden. Een heersende hypothese stelt dat deze afstemming uitsluitend voortkomt uit gedeelde gevoeligheid voor statistische patronen (bijvoorbeeld voorspelbaarheid) die inherent zijn aan beide systemen. Een alternatief standpunt stelt dat de afstemming de opkomst weerspiegelt van gedeelde, gestructureerde taalkundige representaties. Deze studie onderzoekt of hiërarchische taalkundige compositie—een eigenschap die als fundamenteel voor menselijke taal wordt beschouwd—de specifieke drijvende kracht is achter deze afstemming, onderscheiden van louter statistische voorspelbaarheid.

Methodologie
Om taalkundige structuur te ontwarren van statistische factoren, pasten de auteurs een gecontroleerd experimenteel ontwerp toe waarbij zowel een LLM (GPT2-XL) als menselijke deelnemers betrokken waren:

• Manipulatie van Stimuli: Engelse zinnen werden systematisch gemanipuleerd over drie taalkundige dimensies: syntaxis, compositieve semantiek en associatieve semantiek.
• Matching van Voorspelbaarheid: Cruciaal werden de taalkundig gemanipuleerde stimuli gematcht op voorspelbaarheid. Deze controle stelt de onderzoekers in staat om de effecten van taalkundige structuur te isoleren van de effecten van statistische waarschijnlijkheid.
• Dataverzameling: Menselijke deelnemers ondergingen een elektro-encefalografie (EEG)-experiment terwijl zij deze zinnen verwerkten. Tegelijkertijd werden contextuele embeddingen woord voor woord uit de verborgen lagen van GPT2-XL gehaald.
• Analyse: De studie gebruikte een lineair encoderingsmodel om LLM-EEG-afstemmingsscores te berekenen. Door deze scores te vergelijken over voorspelbaarheid-gematchte condities, evalueerden de auteurs hoe specifieke taalkundige manipulaties de afstemming tussen menselijke hersenactiviteit en modelrepresentaties moduleren.

Belangrijkste Bijdragen en Resultaten
De studie identificeert drie distincte patronen met betrekking tot hoe taalkundige kenmerken de LLM-hersenen-afstemming moduleren, en toont aan dat deze effecten boven en voorbij voorspelbaarheid plaatsvinden:

1. Syntactische Structuur: De afstemming neemt toe voor woordreeksen die een syntactische structuur bezitten, wat suggereert dat zowel de LLM als het menselijk brein syntactische hiërarchie op een vergelijkbare manier coderen.
2. Compositieve Semantiek: De afstemming neemt af voor zinnen die betrekking hebben op compositieve semantiek. Dit geeft aan dat de codering van compositieve betekenis unieker is voor het menselijk brein en minder wordt gedeeld met de interne representaties van de LLM.
3. Associatieve Semantiek: Deze dimensie modereert de afstemming niet significant, wat impliceert dat associatieve semantische informatie op vergelijkbare wijze wordt gecodeerd door zowel de LLM als het menselijk brein.

Betekenis
Het artikel stelt dat hiërarchische taalkundige compositie een kritieke factor is die de LLM-hersenen-afstemming aandrijft, en daagt het standpunt uit dat afstemming uitsluitend een bijproduct is van statistisch patroonherkenning. De resultaten suggereren een genuanceerde divergentie in hoe deze systemen taal verwerken: terwijl LLM's en het menselijk brein representaties delen voor associatieve semantiek en bepaalde aspecten van syntactische structuur, bezit het menselijk brein een onderscheidend vermogen voor het coderen van compositieve semantiek dat niet volledig wordt weerspiegeld in het GPT2-XL-model. Dit werk levert empirisch bewijs dat LLM-hersenen-afstemming wordt gedreven door specifieke taalkundige eigenschappen in plaats van algemene statistische co-occurentie.