🤖 AI

Emergent Semantic Role Understanding in Language Models

Dit artikel toont aan dat semantische rolbegrip gedeeltelijk ontstaat in bevroren decoder-only transformers tijdens het vooraf trainen, zoals blijkt uit lineaire probes, hoewel volledige prestaties fijnafstemming vereisen en de interne representatie van deze rollen steeds meer verspreid raakt naarmate de modelgrootte toeneemt.

Oorspronkelijke auteurs: Carla Griffiths, Mirco Musolesi

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Carla Griffiths, Mirco Musolesi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kind leert verhalen begrijpen. Je hebt twee keuzes:

De "Lezen en Leren"-methode: Laat het kind duizenden boeken zelf lezen, in de hoop dat het op natuurlijke wijze uitvindt wie wat aan wie heeft gedaan.
De "Dril"-methode: Nadat ze hebben gelezen, laat je ze zitten en leer je hen expliciet: "In deze zin is de hond de dader, en de bal het ding dat wordt getrapt."

Dit artikel stelt een grote vraag: Ontdekken grote taalmodellen (de "kinderen") de logica van "wie deed wat aan wie" gewoon door te lezen (pre-training), of hebben ze de expliciete drills (fine-tuning) nodig om dit te leren?

De onderzoekers Carla Griffiths en Mirco Musolesi hebben een experiment opgezet om dit uit te vinden. Hieronder wordt uitgelegd hoe ze dit deden en wat ze ontdekten, in eenvoudige bewoordingen.

Het Experiment: De "Bevroren Hersenen"-test

Om te zien of het model deze logica zelf had geleerd, gebruikten de onderzoekers een slimme truc. Ze namen een model dat zijn trainingsdata (pre-training) had voltooid en bevriezen zijn hersenen. Ze lieten de hersenen niet toe om te veranderen of iets nieuws te leren.

Vervolgens koppelden ze een zeer eenvoudige, kleine "sonde" (zoals een basisvraag-antwoordtool) aan de bevroren hersenen en vroegen ze om rollen in zinnen te identificeren (bijvoorbeeld: "Wie heeft de wandeling gemaakt?").

Als de bevroren hersenen goed konden antwoorden: Dit betekent dat het model de logica alleen door het lezen heeft geleerd.
Als de bevroren hersenen faalden: Dit betekent dat het model de logica alleen leerde toen het later werd "gedrild" met specifieke taken (fine-tuning).

Ze testten dit op modellen van vier verschillende groottes, van een klein "puppytje" (0,4 miljoen parameters) tot een "middelgrote hond" (57 miljoen parameters).

De Bevindingen: Wat hebben ze ontdekt?

1. De logica is er al (maar niet perfect)

De onderzoekers ontdekten dat zelfs de bevroren hersenen de vragen veel beter konden beantwoorden dan een willekeurige gok.

De Analogie: Stel je een student voor die een bibliotheek aan boeken heeft gelezen, maar nooit een toets heeft gemaakt. Wanneer je hen een eenvoudige quiz geeft, krijgen ze ongeveer 60% van de antwoorden goed, puur door hun lezen. Ze hadden de leraar niet nodig om de regels uit te leggen; de regels zaten al in hun hoofd.
Het Resultaat: Semantische rolbegrip (weten "wie wat deed") ontstaat tijdens de pre-training-fase. Het is niet iets dat pas verschijnt na specifieke training.

2. Grotere hersenen hebben meer "drills" nodig

Hier is de draai: naarmate de modellen groter werden, werd het gat tussen de "bevroren hersenen" en de "volledig getrainde hersenen" eigenlijk iets groter.

De Analogie: Denk aan het kleine model als een student die de regels perfect heeft gememoriseerd alleen door te lezen. Het grote model is als een genie-student die de bibliotheek heeft gelezen, maar wiens hersenen zo complex en vol andere informatie zijn dat ze een beetje specifieke coaching nodig hebben om die kennis efficiënt te organiseren voor een toets.
Het Resultaat: Hoewel de grote modellen de informatie hadden, hadden ze fine-tuning nodig om deze volledig te ontsluiten. De "drills" hielpen hen hun enorme kennisbasis beter te organiseren.

3. De "Wie deed wat"-neuronen

De onderzoekers keken in de modellen om te zien hoe ze deze informatie opslaan. Ze vonden specifieke groepen neuronen (kleine verwerkingseenheden) die als specialisten fungeerden.

De "Tijd"-specialisten: Sommige neuronen waren als toegewijde tijdswachters. Ongeacht hoe groot het model werd, waren deze neuronen altijd cruciaal voor het begrijpen van wanneer dingen gebeurden.
De "Dader" (Agent)-specialisten: Dit was het meest verrassende deel.
- In kleine modellen waren specifieke neuronen de "Dader"-experts. Als je ze uitschakelde, vergat het model wie wat deed.
- In grote modellen begonnen dezezelfde "Dader"-neuronen eigenlijk in de weg te zitten! Als je ze uitschakelde in een groot model, werd het model eigenlijk beter in zijn werk.
De Analogie: In een klein team heb je één specifieke persoon nodig die de "Teamleider" is. Als je hen ontslaat, stort het team in. Maar in een enorm concern kan het hebben van één persoon die probeert de enige leider te zijn, leiden tot knelpunten. Het grote bedrijf werkt beter als het leiderschap verspreid is onder veel mensen. De grote modellen zijn verschoven van het hebben van één enkele "Dader"-neuron naar een gedistribueerd netwerk waar de taak wordt gedeeld.

De Conclusie

Dit artikel bewijst dat taalmodellen de basisstructuur van "wie wat aan wie deed" gewoon door het lezen van tekst leren, zonder dat specifieke instructie nodig is. Deze kennis is "ingebakken" tijdens de pre-training.

Echter, naarmate modellen groter worden, worden ze niet gewoon "slimmer" in een rechte lijn. Ze veranderen hoe ze deze kennis opslaan. Ze verschuiven van het vertrouwen op een paar specifieke "specialist"-neuronen naar het gebruik van een complex, gedistribueerd netwerk. Dit betekent dat wat werkt voor een klein model (zoals vertrouwen op één specifieke neuron) niet noodzakelijk werkt voor een gigantisch model, dat zijn interne logica heeft geherorganiseerd om zijn enorme omvang het hoofd te bieden.

Kortom: De modellen hebben de regels van het spel geleerd door gewoon toe te kijken hoe het werd gespeeld (pre-training), maar naarmate ze opgroeiden, moesten ze hun speelstijl veranderen om te winnen.

Technische Samenvatting: Emergent Semantische Rolbegrip in Taalmodellen

Probleemstelling

Het centrale probleem dat wordt aangepakt, is de ambiguïteit rondom de oorsprong van linguïstische capaciteiten in Large Language Models (LLM's). Specifiek blijft het onduidelijk of semantische rolbegrip (SRL)—het vermogen om te identificeren "wie wat aan wie deed" (predikaat-argumentstructuur)—uitsluitend voortkomt uit vooropleiding op doelen voor voorspelling van het volgende token, of dat het een capaciteit is die taakspecifieke fijnafstemming vereist. Hoewel LLM's generalisatie over taken tonen, is de mate waarin specifieke semantische structuren zijn gecodeerd in voorgetrainde gewichten versus geleerd tijdens adaptie, niet volledig gekarakteriseerd. Bovendien vereist de relatie tussen modelschaal en het ontstaan van deze capaciteiten, evenals de interne neurale mechanismen (bijvoorbeeld gedistribueerde versus gelokaliseerde representaties) die ze ondersteunen, een systematisch onderzoek.

Methodologie

De auteurs hanteren een gecontroleerd experimenteel ontwerp waarbij decoder-only transformermodellen vanaf nul worden getraind om de effecten van vooropleiding te isoleren van die van fijnafstemming.

Modeltraining: Vier decoder-only transformermodellen (Tiny, Small, Base, Medium) variërend van 0,4 miljoen tot 57 miljoen parameters werden vanaf nul getraind op het WikiText-103-gecorpus met een causaal taalmodelleringsdoel (voorspelling van het volgende token). De architectuur volgt GPT-2/GPT-3-standaarden met gekoppelde embeddings en een vast vocabulaire.
Taakdefinitie: De evaluatietaak is Vraag-Antwoord-gedreven Semantische Rollabeling (QA-SRL). Dit hervormt SRL als extractieve vraag-antwoordtaken (bijvoorbeeld: "Wie liep een wandeling?" om de Agent te identificeren), waardoor expliciete PropBank-schemaannotatie tijdens de proeffase wordt vermeden.
Proefprotocollen:
- Volledige Fijnafstemming: Alle parameters (transformer en QA-kop) worden bijgewerkt om een bovengrens voor prestaties vast te stellen.
- Bevroren Lineaire Proef: De voorgetrainde transformer-gewichten en positionele embeddings worden bevroren. Alleen de token-embeddings (om aan te passen aan het [vraag] [SEP] [zin]-formaat) en de QA-kop worden getraind. Dit test of semantische rolinformatie decodeerbaar is uit voorgetrainde representaties.
- Willekeurige Baseline: Een ongetraind (willekeurig geïnitieerd) model met getrainde embeddings en QA-kop dient als een prestatievloer om geleerde representaties te onderscheiden van willekeurige capaciteit.
- Genormaliseerde Emergentie-score: Gedefinieerd als $E = \frac{F1_{bevroren} - F1_{willekeurig}}{F1_{volledig} - F1_{willekeurig}}$ , wat het fractie van taakprestaties kwantificeert dat aanwezig is in de vooropleiding.
Mechanistisch Analyse:
- Temporele CKA: Centered Kernel Alignment wordt gebruikt om representatieve drift tussen fijnafstemming-checkpoints en het voorgetrainde model te meten.
- Neuronenablatie: Principal Component Analysis (PCA) identificeert "rol-selectieve neuronen" (bijvoorbeeld neuronen die zeer actief zijn voor Agent- of Tijd-rol). Deze neuronen worden geablateerd (gewichten op nul gezet) om causale noodzaak te testen.
- Visualisatie: PCA en t-SNE worden gebruikt om de clustering van semantische rollen in de representatieruimte te visualiseren.

Belangrijkste Resultaten

1. Ontstaan van Semantische Rolbegrip

Bijdrage van Vooropleiding: Bevroren proeven presteren consequent beter dan willekeurige baselines over alle modelschalen heen, met een verschil van 12–19 F1-punten. Dit bevestigt dat predikaat-argumentstructuur uitsluitend tijdens vooropleiding wordt gecodeerd.
Schaalafhankelijkheid: Hoewel vooropleiding een consistente basis van semantische informatie biedt, daalt de genormaliseerde emergentie-score naarmate de modelschaal toeneemt. Dit komt doordat de bijdrage van fijnafstemming ( $\Delta_{ft}$ ) significant groeit met de schaal (van ~8 tot ~21 F1-punten), terwijl de bijdrage van vooropleiding ( $\Delta_{pre}$ ) relatief constant blijft. Derhalve vertrouwen grotere modellen zwaarder op fijnafstemming om piekprestaties te bereiken, zelfs als de fundamentele informatie aanwezig is in de vooropleiding.
Lagen-gewijze Codering: Lineaire proeven op pure voorgetrainde representaties (zonder enige embeddingleiding) bereiken 10–26% F1, wat bevestigt dat de informatie in de transformer-gewichten zit. Diepere lagen tonen over het algemeen een hogere decodeerbaarheid.

2. Interne Representatiedynamiek

Representatieve Drift: Tijdens fijnafstemming divergeren diepere lagen het meest significant van de voorgetrainde staat (CKA daalt tot 0,25–0,49), wat wijst op aanzienlijke herorganisatie van semantische representaties.
Neuronenselectiviteit: Specifieke neuronen in feed-forward-lagen vertonen selectiviteit voor semantische rollen (bijvoorbeeld "Agent-neuronen", "Tijd-neuronen").
- Tijd-neuronen: Tonen consistente causale belangrijkheid over alle schalen; het ablateren ervan vermindert de prestaties.
- Agent-neuronen: Vertonen een schaalafhankelijke omkering. In kleine modellen vermindert het ablateren van Agent-neuronen de prestaties (causaal). In grotere modellen (Base en Medium) verbetert het ablateren van deze neuronen de prestaties, wat suggereert dat deze neuronen interfererend of overbodig worden in grotere capaciteiten.
- Locatie/Manier-neuronen: Tonen minimale causale effecten, wat suggereert dat deze rollen op een meer gedistribueerde manier worden gerepresenteerd in plaats van door specifieke gelokaliseerde neuronen.
Co-activatie: Neuronen van dezelfde rol tonen hogere co-activatie-correlaties dan neuronen van verschillende rollen, maar deze scheiding is zwak en neemt toe met de lagen-diepte.

3. Replicatie

De bevindingen met betrekking tot de schaalafhankelijke overgang van Agent-neuronen (van causaal naar interfererend) werden gerepliceerd op GPT-2 (124M, 355M) en Pythia (70M, 160M, 410M) modellen, wat bevestigt dat het fenomeen geen artefact is van de specifieke trainingsopstelling of het corpus.

Belangrijkste Bijdragen

Systematische Methodologie: Een raamwerk om te onderscheiden tussen informatie die decodeerbaar is uit voorgetrainde gewichten versus informatie die tijdens fijnafstemming wordt gecreëerd, gebruikmakend van lineaire probing en genormaliseerde emergentie-scores.
Temporele Analyse: Introductie van een CKA-gebaseerd raamwerk om de representatieve evolutie tijdens fijnafstemming te volgen ten opzichte van het voorgetrainde null-model.
Identificatie van Neurale Mechanismen: Ontdekking van rol-selectieve neuronen en bewijs dat semantische rollen distincte clusters vormen in de representatieruimte, waarbij de scheiding toeneemt in diepere lagen.
Schaalafhankelijke Herorganisatie: Empirisch bewijs dat de neurale implementatie van semantische rollen verandert met de schaal. Specifiek daagt de overgang van Agent-selectieve neuronen van causaal noodzakelijk in kleine modellen naar interfererend in grote modellen de aanname uit dat circuits geïdentificeerd in kleine modellen hun functie behouden bij grotere schalen.

Betekenis en Claims

Het artikel beweert dat semantische rolbegrip een capaciteit is die uitsluitend voortkomt uit vooropleiding, zelfs bij kleine modelschalen, en niet strikt taakspecifiek toezicht vereist om te worden gecodeerd. De efficiëntie en implementatie van deze capaciteit veranderen echter met de schaal.

De auteurs betogen dat:

Ontstaan niet binair is: Het is een continu proces waarbij vooropleiding een substantiële basis biedt (12–19 F1-punten), maar fijnafstemming vereist is om de prestaties volledig te optimaliseren, vooral bij grotere modellen.
Interpreteerbaarheid mogelijk is: Het bestaan van rol-selectieve neuronen suggereert dat emergente linguïstische capaciteiten gedeeltelijk gelokaliseerd kunnen zijn, waardoor ze vatbaar zijn voor mechanistische interpreteerbaarheid.
Circuitstabiliteit niet gegarandeerd is: De bevinding dat Agent-neuronen interfererend worden in grotere modellen suggereert dat neurale circuits niet statisch zijn; ze ondergaan herorganisatie naarmate de capaciteit toeneemt. Dit impliceert dat inzichten verkregen uit het analyseren van kleinere modellen niet direct overdraagbaar zijn naar grotere, capabelere systemen zonder rekening te houden met deze structurele verschuivingen.
Interferentie tussen rollen: Grotere modellen vertonen complexe interacties waarbij rol-specifieke neuronen andere rollen kunnen onderdrukken, een fenomeen dat afwezig is in kleinere modellen.

Het werk concludeert dat hoewel taalmodelleringsdoelen voldoende zijn om semantische rolstructuur te coderen, de interne organisatie van deze kennis aanzienlijk evolueert met de modelschaal, van meer geconcentreerde, causale representaties naar gedistribueerde, en soms interfererende, representaties.