💬 NLP

France or Spain or Germany or France: A Neural Account of Non-Redundant Redundant Disjunctions

Dit artikel biedt een complementair neuraal account voor schijnbare redundantie in disjuncties, waarbij het aantoont dat contextgevoelige interpretatie in taalmodellen ontstaat door de interactie tussen het binden van contextuele informatie aan herhaalde woorden en de selectieve aandacht van Transformer-inductiekoppen.

Oorspronkelijke auteurs: Sasha Boguraev, Qing Yao, Kyle Mahowald

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sasha Boguraev, Qing Yao, Kyle Mahowald

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernvraag: Waarom klinkt dit niet saai?

Stel je voor dat iemand zegt:

"Ze gaat naar Frankrijk of Spanje, of misschien naar Duitsland of Frankrijk."

Op het eerste gezicht klinkt dit raar. Waarom noem je Frankrijk twee keer? Alsof je zegt: "Ik eet een appel of een peer, of misschien een banaan of een appel." In de logica is dit overbodig (redundant).

Maar voeg wat context toe:

"Mary gaat naar een filosofieopleiding in Frankrijk of Spanje, of naar een wiskundeopleiding in Duitsland of Frankrijk. Ze gaat naar Frankrijk of Spanje, of misschien naar Duitsland of Frankrijk."

Nu klinkt het plotseling heel natuurlijk. Het tweede "Frankrijk" voelt niet als een foutje, maar als een noodzakelijke herhaling. Waarom? Omdat het eerste Frankrijk hoort bij "filosofie" en het tweede bij "wiskunde". Ze zijn eigenlijk twee verschillende dingen, ook al hebben ze dezelfde naam.

De onderzoekers van deze paper (Sasha, Qing en Kyle) wilden weten: Hoe begrijpen mensen dit, en hoe leren computers (AI) dit?

De Verbinding tussen Mensen en AI

De onderzoekers deden twee dingen:

Ze keken naar mensen: Ze gaven mensen zinnen te voltooien. Mensen vonden het heel normaal om "Frankrijk" te herhalen als er een goed verhaal (context) achter zat, maar niet als het gewoon een lijstje was.
Ze keken naar AI-modellen: Ze gaven dezelfde zinnen aan verschillende grote taalmodellen (zoals GPT-2 en LLaMa).

Het verrassende resultaat:

Kleine AI's (zoals een klein brein) faalden. Ze dachten: "Frankrijk is al genoemd, dus ik herhaal het niet" of "Ik herhaal het gewoon domweg, zonder te kijken naar de context."
Grote AI's (met meer dan 400 miljoen "neuronen") deden precies wat mensen deden. Ze begrepen dat de context het herhalen van het woord nodig maakte.

Hoe werkt dit in de "hersenen" van de AI?

Dit is het meest interessante deel. De onderzoekers keken niet alleen naar of de AI het goed deed, maar hoe ze het deden. Ze gebruikten een soort "röntgenfoto" van de AI-hersenen (een techniek genaamd activation patching en induction heads).

Hier zijn de twee mechanismen die ze ontdekten, vertaald naar een verhaal:

1. De "Sticky Note" (Contextuele Binding)

Stel je voor dat het woord "Frankrijk" een post-it is.

In de eerste zin plakken ze een post-it op "Frankrijk" met de tekst: "Hoort bij Filosofie".
In de tweede zin plakken ze een andere post-it op het tweede "Frankrijk" met de tekst: "Hoort bij Wiskunde".

De AI leert dat deze twee "Frankrijks" niet hetzelfde zijn. Ze zijn als twee identieke auto's die in een parkeergarage staan, maar de ene staat in de "blauwe zone" en de andere in de "rode zone". Voor de AI zijn ze nu verschillend, omdat ze aan verschillende contexten zijn "geplakt".

2. De "Kijkende Kijker" (Induction Heads)

Nu moet de AI beslissen: "Moet ik het woord 'Frankrijk' nog een keer typen?"
De AI heeft speciale onderdelen in haar systeem die we Induction Heads noemen. Je kunt ze zien als detectives die op zoek gaan naar patronen.

In de "saai" situatie (geen context): De detective kijkt en zegt: "Ik zie 'Frankrijk' al staan. Dat is saai. Ik typ het niet nog een keer."
In de "interessante" situatie (met context): De detective ziet de "post-it" (de context). Hij zegt: "Ah! Dit 'Frankrijk' hoort bij Wiskunde. Dat is een ander verhaal dan het eerste. Ik moet het dus wel herhalen om het verhaal af te maken."

Deze detectives zijn heel gevoelig voor de volgorde. Als de volgorde van de woorden in de zin precies overeenkomt met wat de AI eerder heeft gezien, springen ze in actie. Als de volgorde verward is, worden ze minder actief.

Waarom is dit belangrijk?

Vroeger zeiden taalkundigen: "Dit werkt omdat er een logische regel is over 'mogelijkheden'." (Een beetje saai en abstract).

Deze paper zegt: "Nee, kijk eens hoe het werkt in een neurale netwerken! Het is geen logische formule, maar een mechanisch proces:

De AI plakt context op woorden.
Speciale detectives (Induction Heads) kijken of die context een herhaling toelaat.

Het mooie is: Mensen en grote AI's werken hier op dezelfde manier. Ze herhalen woorden niet omdat ze dom zijn, maar omdat ze de context begrijpen.

Conclusie in één zin

Grote AI's zijn slim genoeg om te weten dat je een woord twee keer mag zeggen als het verhaal dat nodig heeft, en ze doen dit door "post-its" met context op woorden te plakken en speciale detectives te gebruiken om te beslissen of het herhalen een goed idee is.

Probleemstelling

Het artikel onderzoekt een linguistisch fenomeen waarbij schijnbaar redundante disjuncties (kies-constructies) in natuurlijke taal acceptabel worden, mits ze in een specifieke context voorkomen. Een voorbeeld is de zin: "She will go to France or Spain, or perhaps to Germany or France."
Formeel gezien lijkt dit redundant omdat "Frankrijk" twee keer voorkomt (logisch equivalent aan $A \lor B \lor C \lor A$ ). Echter, in een context zoals "Mary will go to a philosophy program in France or Spain, or a mathematics program in Germany or France", wordt de herhaling van "Frankrijk" niet als foutief of overbodig ervaren.

Traditionele analyses (zoals die van Mandelkern, 2024) behandelen dit fenomeen met symbolische formele semantiek, waarbij "of" wordt geïnterpreteerd als een modale operator die verschillende mogelijkheidsdomeinen activeert. Het doel van dit onderzoek is echter om een neuraal alternatief te bieden: een uitleg gebaseerd op de interne mechanismen van neurale netwerken (Large Language Models of LLM's) in plaats van op formele logica. De centrale vraag is: hoe leren neurale modellen om contextuele binding te gebruiken om herhaling te licentiëren of te onderdrukken?

Methodologie

De auteurs gebruiken een combinatie van gedragsstudies (bij mensen en modellen) en mechanistische interpretatie van LLM's.

Experiment 1: Gedragsanalyse (Mensen vs. Modellen)
- Stimuli: Er werden zinnen geconstrueerd met drie entiteiten (X, Y, Z) uit verschillende semantische domeinen (bijv. landen, beroepen).
- Condities:
  - Kritieke conditie: Een gestructureerde disjunctie waarbij X voorkomt in twee verschillende contexten (bijv. "filosofie in X of Y" en "wiskunde in Z of X"). De tweede zin vraagt om een voltooiing met X.
  - Controle conditie: Een simpele lijst zonder disjunctieve structuur, waarbij X twee keer voorkomt zonder contextuele binding. Hier zou herhaling als redundant moeten worden gezien.
- Deelnemers: 243 mensen (via Prolific) en 12 autoregressieve taalmodellen (Pythia, GPT-2, LLaMa) van verschillende groottes (70M tot 7B parameters).
- Taak: Mensen moesten zinnen aanvullen; modellen genereerden het meest waarschijnlijke volgende token.
Experiment 2: Causale Interventie (Activeringspatching)
- Om te testen of LLM's contextuele informatie in de representatie van woorden coderen, gebruikten de auteurs activeringspatching.
- Ze vervingen de activeringen van een woord in een "bron"-zin (met specifieke context, bijv. "voor wiskunde") door de activeringen van hetzelfde woord in een "basis"-zin.
- Doel: Kijken of het patchen van de contextuele binding de waarschijnlijkheid van de juiste vervolgzin (bijv. "voor wiskunde" vs. "voor natuurkunde") beïnvloedt, zelfs als het woord zelf ("Frankrijk") identiek blijft.
Experiment 3: Mechanistische Analyse (Inductiehoofden)
- De auteurs analyseerden inductiehoofden (attention heads die bekend staan om het herkennen van patronen en herhalingen) in het LLaMa2-7b model.
- Ze maten de aandachtspatronen van deze hoofden in de kritieke versus controle condities om te zien hoe het model besluit om een woord te kopiëren of te onderdrukken.

Belangrijkste Resultaten

Gedragspatronen:
- Mensen: Toonden een sterk effect waarbij herhaling van X in de kritieke conditie (gestructureerde disjunctie) veel vaker werd geproduceerd (72,3%) dan in de controle conditie (28,2%). Mensen waren echter niet significant gevoelig voor de specifieke volgorde van de disjuncties.
- Modellen: Grote modellen (>400M parameters) imiteerden het menselijke gedrag nauwkeurig. Kleine modellen (<400M) faalden vaak en vertoonden "dom kopiëren" (herhaling zonder context) of faalden in de controle conditie.
- Schalingseffect: Het vermogen om contextuele binding te gebruiken voor niet-redundante herhaling is een capaciteit die pas ontstaat bij modellen boven de 400M parameters.
Causale Binding (Experiment 2):
- Activeringspatching toonde aan dat LLM's de representatie van een woord (bijv. "Frankrijk") daadwerkelijk verrijken met contextuele informatie (bijv. "filosofie" vs. "wiskunde").
- Wanneer de activering van de contextueel gebonden versie werd ingebracht, steeg de waarschijnlijkheid van de bijbehorende vervolgzin significant. Dit bewijst dat het model de herhaling niet als identiek ziet, maar als contextueel onderscheiden.
Rol van Inductiehoofden (Experiment 3):
- Inductiehoofden zijn cruciaal voor het kopiëren van het herhaalde item.
- In de kritieke conditie (waar herhaling licentieerd is) zijn deze hoofden sterk actief en richten ze zich selectief op de contextueel relevante instantie van het woord.
- In de controle conditie (waar herhaling redundant is) worden deze hoofden onderdrukt of tonen ze geen duidelijke aandacht voor het herhaalde item.
- Orde-effect: Modellen tonen een sterke gevoeligheid voor de oppervlakte-ordening van de tweede disjunctie (ZX vs. XZ), iets wat bij mensen in deze studie niet significant was. Dit suggereert dat modellen oppervlaktepatronen gebruiken om context te licentiëren.

Belangrijkste Bijdragen

Neurale Uitleg voor Semantiek: Het artikel biedt een compleet neuraal mechanisme voor een fenomeen dat traditioneel met formele logica werd beschreven. Het toont aan dat neurale netwerken "redundantie" oplossen door contextuele binding in token-representaties, in plaats van door expliciete modale operatoren.
Mechanistische Transparantie: Door gebruik te maken van activeringspatching en analyse van inductiehoofden, onthullen de auteurs hoe het model de taak oplost:
- Stap 1: Contextuele binding van lexicale items.
- Stap 2: Selectieve inzet van inductiehoofden om deze gebonden representaties te kopiëren wanneer de context het toestaat.
Validatie van Schaling: Het onderzoek bevestigt dat het vermogen tot complexe contextuele redenering (niet-redundante herhaling) een emergente eigenschap is die afhankelijk is van modelgrootte.
Complementariteit: Het werk ondersteunt de visie van Chris Potts (2025) dat fenomenen die symbolisch kunnen worden beschreven, ook nauwkeurig neuraal kunnen worden beschreven zonder verlies van accurate, zij het met een andere representatieve taal.

Significantie en Conclusie

De studie demonstreert dat Large Language Models niet alleen statistische patronen leren, maar ook complexe semantische mechanismen ontwikkelen die vergelijkbaar zijn met menselijke taalverwerking. Waar formele semantiek onderscheid maakt via "mogelijkheidsmodi" in verschillende domeinen, maakt het neurale model onderscheid door contextuele informatie in de token-representatie te integreren en inductiehoofden selectief in te schakelen.

De bevindingen suggereren dat de "neuraal" en "symbolisch" benaderingen van taal niet noodzakelijk in conflict zijn, maar complementair zijn. Het onderzoek biedt een nieuwe weg voor linguïstisch onderzoek door te laten zien hoe abstracte semantische concepten (zoals niet-redundantie) fysiek worden geïmplementeerd in de architectuur van transformer-modellen. Dit heeft implicaties voor zowel het begrijpen van menselijke taalverwerking als voor het verbeteren van de interpretatie en betrouwbaarheid van AI-systemen.