💻 computer science

To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning

Deze paper toont aan dat representatie-inzakking van onbekende tokens de generalisatie van transformers in symbolisch redeneren beperkt, en presenteert een gecombineerde aanpak met architecturale aanpassingen en het resetten van embeddings om dit probleem op te lossen.

Oorspronkelijke auteurs: Nevena Lazić, Liam Fowl, András György, Csaba Szepesvári

Gepubliceerd 2026-04-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nevena Lazić, Liam Fowl, András György, Csaba Szepesvári

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Onzichtbare Muren van AI: Waarom Slimme Robots Vergeten Hoe Ze Nieuwe Namen Moeten Onthouden

Stel je voor dat je een zeer slimme, maar nog jonge robot leert logeren. Je geeft hem een reeks regels: "Als het regent, neem dan een paraplu." En je geeft hem een feit: "Het regent." De robot moet dan concluderen: "Neem een paraplu." Dit noemen we symbolisch redeneren. Het klinkt simpel, maar voor moderne AI-modellen (zoals de grote taalmodellen die we vandaag gebruiken) is dit een enorme uitdaging, vooral als je nieuwe namen of symbolen gebruikt die de robot nog nooit eerder heeft gezien.

Deze paper onderzoekt precies waarom deze robots falen als ze met "nieuwe" woorden te maken krijgen, en hoe we dit kunnen oplossen. Hier is de uitleg in gewone taal, met een paar handige metaforen.

1. Het Probleem: De "Vergeten" Robot

Stel je voor dat je de robot leert met bekende namen: "Als A dan B". Hij wordt hier heel goed in. Maar als je hem later vraagt: "Als X dan Y" (waarbij X en Y woorden zijn die hij nooit eerder heeft gehoord), dan faalt hij.

Vroeger dachten onderzoekers dat dit kwam omdat de robot gewoon niet goed kon "kopiëren" (het nieuwe woord uit de zin overnemen). Maar deze paper ontdekt een dieper, verborgen probleem: De robot verwart de nieuwe woorden met elkaar.

2. De Oorzaak: De "Kleefkracht" van de Robot

De auteurs ontdekten iets fascinerends: tijdens het leren gaan de interne "herinneringen" van de robot voor alle nieuwe, onbekende woorden steeds meer op elkaar lijken.

De Metafoor: Stel je voor dat de robot een enorme kast met duizenden vakjes heeft. Elk vakje staat voor een woord. Voor bekende woorden (zoals "A" of "B") heeft hij specifieke, unieke vakjes met heldere labels.
Maar voor de nieuwe, onbekende woorden (zoals "X", "Y", "Z") gebeurt er iets raars: door de manier waarop de robot leert, beginnen al die nieuwe vakjes te smelten. Ze worden zo op elkaar gelijkend dat ze bijna één groot, grijs, ononderscheidbaar blokje worden.
Als de robot later moet beslissen: "Moet ik nu X doen of Y doen?", kan hij het verschil niet meer zien. Voor hem zijn X en Y hetzelfde. Het is alsof je probeert een sleutel te vinden in een tas waar al je sleutels aan elkaar zijn gelijmd.

Dit fenomeen noemen ze "Collapse" (instorting). De robot "vergeet" dat deze woorden verschillend zijn, omdat ze in zijn hoofd allemaal op dezelfde plek landen.

3. De Oplossing: Hoe we de robot helpen

De auteurs hebben drie slimme trucs bedacht om dit probleem op te lossen:

De "Kopieer-Klep" (Copy Attention):
Normaal gesproken probeert de robot te "denken" over een woord voordat hij het uitspreekt. Maar bij nieuwe woorden is dat lastig. De auteurs voegen een speciale "korte weg" toe aan de robot. In plaats van te denken, kan de robot nu direct een woord kopiëren uit de zin die hij net las.
- Metafoor: Het is alsof je de robot een magische pen geeft. Als hij een nieuw woord ziet, hoeft hij het niet uit zijn hoofd te halen (wat hij vergeten is), maar kan hij het gewoon direct overtrekken.
De "Schoonmaakbeurt" (Active Forgetting):
Omdat de nieuwe vakjes in de kast steeds gaan plakken, stoppen we de robot af en toe om de kast even te leegmaken en de nieuwe vakjes opnieuw te vullen met frisse, verschillende labels.
- Metafoor: Het is alsof je een schoolbord wist dat te vol is met krabbels. Door het bord regelmatig schoon te maken, blijven de nieuwe namen die je erop schrijft duidelijk en onderscheidbaar.
Veel Variatie in Oefeningen:
Je moet de robot oefenen met duizenden verschillende namen, niet alleen met een paar. Hoe meer variatie, hoe beter hij leert dat elk nieuw woord een eigen plek verdient.

4. Wat betekent dit voor de echte wereld?

De auteurs hebben dit niet alleen op kleine proefrobots getest, maar ook gekeken naar echte, grote AI-modellen (zoals de Gemma 3 serie van Google).

Ze ontdekten dat zelfs deze super-slimme modellen last hebben van dit probleem. In deze modellen zijn er 99 speciale "reserve-woorden" die normaal gesproken niet gebruikt worden (voor later gebruik). Maar de onderzoekers zagen dat de interne herinneringen aan deze reserve-woorden al volledig aan elkaar gelijmd waren (ze waren "gecollapsed").

De les voor de toekomst:
Als je zo'n groot model wilt gebruiken voor nieuwe taken (bijvoorbeeld om nieuwe medische termen of wiskundige symbolen te leren), moet je oppassen. Als je de robot niet helpt met de "kopieer-klep" of de "schoonmaakbeurt", zal hij het nieuwe materiaal veel langzamer leren, of helemaal niet begrijpen, omdat hij de nieuwe termen niet van elkaar kan onderscheiden.

Samenvattend

Deze paper vertelt ons dat AI-modellen niet alleen "dom" zijn als ze nieuwe dingen zien; ze hebben een specifieke zwakheid: ze laten nieuwe woorden in hun hoofd samensmelten tot één onduidelijke brij. Door slimme aanpassingen (zoals het direct kopiëren van woorden en het regelmatig resetten van de herinneringen), kunnen we deze robots leren om echt te redeneren, zelfs met woorden die ze nog nooit hebben gehoord.

Probleemstelling

Het paper onderzoekt het vermogen van decoder-only transformer-modellen om abstract symbolisch redeneren uit te voeren, specifiek binnen het domein van propositielogica. Hoewel Large Language Models (LLMs) succesvol zijn in veel taken, blijken ze kwetsbaar te zijn bij het generaliseren naar problemen waarbij variabelen worden vervangen door onbekende tokens (tokens die niet tijdens het trainingstijdperk zijn gezien).

Eerdere studies toonden aan dat modellen falen bij het kopiëren of genereren van deze onbekende tokens. De auteurs identificeren een cruciale, maar tot nu toe over het hoofd geziene oorzaak voor dit falen: de ineenstorting (collapse) van de (un)embeddings van onbekende tokens. Tijdens het trainen convergeren de vectorrepresentaties van deze onbekende tokens naar bijna hetzelfde punt in de vectorruimte. Hierdoor kan het model verschillende onbekende variabelen niet van elkaar onderscheiden, wat essentieel is voor correct redeneren.

Methodologie

De auteurs combineren theoretische analyse met uitgebreide empirische experimenten:

Theoretische Analyse:
- De auteurs bewijzen wiskundig dat bij het trainen van een softmax-classificator (zoals in transformers) met L2-regularisatie (weight decay) en LayerNorm, de gewichten (unembeddings) voor labels die niet in de dataset voorkomen, onvermijdelijk naar elkaar toe zullen convergeren (krimp).
- Dit gebeurt omdat de gradiëntupdate voor onbekende klassen voornamelijk wordt gedreven door de regularisatieterm, wat de afstand tussen hun vectorrepresentaties verkleint.
Architecturale Aanpassingen:
- Copy Attention: Om het probleem van het kopiëren van tokens op te lossen, introduceren ze een "copy attention"-mechanisme. Dit is een extra attentie-head die direct de input-embeddings ( $X W_E$ ) gebruikt als waarden (values), in plaats van de ge-transformeerde features. Dit faciliteert het kopiëren van zowel bekende als onbekende tokens.
- Embedding-beheer: Ze testen verschillende strategieën om de ineenstorting te voorkomen:
  - Frozen Embeddings: Het vastzetten van de embedding-matrix tijdens het trainen (zodat tokens orthogonaal blijven).
  - Actief Vergeten (Active Forgetting): Het periodiek resetten van de embeddings tijdens het trainen.
  - Temporair Actief Vergeten: Resetten alleen in de vroege fasen van het trainen.
Experimentele Opzet:
- Synthetische Data: Het trainen van kleine decoder-only modellen (60-75M parameters) op synthetische propositielogica-problemen (Horn-clausules) met Chain-of-Thought (CoT) redenering.
- Variabelen: Ze variëren de grootte van het vocabulaire (diversiteit) en testen op drie scenario's: alle tokens gezien, alleen de query onbekend, en alle predikaten onbekend.
- Grote Modellen: Analyse van de open-weight Gemma 3-modellen, die 99 bewust ongebruikte tokens bevatten voor downstream-taken.

Belangrijkste Bijdragen

Identificatie van Embedding Collapse: Het paper levert het eerste theoretische en empirische bewijs dat de ineenstorting van onbekende (un)embeddings een fundamenteel obstakel is voor symbolisch redeneren, en niet slechts een bijproduct van slechte data-diversiteit.
Mechanistische Uitleg: Het verklaart waarom eerdere methoden zoals "Actief Vergeten" werken (door de ineenstorting periodiek te onderbreken) en waarom architecturale wijzigingen alleen (zoals voorgesteld door Boix-Adserà et al., 2024) onvoldoende zijn als er meerdere onbekende variabelen zijn.
Geïntegreerde Oplossing: De auteurs tonen aan dat een combinatie van Copy Attention, hoge data-diversiteit en gefreezeerde of periodiek geresette embeddings leidt tot robuuste generalisatie naar onbekende tokens.
Implicaties voor Bestaande Modellen: Ze tonen aan dat dit fenomeen ook optreedt in grote, voorgeöorde modellen (Gemma 3), wat gevolgen heeft voor het fine-tunen met ongebruikte tokens.

Resultaten

Synthetische Experimenten:
- Standaard transformers falen volledig bij het redeneren met onbekende tokens; ze negeren deze of vervangen ze door bekende tokens.
- Met Copy Attention en voldoende data-diversiteit verbeteren de modellen, maar falen ze nog steeds als alle symbolen onbekend zijn vanwege de embedding-collaps.
- Frozen embeddings of periodiek resetten (Actief Vergeten) in combinatie met Copy Attention lost het probleem volledig op. De modellen kunnen dan correct redeneren met volledig nieuwe symbolen.
- Temporair resetten werkt alleen goed in combinatie met Copy Attention; zonder Copy Attention stort de prestatie in zodra het resetten stopt.
Gemma 3 Analyse:
- De 99 ongebruikte tokens in Gemma 3 vertonen een hoge cosine-sequentie (gemiddeld 0.78 voor de 1B-versie), wat bevestigt dat ze ineenstorten tot bijna identieke vectoren.
- Bij het fine-tunen van Gemma 3 1B op logische problemen met deze ongebruikte tokens is het leerproces veel trager (5000 stappen voor 90% nauwkeurigheid) vergeleken met het gebruik van alledaagse woorden of letters (500 stappen). Dit suggereert dat de gecorreleerde embeddings een slechte initialisatie vormen voor downstream-taken.

Significantie

Dit paper biedt een diepgaand inzicht in de beperkingen van transformers bij abstract redeneren. Het laat zien dat LLM's vaak vertrouwen op oppervlakkige patronen in de embeddings in plaats van structurele logica. De bevindingen hebben directe implicaties voor:

Architectuurontwerp: Het benadrukt de noodzaak van mechanismen die het kopiëren van tokens faciliteren en de stabiliteit van embeddings waarborgen.
Trainingstrategieën: Het onderstreept het belang van data-diversiteit en specifieke regularisatiestrategieën (zoals actief vergeten) voor taken die generalisatie vereisen.
Toekomstige Onderzoek: Het biedt een mechanistische verklaring voor het falen van in-context learning bij nieuwe symbolen en opent de weg voor betere methoden om ongebruikte tokens in grote modellen effectief te benutten voor fine-tuning.

Kortom, het paper stelt dat het vermogen van AI om te redeneren met "onzichtbare" symbolen niet alleen afhangt van de complexiteit van het model, maar fundamenteel wordt beperkt door hoe de model-embeddings zich gedragen tijdens het trainingsproces.