🤖 machine learning

Shortcut Solutions Learned by Transformers Impair Continual Compositional Reasoning

Dit artikel onderzoekt continu compositief redeneren in Transformers met behulp van een uitgebreid LEGO-kader en onthult dat terwijl feedforward BERT-modellen falen door ingesleten shortcut-oplossingen, recurrente ALBERT-modellen superieure prestaties vertonen door algoritmische "for-loop"-strategieën te leren die verder kunnen worden verbeterd door cross-ervaringstraining.

Oorspronkelijke auteurs: William T. Redman, Erik C. Johnson, Brian Robinson

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: William T. Redman, Erik C. Johnson, Brian Robinson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een reeks puzzels op te lossen. De puzzels zijn niet zomaar willekeurig; het zijn variaties op dezelfde onderliggende logica. Bijvoorbeeld: één puzzel vraagt je een driehoek te roteren, de volgende om hem te spiegelen, en de derde om beide te doen. Het doel is om te zien of de robot de logica van de eerste puzzel kan leren en deze direct kan toepassen om de tweede en derde op te lossen, zonder te vergeten hoe de eerste moet worden opgelost.

Dit artikel onderzoekt hoe twee populaire soorten AI-"hersenen" (genaamd BERT en ALBERT) dit soort leren aanpakken. De onderzoekers ontdekten dat hoewel deze AI-modellen ongelooflijk slim zijn, ze vaak "mentale kortingen" nemen die hen slecht maken in het leren van nieuwe dingen later.

Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:

1. De Twee Soorten Leraars

De onderzoekers testten twee modellen:

BERT: Denk hierbij aan een fotograaf. Hij kijkt in één keer naar een heel plaatje en probeert de specifieke details van dat ene beeld te onthouden. Hij is zeer snel en goed in het herkennen van patronen op dat moment, maar hij begrijpt niet echt het proces van hoe het beeld is gemaakt.
ALBERT: Denk hierbij aan een programmeur. In plaats van alleen het plaatje te onthouden, leert hij een reeks instructies (zoals een lus in computercode) die herhaald kan worden om het probleem op te lossen. Hij begrijpt het mechanisme achter de puzzel.

2. De "Korting"-Valstrik

Toen de modellen de eerste puzzel werden geleerd (laten we die "Puzzel A" noemen), presteerden beiden goed. Echter, toen de onderzoekers "Puzzel B" introduceerden (die zeer vergelijkbaar was maar lichtelijk anders), ontstond er een probleem.

BERT (De Fotograaf): Hij leerde een korting. Hij bedacht: "Hé, als ik gewoon naar de aller eerste aanwijzing in de puzzel kijk, kan ik het antwoord raden voor dit specifieke type puzzel." Hij leerde niet de daadwerkelijke logica; hij onthield gewoon een truc die werkte voor Puzzel A.
- Het Resultaat: Geconfronteerd met Puzzel B raakte BERT in de war. Omdat hij vertrouwde op een truc die specifiek was voor Puzzel A, kon hij zich niet aanpassen. Hij vergat ook volledig hoe Puzzel A moest worden opgelost zodra hij begon met het leren van Puzzel B. Dit heet catastrophisch vergeten.
ALBERT (De Programmeur): Hij leerde het algoritme. Hij bedacht: "Oh, ik moet de huidige staat nemen, een regel toepassen en naar de volgende stap gaan." Dit is vergelijkbaar met het leren van een "For Loop" (een computerinstructie die een actie herhaalt).
- Het Resultaat: Omdat ALBERT de methode leerde in plaats van een specifieke truc, kon hij die methode veel sneller toepassen op Puzzel B. Hij toonde voorwaartse overdracht, wat betekent dat hij gebruikmaakte van wat hij in Puzzel A had geleerd om het leren van Puzzel B te versnellen.

3. De Grootte Maakt Uit (Maar Niet Zoals Je Denkt)

De onderzoekers probeerden de modellen groter te maken (meer lagen toevoegen, alsof je meer kamers aan een huis toevoegt).

Voor ALBERT: Groter was beter. Meer "kamers" betekende dat hij zijn algoritme kon verfijnen en nog beter werd in het overdragen van kennis.
Voor BERT: Groter maakte de dingen juist slechter of onstabiel. Omdat BERT vertrouwt op kortingen, gaf het groter maken van het model hem alleen maar meer manieren om vast te komen zitten in een slechte gewoonte. Hij kon zijn leren niet generaliseren naar nieuwe puzzels.

4. De "Geheugenherhaling"-Oplossing

Beide modellen leden aan catastrophisch vergeten – wanneer ze de nieuwe puzzel leerden, wisten ze het geheugen van de oude volledig te wissen.

Om dit op te lossen, gebruikten de onderzoekers een Replay Buffer. Stel je een student voor die, terwijl hij studeert voor een nieuwe wiskundetoets, een paar flashcards van de oude toets op zijn bureau houdt om af en toe even naar te kijken.

Het Resultaat: Dit werkte wonderbaarlijk goed. Door de modellen een klein beetje (slechts 1%) van de oude data te tonen terwijl ze de nieuwe data leerden, stopten ze met vergeten. Zowel BERT als ALBERT konden de oude puzzels onthouden terwijl ze de nieuwe leerden.

5. De Laatste Hindernis: De Puzzels Combineren

De ultieme test van "compositional redeneren" is of de AI regels van verschillende puzzels kan mixen en matchen om een gloednieuwe, complexe puzzel op te lossen die ze allemaal combineert.

Het Probleem: Zelfs met de "Replay Buffer" die hen hielp om te onthouden, hadden beide modellen moeite om de regels te combineren. Ze konden Puzzel A en Puzzel B apart onthouden, maar ze konden ze niet gemakkelijk met elkaar verweven om een hybride puzzel op te lossen.
Het Verschil: De onderzoekers vonden een manier om ALBERT hierin te laten slagen. Als ze ALBERT leerden met een strategie waarbij ze de oude puzzels en nieuwe puzzels langzaam aan elkaar naaiden tijdens het trainen (in plaats van ze gescheiden te houden), kon ALBERT leren ze te combineren.
De Beperking: Deze "naai"-strategie werkte niet voor BERT. Omdat BERT zich tijdens de initiële training al had ingegraven in zijn "korting"-denkwijze, kon hij later niet worden geleerd om de regels te combineren. Hij zat te vast in zijn patronen.

De Conclusie

Het artikel concludeert dat hoewel AI-modellen zoals BERT en ALBERT krachtig zijn, ze een verborgen gebrek hebben: ze neigen "trucs" (kortingen) te leren in plaats van diepe logica.

ALBERT is beter in het leren van diepe logica (de "For Loop"), wat helpt bij het sneller leren van nieuwe, gerelateerde taken.
BERT blijft steken in oppervlakkige trucs, wat hem slecht maakt in het aanpassen aan nieuwe situaties en ervoor zorgt dat hij oude vergeet.

De studie suggereert dat we, om AI echt capabel te maken van continu leren (voor altijd leren zonder te vergeten), moeten overstappen van modellen die vertrouwen op kortingen naar architecturen die zijn opgebouwd om de onderliggende "algoritmen" van de wereld te begrijpen.

Technische Samenvatting: Door Transformers Gelernde Shortcut-oplossingen Belemmeren Voortdurend Compositief Redeneren

Probleemstelling

Het artikel adresseert een kritieke lacune in het begrijpen van hoe Transformer-neurale netwerken Voortdurend Leren (CL) uitvoeren binnen de context van compositief redeneren. Hoewel Transformers succes hebben bewezen in het identificeren van inputspecifieke relaties en het uitvoeren van compositieve taken op statische datasets, blijft hun vermogen om geleerde representaties te benutten voor het verwerven van nieuwe, gerelateerde ervaringen zonder catastrofale vergeetachtigheid onderbestudeerd. Specifiek onderzoeken de auteurs of deze modellen algemene computationele strategieën kunnen ontwikkelen (analoog aan menselijk analogisch redeneren) of dat ze vertrouwen op niet-generaliseerbare "shortcut"-oplossingen die hun vermogen om kennis over te dragen op sequentiële taken belemmeren.

Methodologie

De auteurs breiden het synthetische Learning Equality and Group Operations (LEGO)-kader (Zhang et al., 2022) uit tot een Continual LEGO-instelling.

Taalontwerp: De LEGO-taak omvat het oplossen van een reeks groepsoperaties ( $a_t = a_{t-1} * x_t$ ) binnen een groepsstructuur (specifiek de symmetriegroep $D_3$ ). De taak wordt beschouwd als gerichte graaftraversie.
Continu Opzet: De $D_3$ -groep wordt ontleed in drie distincte "flip-flop-ervaringen", elk gedefinieerd door een specifieke ondergroep (bijv. $\{x_1, x_4\}$ , $\{x_1, x_5\}$ , $\{x_1, x_6\}$ ). Modellen worden sequentieel getraind op deze ervaringen. Cruciaal is dat zodra een model naar een nieuwe ervaring gaat, het geen inputs meer ontvangt van eerdere ervaringen, wat forward transfer (sneller leren van nieuwe taken) en prestatiebehoud (het vermijden van catastrofale vergeetachtigheid) test.
Modellen: De studie vergelijkt BERT (een canoniek feedforward-Transformer) en ALBERT (een recurrente variant met gewichtsdeling over lagen).
Architecturale Analyse: De auteurs variëren systematisch modelhyperparameters (aantal verborgen lagen en attention-koppen) om minimale architecturen te identificeren die de taak kunnen oplossen. Ze analyseren self-attention-patronen om de mechanistische aard van de geleerde oplossingen te bepalen (bijv. algoritmische lussen versus shortcuts).
Interventies: De studie evalueert de effectiviteit van replay-buffers (opslaan van 1% van eerdere data) en incrementele training (samenvoegen van data van eerdere en huidige ervaringen) om vergeetachtigheid te mitigeren en compositie over ervaringen mogelijk te maken.

Belangrijkste Bijdragen

Continual LEGO-kader: De auteurs introduceren een gecontroleerd, synthetisch paradigma voor het systematisch onderzoeken van CL-capaciteiten in Transformers, met name gericht op compositief redeneren.
Architecturale Divergentie: De studie onthult dat architecturale keuzes (feedforward versus recurrent/gewichtsgedeeld) generalisatie en forward transfer verschillend beïnvloeden. BERT-modellen vertonen inconsistente prestaties naarmate de grootte toeneemt, terwijl ALBERT-modellen een duidelijkere relatie tonen tussen capaciteit en prestaties.
Mechanistische Verklaring van Falen/Succes: Door analyse van attention-patronen identificeren de auteurs dat ALBERT een generaliseerbare, algoritmische For-loop-achtige oplossing leert, terwijl BERT shortcut-oplossingen leert die niet generaliseren naar langere sequenties of nieuwe ervaringen.
Grenzen van Replay: Het artikel toont aan dat replay-buffers weliswaar catastrofale vergeetachtigheid kunnen mitigeren, maar ontoereikend zijn voor het mogelijk maken van compositief redeneren over ervaringen in BERT-modellen. Alleen ALBERT-modellen profiteren van training op incrementeel samengevoegde data om ware compositie over ervaringen te bereiken.

Resultaten

1. Prestaties op Continual LEGO

Forward Transfer: ALBERT-modellen vertonen sterke forward transfer, waarbij ze hoge nauwkeurigheid bereiken op nieuwe flip-flop-ervaringen met minder trainingsetappels. BERT-modellen tonen zwakke forward transfer, vereisen vaak meer etappes om asymptotische nauwkeurigheid te bereiken en falen in het generaliseren naar sequentielengtes die langer zijn dan de trainingsset.
Catastrofaal Vergeten: Zowel BERT- als ALBERT-modellen vertonen bijna volledig catastrofaal vergeten (prestaties dalen tot ~0%) op eerdere ervaringen wanneer ze worden getraind op nieuwe, zonder interventie.
Generalisatie: ALBERT-modellen generaliseren goed naar langere sequenties (bijv. $a_5, a_6$ ) wanneer ze zijn getraind op kortere sequenties ( $a_4$ ). BERT-modellen falen over het algemeen om te generaliseren buiten de trainingssequentielengte.

2. Mechanistische Analyse (Attention-patronen)

ALBERT (Algemene Oplossing): Attention-patronen in minimale ALBERT-modellen tonen een "For-loop-achtig" kenmerk. Tokens in een gegeven clausule attenderen voornamelijk op tokens in de voorafgaande clausule, waarbij ze de staat systematisch updaten. Dit patroon wordt gehandhaafd en versterkt over ervaringen heen.
BERT (Shortcut-oplossing): BERT-modellen vertonen een shortcut-kenmerk waarbij self-attention een enkele gedeelde input-token in de eerste clausule isoleert voor alle output-tokens. Deze oplossing is vroeg in de training verankerd en blijft bestaan, zelfs wanneer nieuwe ervaringen worden geïntroduceerd, waardoor het model wordt verhinderd de noodzakelijke iteratieve compositie te leren.

3. Impact van Architecturale Schaal

ALBERT: Prestaties (taaknauwkeurigheid, generalisatie, forward transfer) schalen positief met het aantal verborgen lagen (minimaal 4 lagen vereist voor succes).
BERT: Het vergroten van de modelgrootte (bijv. tot 12 lagen) garandeert geen betere prestaties en kan leiden tot trainingsinstabiliteit. Er bestaat geen duidelijke relatie tussen modelgrootte en forward transfer of generalisatie voor BERT.

4. Mitigatiestrategieën

Replay-buffers: Het opslaan van slechts 1% van eerdere data mitigeert succesvol catastrofale vergeetachtigheid voor beide modellen terwijl forward transfer behouden blijft. Echter, naïeve replay (het opslaan van afzonderlijke voorbeelden) faalt in het mogelijk maken van compositie over ervaringen.
Incrementele/Gecombineerde Training: Training op data die eerdere en huidige ervaringen aan elkaar naait ("incrementele flip-flop") redt de prestaties voor ALBERT, waardoor het de prestaties van een model dat op de volledige taak is getraind benadert. Deze strategie faalt voor BERT, waarbij de shortcut-oplossing tijdens de initiële training verankerd raakt en niet kan worden vergeten of gecorrigeerd door gecombineerde data.

Betekenis en Claims

Het artikel claimt dat de inductieve bias van recurrente Transformers (specifiek de gewichtsdeling van ALBERT) beter geschikt is voor voortdurend compositief redeneren dan standaard feedforward-architecturen (BERT).

Shortcut-oplossingen als Belemmering: De auteurs betogen dat de "shortcut-oplossingen" die door BERT worden geleerd, niet slechts een prestatieprobleem zijn, maar een fundamentele barrière vormen voor voortdurend leren in compositieve taken. Deze shortcuts worden verankerd en verhinderen dat het model de algemene algoritmische strategieën verworft die nodig zijn voor forward transfer en compositie over ervaringen.
Recurrent Voordeel: De "For-loop-achtige" berekening die door ALBERT wordt geleerd, biedt een mechanisme voor generalisatie en forward transfer, wat suggereert dat recurrente structuren (of gewichtsdelingsmechanismen) cruciaal kunnen zijn voor het ontwikkelen van flexibele computationele strategieën in neurale netwerken.
Grenzen van Trainingsstrategieën: De studie benadrukt dat hoewel eenvoudige replay vergeten kan oplossen, het het probleem van compositie over ervaringen niet oplost. Ware compositief redeneren in CL vereist mogelijk trainingsstrategieën die data expliciet over ervaringen heen combineren, een bevinding die suggereert dat generatieve replay-methoden een vruchtbare richting kunnen zijn voor toekomstig onderzoek, met name voor modellen zoals ALBERT.

De auteurs concluderen dat hoewel Transformers kunnen slagen op complexe statische taken, hun vermogen om voortdurend te leren en te compositen over nieuwe ervaringen ernstig wordt belemmerd door de specifieke computationele strategieën (shortcuts versus algoritmen) waarop ze convergeren, die sterk worden beïnvloed door architecturale keuzes.