🤖 machine learning

Learning through Internalization

Dit artikel onderzoekt hoe neurale netwerken, in het bijzonder transformers, expliciete computationele procedures zoals chain-of-thought internaliseren in hun gewichten om het leren van complexe taken zoals parity en semiautomata-simulatie te faciliteren, terwijl het ook een trade-off onthult waarbij dit proces leidt tot een verslechterde out-of-distribution prestatie.

Oorspronkelijke auteurs: Nikolaos Tsilivis, Nirmit Joshi, Marko Medvedev, Julia Kempe, Nati Srebro

Gepubliceerd 2026-06-23

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nikolaos Tsilivis, Nirmit Joshi, Marko Medvedev, Julia Kempe, Nati Srebro

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Van "Stap-voor-Stap" naar "Instinct"

Stel je voor dat je leert autorijden. In het begin vertelt een leraar je precies wat je moet doen bij elke stap: "Trap de koppeling in, schakel naar de eerste versnelling, laat de koppeling langzaam op terwijl je gas geeft." Je moet hard nadenken over elke tussenliggende actie. Dit is traag, maar het helpt je om de complexe taak te leren.

Uiteindelijk, na veel oefening, hoef je niet meer na te denken over de stappen. Je "weet" gewoon hoe je moet rijden. Je hebt het proces geïnternaliseerd. De complexe reeks handelingen is gecomprimeerd tot een enkel, automatisch instinct.

Dit paper onderzoekt hoe Kunstmatige Intelligentie (specifiek een type AI genaamd een Transformer) hetzelfde doet. Het vraagt zich af: Kunnen we een AI leren om moeilijke problemen op te lossen door hem eerst alle werk te laten uitschrijven (zoals een leerling die zijn huiswerk voor wiskunde laat zien), en hem vervolgens te trainen om de stappen te "vergeten" en direct het antwoord te geven?

Het paper concludeert dat dit inderdaad werkt en kan helpen een AI dingen te leren die hij anders niet zou kunnen leren. Er is echter een addertje onder het gras: wanneer de AI "automatisch" wordt, wordt hij soms slechter in het omgaan met nieuwe, vreemde situaties.

1. De Twee Manieren van Leren

De onderzoekers vergelijken twee manieren waarop een AI een taak kan leren:

Direct Leren (De "Moeilijke Weg"): Je laat de AI een probleem zien en het uiteindelijke antwoord, en vraagt hem direct de verbinding te vinden. Voor sommige zeer ingewikkelde logische puzzels (zoals het berekenen van een specifiek type wiskundig probleem genaamd "parity") faalt de AI vaak. Het is alsof je een beginner vraagt om te gaan autorijden zonder hem ooit de stappen te hebben geleerd.
Leren door Internalisatie (De "Slimme Weg"):
1. Fase 1 (De Leraar): Je leert de AI het probleem op te lossen door hem te dwingen elke stap uit te schrijven (dit wordt "Chain-of-Thought" of CoT genoemd). Hij genereert een lange lijst met tussenliggende antwoorden voordat hij bij het eindantwoord komt. Omdat hij deze hints heeft, leert hij de taak gemakkelijk.
2. Fase 2 (De Internalisatie): Je begint langzaam de hints te verwijderen. Eerst verwijder je de laatste stap, dan de op één na laatste stap, enzovoort. De AI wordt gedwongen zijn brein (zijn "weights") te herbedraden om te ontdekken hoe hij het antwoord krijgt zonder de hulpmiddelen.
3. Het Resultaat: Uiteindelijk kan de AI het probleem in één enkele stap oplossen, zonder iets op te schrijven. Hij heeft de logica "geïnternaliseerd".

De bewering van het Paper: Dit tweestaps-proces stelt de AI in staat om moeilijke taken te leren die hij zou falen te leren als je hem direct vanaf het begin zou proberen te onderwijzen.

2. De "Keerzijde": Snelheid versus Veiligheid

Het paper ontdekt een verrassend nadeel aan deze "automatische" modus.

De Analogie: Denk aan een student die een specifieke route naar school uit het hoofd kent. Als hij die exacte route elke dag oefent, wordt hij heel snel en efficiënt. Maar als je hem vraagt om naar een nieuwe buurt te rijden die hij nog nooit heeft gezien, kan hij verdwalen omdat hij alleen het specifieke pad heeft geleerd, en niet de algemene regels van het rijden.
De Bevinding: Wanneer de AI een taak internaliseert (snel en automatisch wordt), presteert hij vaak slechter op Out-of-Distribution (OOD) data. Dit betekent dat als je hem een probleem geeft dat er net iets anders uitziet dan waar hij op geoefend heeft, hij meer fouten maakt dan wanneer hij nog zijn stappen zou uitschrijven.
Waarom? Het paper suggereert dat wanneer de AI leert om snel te zijn, hij misschien "shortcuts" of "trucjes" vindt die werken voor de oefendata, maar niet robuust genoeg zijn voor nieuwe situaties.

3. Wat maakt een taak makkelijk of moeilijk te internaliseren?

De onderzoekers testten dit op verschillende soorten logische puzzels (genaamd "semiautomata"). Ze ontdekten dat niet alle taken even gemakkelijk zijn om in een instinct om te zetten.

Breedte versus Diepte: Ze ontdekten dat het de AI helpen om de taken beter te internaliseren door de AI "breder" te maken (meer parallel verwerkingsvermogen te geven) dan door hem "dieper" te maken (meer denkstappen/lagen toe te voegen). Het is alsof een bredere snelweg beter is voor het verkeer dan het toevoegen van meer tolpoortjes.
Priemgetallen zijn lastig: Ze ontdekten dat taken die te maken hebben met "priemgetallen" (zoals tellen in groepen van 7 of 13) veel moeilijker voor de AI waren om te internaliseren dan taken met getallen die veel delers hebben (zoals 12 of 16).
- De Metafoor: Stel je voor dat je een koffer inpakt. Als je items hebt die perfect in elkaar passen (zoals een 12-delige set), is het makkelijk om ze efficiënt in te pakken. Als je items hebt die niet gelijkmatig verdelen (zoals een priemgetal), is het rommelig en moeilijk om dat compact in een kleine ruimte te persen. De AI worstelt met het "comprimeren" van de logica van priemgetal-taken in zijn interne geheugen.

4. Het Wiskundige Bewijs: Parity

Om te bewijzen dat dit niet alleen geluk is, hebben de auteurs een rigoureus wiskundig bewijs geleverd met een specifieke wiskundige opdracht genaamd "Sparse Parity".

Het Probleem: Stel je hebt een lange lijst met 0'en en 1'en, en je moet uitzoeken of het totaal aantal 1'en oneven of even is. Maar je weet niet welke getallen in de lijst belangrijk zijn; dat moet je ook nog uitzoeken. Dit staat bekend als extreem moeilijk voor computers om direct te leren.
Het Bewijs: Ze lieten zien dat als ze de AI eerst leerden om het antwoord stap voor stap uit te schrijven (de parity berekenen van het eerste getal, dan van de eerste twee, dan van de eerste drie, enzovoor), en daarna langzaam die stappen verwijderden, de AI wiskundig gezien kon garanderen dat hij de oplossing zou leren.
De Kernboodschap: Dit bewijst dat "leren door de internalisatie" een geldige strategie is om problemen op te lossen die theoretisch onmogelijk zijn om direct te leren.

5. Een Nieuwe Shortcut: De "Mixture" Methode

Ten slotte suggereert het paper een manier om het lange, trage trainingsproces over te slaan.

De Oude Manier: Je moet de AI trainen met volledige stappen, dan een stap verwijderen, opnieuw trainen, weer een stap verwijderen, enzovoort. Dit is als een strikt curriculum.
Het Nieuwe Idee (Mixture): In plaats van een strikte volgorde, gooi je gewoon alle verschillende versies van het probleem tegelijkertijd naar de AI. Sommige voorbeelden hebben volledige stappen, sommige hebben halve stappen, sommige hebben geen stappen.
Het Resultaat: Het paper laat zien dat trainen op deze "gemengde zak" met data net zo goed werkt als de strikte stap-voor-stap verwijdering. Het is alsof je een student een oefentoets geeft met een mix van makkelijke, gemiddelde en moeilijke vragen, in plaats van te beginnen met makkelijk en langzaam steeds moeilijker te worden. Dit maakt de AI robuust genoeg om zowel direct als met stappen te antwoorden, afhankelijk van wat je hem vraagt.

Samenvatting

Internalisatie is het aanleren aan een AI om langzaam te denken (met stappen), zodat hij uiteindelijk snel kan denken (instinctief).
Het werkt: Het stelt AI in staat om moeilijke logische puzzels te leren die hij anders niet zou kunnen leren.
De Kosten: Wanneer een AI "snel" wordt, wordt hij soms "broos", wat betekent dat hij vaker faalt bij nieuwe, vreemde voorbeelden.
Het Geheim: De AI "breder" maken helpt meer dan hem "dieper" maken, en het mengen van verschillende soorten trainingsdata is een eenvoudige, effectieve manier om dit leren te bereiken.

Technische Samenvatting: Leren door Internalisatie

Probleemstelling

Het artikel onderzoekt het fenomeen van internalisatie in op neurale netwerken gebaseerde systemen, waarbij specifiek wordt gefocust op hoe deze systemen expliciete computationele procedures (zoals Chain-of-Thought, of CoT) absorberen in hun gewichten om taken efficiënter uit te voeren. Hoewel neurale netwerken vaak profiteren van stap-voor-stap supervisie om complexe taken te leren (bijv. het simuleren van semiautomaten of het berekenen van pariteiten), is het direct leren van deze taken zonder dergelijke ondersteuning vaak computationeel moeilijk of onmogelijk voor standaard architecturen.

Het kernprobleem dat wordt geadresseerd is tweeledig:

Mechanisme: Hoe gaan transformers over van het genereren van expliciete tussenliggende redeneerstappen (CoT) naar het direct berekenen van de uiteindelijke output in minder stappen (ideaal gezien één forward pass) terwijl de nauwkeurigheid behouden blijft?
Generalisatie-trade-off: Behoudt dit internalisatieproces de robuustheid van het oorspronkelijke redeneren, of leidt het tot "shortcut"-oplossingen die de prestaties buiten de distributie (out-of-distribution, OOD) verslechteren?
Theoretische Hardheid: Kan internalisatie dienen als een levensvatbare strategie om bekende computationele ondergrenzen te omzeilen voor het leren van bepaalde harde functies (zoals pariteiten) die moeilijk direct via end-to-end training te leren zijn?

Methodologie

De auteurs maken gebruik van een combinatie van empirische studies op autoregressieve transformers en een rigoureuze theoretische analyse van vereenvoudigde transformer-architecturen.

1. Empirisch Framework: Semiautomata Simulatie

De auteurs bestuderen de simulatie van semiautomaten (specifiek modulaire teller-semiautomaten $C_n$ en de permutatiegroep $S_3$ ) over $T$ tijdstappen. Ze vergelijken drie trainingsregimes:

End-to-End (E2E): Training uitsluitend op de eindtoestand.
Chain-of-Thought (CoT): Training waarbij alle tussenliggende toestanden expliciet worden meegegeven.
Internalisatie via Curriculum: Een tweestaps-proces waarbij het model eerst wordt getraind met volledige CoT-supervisie, gevolgd door een curriculum dat stapsgewijs tussenliggende tokens verwijdert (door ze van links, rechts of inductief te amputeren) om het model te dwingen de computationele logica te internaliseren.

Ze analyseren de impact van architecturale keuzes (diepte versus breedte) en de specifieke eigenschappen van de semiautomaten (bijv. de orde van de groep) op het succes van de internalisatie.

2. Theoretisch Framework: Sparse Parity

Om bewijsbaar garanties te bieden, analyseren de auteurs een vereenvoudigde éénlaagse transformer met lineaire aandacht en een vaste niet-lineaire MLP. Ze bestudelen de taak van het leren van een verborgen pariteitsfunctie over een onbekende support-set.

Curriculum: Het model wordt getraind op een sequentie van inputs waarbij CoT-tokens (partiële pariteiten) progressief van links worden verwijderd.
Algoritme: Ze definiëren een specifiek trainingsalgoritme (Algoritme 2) bestaande uit gradiëntafdaling met specifieke initialisatie en afrondingsstappen om aan te tonen dat het model eerst de expliciete CoT kan leren en vervolgens de computationele logica kan internaliseren om de pariteit direct te outputten.

3. Verbinding met Positive Distribution Shift (PDS)

Het artikel plaatst internalisatie binnen het Positive Distribution Shift (PDS) framework (Medvedev et al., 2026). Ze stellen dat het leren van een "traag" systeem (met CoT) op een distributie die hints bevat, en het vervolgens internaliseren hiervan, een PDS vormt. Dit stelt het model in staat om een "harde" doel-distributie te leren door eerst een "makkelijker" verschoven distributie te leren. Ze onderzoeken verder of een sequentieel curriculum vervangen kan worden door een enkele mengdistributie die voorbeelden bevat van variërende CoT-lengtes.

Belangrijkste Bijdragen

1. Empirische Bevindingen over Semiautomata

Breedte versus Diepte: Succesvolle internalisatie correleert sterker met de breedte van het model dan met de diepte. Bredere, ondiepere architecturen (bijv. diepte 4) presteren beter dan diepere architecturen (bijv. diepte 25) bij een gelijk parameterbudget. Dit suggereert dat internalisatie "horizontaal" plaatsvindt over de breedte van het model in plaats van "verticaal" over de lagen.
Moeilijkheidsgraad van Priemgetal-orde: Semiautomaten met priemgetal-ordes (bijv. $C_{13}, C_{17}$ ) zijn aanzienlijk moeilijker te internaliseren dan die met samengestelde orden (bijv. $C_{14}, C_{15}$ ). De auteurs vermoeden dat dit verband houdt met het vermogen van transformers om compacte representaties te vormen van teller-semiautomaten waarvan de orden kleine priemmachtfactoren hebben (Theorem 1).
De OOD-trade-off: Internalisatie leidt vaak tot een verslechtering van de Out-of-Distribution (OOD) prestaties. Hoewel CoT-getrainde modellen goed generaliseren naar vertekende input-distributies, neigen geïnternaliseerde modellen naar het leren van "shortcut"-oplossingen die falen onder OOD-condities (Figuur 1, rechts).
Curriculum-richting: Een links-curriculum (het verwijderen van tokens vanaf het begin) is over het algemeen effectiever dan een rechts-curriculum voor internalisatie, waarschijnlijk vanwege de stabiliteit van positionele embeddings in de transformer.

2. Theoretische Bewijzen voor Parity

Bewijsbaar Leren door Internalisatie: De auteurs leveren de eerste bewijsbare analyse die aantoont dat een vereenvoudigde éénlaagse transformer een verborgen pariteit kan leren met expliciete CoT-supervisie en vervolgens de computationele logica bewijsbaar kan internaliseren wanneer de CoT-tokens worden verwijderd (Theorem 2).
Computationele Hardheid: Ze demonstreren dat het direct leren van de pariteitsrepresentatie vanuit data zonder CoT-internalisatie computationeel hard is (in het Statistical Query model), terwijl het pad via internalisatie wel berekenbaar is.

3. Mengdistributies als Alternatief

Het artikel toont aan dat voor zowel MLP's als autoregressieve transformers, het sequentiële curriculum voor internalisatie vervangen kan worden door training op een enkele mengdistributie die voorbeelden bevat van verschillende CoT-lengtes (inclusclusief lengte-hints). Deze mengmethode bereikt een vergelijkbaar succes in het leren van harde taken en kan bovendien een betere OOD-robuustheid herstellen in het regime van volledige CoT vergeleken met curriculum-getrainde modellen.

Resultaten

Semiautomata: Transformers getraind met CoT bereiken bijna perfecte In-Distribution (ID) en OOD nauwkeurigheid. Echter, na internalisatie via een links-curriculum blijft de ID-nauwkeurigheid hoog, maar daalt de OOD-nauwkeurigheid aanzienlijk (vaak tot het niveau van willekeurige gokken voor automata met een priemgetal-orde).
Parity Taak: Het theoretische model leert de pariteitsfunctie succesvol. Na het curriculum geeft het model de correcte pariteit uit in een enkele forward pass, nadat het de meerstaps-logica heeft geïnternaliseerd.
Meng-leren (Mixture Learning): Experimenten laten zien dat training op een mix van CoT-lengtes (met lengte-hints) een enkel model in staat stelt om zowel direct te antwoorden als volledige CoT te genereren, waarbij het vaak de OOD-robuustheid van curriculum-getrainde modellen overtreft wanneer volledige CoT is toegestaan.

Betekenis en Claims

Het artikel claimt dat leren door internalisatie een krachtige strategie is die neurale netwerken in staat stelt taken op te lossen die anders computationeel onbereikbaar zouden zijn voor direct leren. Door eerst een "traag" systeem met expliciet redeneren te leren en dit vervolgens te comprimeren in gewichten, kunnen modellen de barrières van computationele hardheid omzeilen (zoals gezien bij de pariteitstaak).

De auteurs benadrukken echter ook een cruciale kanttekening: internalisatie is geen wondermiddel. Het proces leidt vaak tot een verlies van robuustheid, waarbij het model breekbare shortcuts leert die falen onder distributieverschuivingen. Dit suggereert dat hoewel internalisatie de inferentiekosten verlaagt en het leren mogelijk maakt, het de generalisatiecapaciteiten die expliciet redeneren biedt, kan ondermijnen.

Ten slotte verbindt het werk deze empirische observaties aan het Positive Distribution Shift framework, en stelt dat het succes van curriculum-gebaseerd leren en internalisatie begrepen kan worden als het benutten van een sequentie van makkelijkere distributies om een harde doel-distributie te leren. De bevinding dat een enkele mengdistributie complexe curricula kan vervangen, biedt een praktischer en robuuster pad voor het trainen van modellen op harde redeneertaken.