💬 NLP

Logic Before Language: Pre-pretraining on Formal Derivations Fosters Skill Acquisition and Compressibility

Dit artikel introduceert Logic-PPT, een pre-pretraining strategie die gebruikmaakt van formele afleidingen die de acquisitie van natuurlijke taalvaardigheden versnelt en een laag-rangige, spectraal geconcentreerde representatieruimte induceert, wat superieure modelcompressibiliteit mogelijk maakt vergeleken met standaard initialisatie.

Oorspronkelijke auteurs: Jo-Ku Cheng, Nikolaos Aletras, Marco Valentino

Gepubliceerd 2026-08-05

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jo-Ku Cheng, Nikolaos Aletras, Marco Valentino

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren menselijke taal te spreken. Je zou simpelweg een berg boeken, nieuwsartikelen en chatlogs in zijn brein kunnen dumpen en hopen dat hij de regels van grammatica en logica zelf ontdekt. Dit is hoe de meeste moderne AI vandaag de dag werkt, maar het is een beetje alsof je probeert te leren schaken door alleen maar mensen naar de stukken te zien bewegen zonder ooit de regels te worden verteld. Onlangs hebben wetenschappers een andere truc geprobeerd: voordat ze de robot echte taal voeren, lieten ze hem oefenen op "nep"-data bestaande uit symbolen, zoals het balanceren van haakjes of het sorteren van getallen. Het is alsof je de robot een reeks logische puzzels geeft om op te lossen voordat hij ook maar één zin heeft gezien. De grote vraag is: helpt deze warming-up de robot om menselijke taal sneller en beter te leren, of is het gewoon tijdverspilling?

Dit artikel, getiteld "Logic Before Language", duikt diep in die vraag. De onderzoekers van de Universiteit van Sheffield wilden zien of ze AI-modellen een betere "warming-up" konden geven door ze formele logica te leren — de strikte, stapsgewijze regels van wiskundige bewijsvoering — in plaats van alleen eenvoudige symboolspelletjes. Ze ontdekten dat wanneer ze de AI eerst leerden logische puzzels op te lossen, de AI veel sneller leerde om menselijke taal te begrijpen en te gebruiken. Het was alsof de robot plotseling een "spiergeheugen" had ontwikkeld voor structuur. Niet alleen leerde het sneller, maar de manier waarop het brein (of de interne computeronderdelen) informatie organiseerde, werd ook efficiënter en compacter. Dit maakte het model niet alleen slimmer, maar ook gemakkelijker in te krimpen zonder aan intelligentie in te boeten, wat een enorme zaak is voor het draaien van AI op kleinere apparaten.

Het probleem met de oude warming-ups

Al een tijdje proberen wetenschappers AI-modellen te "pre-pretrainen". Denk aan pre-pretraining als een boot camp voordat de echte training begint. In het verleden gebruikten deze boot camps eenvoudige taken. Sommigen gebruikten "Dyck-talen", wat in feits gewoon het matchen van haakjes is zoals (( )) of [ ]. Anderen gebruikten algoritmische taken zoals het sorteren van een lijst met getallen. Hoewel deze taken de AI leren om regels te volgen, beargumenteren de onderzoekers dat ze te nauw zijn. Ze zijn als het leren van een muzikant om alleen toonladders te spelen; het helpt bij de vingervlugheid, maar het leert je niet hoe je een symfonie componeert of de emotie in een lied begrijpt. Deze oude methoden missen de complexe, rommelige en prachtige structuur van echte menselijke taal.

Bovendien waren eerdere studies vaak klein. Ze trainden de modellen op relatief kleine hoeveelheden data (minder dan 10 miljard woorden), waardoor wetenschappers zich afvroegen of deze trucs nog steeds zouden werken wanneer de modellen getraind worden op enorme hoeveelheden data (zoals 100 miljard woorden).

De nieuwe strategie: Logica Boot Camp

De auteurs van dit artikel stelden een nieuw soort boot camp voor genaamd Logic Pre-pretraining (Logic-PPT). In plaats van alleen haakjes te matchen of getallen te sorteren, leerden ze de AI om formele logische deducties uit te voeren.

Stel je voor dat je een detective bent. Je hebt een reeks aanwijzingen (premissen) en een mysterie dat je moet oplossen (een doel). Je kunt niet zomaar het antwoord raden; je moet strikte regels van deductie gebruiken om van de aanwijzingen naar de oplossing te komen.

De Opzet: De AI krijgt een lijst met feiten, zoals "Als het regent, wordt de grond nat" en "Het regent."
De Taak: De AI moet de volgende logische stap bepalen, zoals "De grond is nat," en vervolgens deze nieuwe feit gebruiken om het uiteindelijke doel te bereiken.
De Schaal: De onderzoekers creëerden een enorme bibliotheek van 247 verschillende logische regels (die zaken dekken als "Als A, dan B" en "Alle X zijn Y") en genereerden miljoenen van deze logische puzzels.

Ze trainden eerst een AI-model met 254 miljoen parameters op deze logische puzzels. Daarna namen ze het "brein" van dat model en transleerden dit naar een standaard trainingsron over 100 miljard woorden van echte tekst (uit een dataset genaamd FineWeb-Edu). Ze vergeleken dit "Logic-PPT"-model met modellen die vanaf nul begonnen of met de oudere, eenvoudigere warming-ups (zoals het sorteren van getallen of het matchen van haakjes).

Wat ze vonden: Sneller, slimmer en slanker

De resultaten waren verrassend duidelijk en opwindend.

1. Het "Speed Run"-effect
Het Logic-PPT-model leerde de menselijke taal aanzienlijk sneller. In de race om 80% nauwkeurigheid op diverse taal-taken te bereiken, haalde het Logic-PPT-model dit met 36 miljard minder tokens (woorden) dan het standaardmodel dat vanaf nul begon. Het was alsof het Logic-PPT-model de eerste kilometers van een marathon oversprong omdat het al een trainingsloop had gedaan. Aan het einde van de training van 100 miljard tokens was het Logic-PPT-model de duidelijke winnaar, met een score van 87,4% nauwkeurigheid op een reeks van 17 verschillende taal-taken, waarmee het de op één na beste methode met een ruime marge versloeg.

2. Een georganiseerd brein
De onderzoekers keken niet alleen naar de scores; ze keken in het "brein" van het model om te zien hoe het dacht. Ze ontdekten dat het Logic-PPT-model een zeer specifieke interne structuur had ontwikkeld.

Lager-rang geometrie: Stel je een rommelige kamer voor waar kleding overal is neergegooid versus een kamer waar alles netjes is opgevouwen en gestapeld. De interne representaties van het Logic-PPT-model waren als de netjes gestapelde kamer. De data was georganiseerd in een "lager-rang" ruimte, wat betekent dat het model minder, maar efficiëntere richtingen gebruikte om informatie op te slaan.
Spectrale concentratie: Denk aan een zaklampstraal. Een standaardmodel verspreidt zijn licht misschien overal. Het Logic-PPT-model focust zijn licht in een strakke, heldere straal. Deze "spectrale concentratie" betekende dat het model efficiënter was in het verwerken van informatie. Deze georganiseerde structuur ontstond niet alleen aan het begin; het bleef consistent, zelfs nadat het model op 100 miljard woorden aan tekst was getraind.

3. De magie van compressie (Pruning)
Dit is misschien wel de meest praktische bevinding. Omdat het brein van het Logic-PPT-model zo netjes georganiseerd was, was het ongelooflijk veerkrachtig tegen "pruning" (het wegknippen van verbindingen). Pruning is als het snoeien van de takken van een boom om hem kleiner en sneller te maken. Normaal gesproken, als je te veel takken wegknipt, sterft de boom (de AI stopt met werken).

De onderzoekers testten dit door de modellen te "prunen", waarbij ze tot wel 40% van hun verbindingen verwijderden.
Het standaardmodel en de modellen die getraind waren op eenvoudige sorteertaken stortten hard in en verloren veel nauwkeurigheid.
Het Logic-PPT-model was echter taai. Zelfs bij 33% sparsity (wat betekent dat 33% van de verbindingen weg was), presteerde het net zo goed als het volledige, niet-geprunte standaardmodel. Zelfs bij 40% sparsity verloor het slechts 14,4% van zijn prestaties, terwijl de anderen veel meer verloren. Het was alsof het Logic-PPT-model een skelet had gebouwd dat zo sterk was dat het een derde van zijn gewicht kon verliezen en nog steeds een marathon kon lopen.

Waarom dit ertoe doet

Het artikel suggereert dat door de AI de strikte, abstracte regels van logica te leren voordat je het taal leert, je het niet alleen een voorsprong geeft; je verandert fundamenteel hoe het brein wordt opgebouwd. Het creëert een model dat sneller leert, taal dieper begrijpt en fysiek efficiënter is om te draaien.

De onderzoekers merken er voorzichtig bij op dat ze dit testten op een specifiek modelformaat (254 miljoen parameters) en een specifieke dataset. Ze beweerden niet dat dit elk probleem in AI oplost, noch testten ze het op elke mogelijke taal of taak. Echter, het bewijs uit hun training van 100 miljard tokens suggereert sterk dat "Logic Before Language" een krachtige strategie is. Het blijkt dat voordat je een robot leert om als een mens te spreken, het kan helpen om hem te leren denken als een wiskundige.

Technisch Overzicht: Logica vóór Taal

Probleemstelling

Recent onderzoek heeft symbolische pre-pretraining (PPT) verkend als een strategie om de natuurlijke taalverwerving in Large Language Models (LMs) te versnellen. De huidige benaderingen kampen echter met twee kritieke beperkingen:

Beperkte Expressiviteit: Huidige symbolische taken, zoals Dyck-talen (gericht op haakjes-symmetrie) of procedurele algoritmen (bijv. sorteren), vertrouwen op smalle primitieven. Ze slagen er niet in de rijke structurele en linguïstische inductieve biases van natuurlijke taal te vangen, zoals variabele binding, kwantificatorbereik en predicaat-argument compositie.
Schaalbeperkingen: Eerdere studies waren over het algemeen beperkt tot trainingsbudgetten van minder dan 10 miljard tokens. Dit beperkt het inzicht in de vraag of de voordelen van symbolische pre-training standhouden op grotere schaal en hoe dit de interne representationele dynamiek over een langere trainingsperiode fundamenteel verandert.

Methodologie

De auteurs stellen Logic Pre-pretraining (Logic-PPT) voor, een principiële initialisatiestrategie die gebruikmaakt van formele logische afleidingen om rijkere structurele biases te bieden voordat de natuurlijke taal pre-training begint.

1. Datageneratie: Formele Afleidingen

In tegenstelling tot eerdere methoden die gebruikmaken van eenvoudige formele talen of algoritmische sequenties, genereert Logic-PPT synthetische data gebaseerd op formele logische schema's die drie families beslaan:

Propositielogica: Waarheidsfunctionele compositie en connectieven.
Termlogica: Categorische en syllogistische relaties (Aristotelische traditie).
Eerste-orde logica (FOL): Variabelen, predicaten, relaties en kwantificatoren.

De dataset wordt geconstrueerd met behulp van een backward chaining algoritme (geïnspireerd door LogicTree):

Boomconstructie: Beginnend bij een doelformule $\phi$ past het systeem recursief inferentieregels backward toe om een verzameling premissen $\Gamma$ af te leiden.
Symboolhernoeming: Om overfitting op oppervlakkige patronen te voorkomen, genereert het systeem structuurbehoudende varianten door een injectieve willekeurige hernoeming van symbolen toe te passen, terwijl de topologie en de regelsequentie van de afleiding behouden blijven.
Taakformulering: De afleidingen worden geserialiseerd naar een auto-regressieve "volgende stap voorspelling"-taak. De input bestaat uit premissen, het huidige afleidingsprefix en het doel; de target is de volgende geldige afleidingsstap.

2. Trainingspipeline

Het framework werkt in twee fasen:

Fase 1 (Logic-PPT): Een Transformer-model (Qwen3-14L, 220M backbone parameters) wordt exclusief getraind op de formele afleidingsdataset (ongeveer 2,6B tokens).
Fase 2 (Natuurlijke Taal Pre-training): De geleerde backbone-gewichten worden overgedragen naar een standaard natuurlijke taal pre-training setup op de FineWeb-Edu corpus (ongeveer 100B tokens). De token embeddings en de language modeling head worden opnieuw geïnitialiseerd om aan te sluiten bij de natuurlijke taal vocabulaire, terwijl de backbone trainbaar blijft.

3. Baselines en Evaluatie

De studie vergelijkt Logic-PPT met:

PT: Willekeurige initialisatie met enkel natuurlijke taal pre-training.
Formal-PPT: Pre-training op formele talen (Dyck, Shuffle-Dyck).
Alg-PPT: Pre-training op procedurele algoritmen (Set, Sort, Union operaties).

Evaluatie richt zich op:

Gedrag: Taalmodelle-perplexiteit en nauwkeurigheid op 17 "elementale taken" (dekking van string-operaties, morfologie, leesbegrip en compositie) en BLiMP.
Mechanistisch: Analyse van de geometrie van de activatieruimte (CKA, RankMe, spectrale verval) en de structuur van de gewichten (stable rank).
Interventioneel: Model compressibiliteit via Wanda pruning op sparsity-niveaus tot 40%.

Belangrijkste Bijdragen en Resultaten

1. Versnelde Vaardigheidsverwerving

Logic-PPT presteert significant beter dan zowel de willekeurige initialisatie baseline als andere symbolische pre-training methoden.

Efficiëntie: Logic-PPT bereikt een gemiddelde nauwkeurigheid van 80% over linguïstische taken met 36 miljard minder natuurlijke taal trainings-tokens dan de standaard PT baseline.
Prestatie: Bij het laatste checkpoint (100B tokens) bereikt Logic-PPT 87,4% gemiddelde nauwkeurigheid, waarmee het Formal-PPT (80,3%), PT (77,3%) en Alg-PPT (76,8%) overtreft. De winst is het meest uitgesproken in Morfologie, Leesbegrip en Compositie-taken.

2. Mechanistische Inzichten: Lager-rang, Gestructureerde Representaties

De studie onthult dat formele afleidingen een duidelijke en persistente reorganisatie induceren van de interne geometrie van het model:

Spectrale Concentratie: Logic-PPT modellen vertonen een lager-rang, spectraal geconcentreerde representatieruimte. Tijdens de "compressie-zoekende" fase van de training vertonen deze modellen een lagere RankMe en een hoger spectraal verval, wat aangeeft dat variantie georganiseerd is rond een kleiner aantal dominante richtingen.
Laagdifferentiatie: CKA-analyse laat zien dat Logic-PPT zorgt voor duidelijkere blokdiagonaal-structuren in de laag-naar-laag gelijkenis, wat wijst op een meer modulaire en gedifferentieerde organisatie die gedurende de training standhoudt.
Gewichtsstructuur: De stable rank van de attention en MLP gewichten krimpt continu tijdens Logic-PPT, terwijl andere methoden vroegtijdig een plateau bereiken. Dit suggereert dat formele afleidingen een sterkere, meer persistente structurele bias op de gewichten opleggen.

3. Verbeterde Compressibiliteit

De structurele veranderingen geïnduceerd door Logic-PPT vertalen zich direct in verbeterde modelefficiëntie onder pruning:

Robuustheid: Bij 33% sparsity behoudt het Logic-PPT model een nauwkeurigheid die vergelijkbaar is met de dense PT baseline.
Degradatie: Bij 40% sparsity ervaart Logic-PPT slechts een relatieve nauwkeurigheidsdaling van 14,4%, vergeleken met een gemiddelde degradatie van 26,8% over alternatieve symbolische PPT-methoden en de PT baseline. Dit demonstreert dat de door formele logica geïnduceerde interne geometrie leidt tot modellen die niet alleen dataefficiënt zijn, maar ook beter comprimeerbaar zijn.

Betekenis en Claims

Het paper claimt dat formele logische afleidingen dienen als een superieure bron van pre-training data vergeleken met smalle formele talen of procedurele algoritmen. Door abstracte mechanismen te vereisen die centraal staan in natuurlijke taal (variabele binding, kwantificator-afhandeling en long-context compositie), zorgt Logic-PPT voor:

Versnelling van het Leren: Het fungeert als een effectievere "warm-up", waardoor modellen linguïstische vaardigheden sneller en met minder natuurlijke taal tokens kunnen verwerven.
Herstructurering van Geometrie: Het verandert fundamenteel de representationele dynamiek door een compacte, laag-rang en modulaire interne structuur te induceren.
Verbeterde Efficiëntie: Deze structurele organisatie biedt een tastbaar voordeel in modelcompressibiliteit, waardoor hoge prestaties mogelijk blijven zelfs na significante gewicht-pruning.

De auteurs positioneren dit werk als een stap naar het begrijpen van hoe specifieke soorten synthetische data de "inductieve biases" van LMs kunnen vormen, waarbij ze verder gaan dan eenvoudige procedurele taken naar rijkere logische structuren die de complexiteit van natuurlijke taal beter weerspiegelen.