🤖 AI

A Syllogistic Probe: Tracing the Evolution of Logic Reasoning in Large Language Models

Dit artikel onderzoekt de evolutie van logisch redeneren in grote taalmodellen door existentiële implicatie te gebruiken als een probe om aan te tonen dat modelschaling, denkmechanismen en de selectie van het basismodel gezamenlijk een verschuiving drijven van traditionele naar moderne syllogistische logica.

Oorspronkelijke auteurs: Zhengqing Zang, Yuqi Ding, Yanmei Gu, Changkai Song, Zhengkai Yang, Guoping Du, Junbo Zhao, Haobo Wang

Gepubliceerd 2026-01-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhengqing Zang, Yuqi Ding, Yanmei Gu, Changkai Song, Zhengkai Yang, Guoping Du, Junbo Zhao, Haobo Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep studenten (de AI-modellen) leert hoe ze logische puzzels moeten oplossen. Eeuwenlang hebben mensen gedebatteerd over hoe je deze puzzels oplost. Er zijn twee belangrijke stromingen:

De "Oude School" (Traditionele Logica): Deze benadering gaat ervan uit dat als je over iets praat, het ook echt bestaat. Als je zegt: "Alle eenhoorns hebben hoorns," gaat de Oude School ervan uit dat eenhoorns echt bestaan en concludeert daarom: "Sommige eenhoorns hebben hoorns."
De "Strikte School" (Moderne Logica): Deze benadering is strenger. Het zegt: "Alleen omdat je over eenhoorns praat, betekent dat nog niet dat ze bestaan." Als eenhoorns niet bestaan, is de bewering "Alle eenhoorns hebben hoorns" technisch gezien waar (omdat er geen tegenvoorbeelden zijn), maar je kunt niet concluderen dat "Sommige eenhoorns hebben hoorns", omdat er geen eenhoorns zijn om hoorns te hebben.

Dit artikel stelt een simpele vraag: Worden AI-modellen van nature slimmer en schakelen ze over van de "Oude School" naar de "Strikte School" naarmate ze groter worden?

Hier is het verhaal van wat de onderzoekers ontdekten, gebruikmakend van alledaagse analogieën.

1. Het "Grootte"-effect: Groter is niet altijd beter (tenzij het de juiste soort groot is)

De onderzoekers testten veel verschillende AI-modellen, van piepkleine tot enorme modellen.

De Analogie: Stel je een bibliotheek voor. Een kleine bibliotheek kan alleen verhalenboeken hebben die ervan uitgaan dat alles in de boeken echt is (Oude School). Naarmate de bibliotheek gigantisch wordt, krijgt ze misschien gewoon meer verhalenboeken met dezelfde oude aannames.
De Bevinding: Voor de meeste AI-families (zoals Llama en Gemma) maakte het groter maken van het model de AI simpelweg beter in het volgen van de regels van de "Oude School". Ze werden sterker in de oude manier van denken.
De Uitzondering: Echter, voor één specifieke familie (Qwen) zorgde het groter maken van het model voor een paradigmaverschuiving. Naarmate zij groter werden, begonnen ze de "Oude School"-aannames los te laten en adopteerden ze de regels van de "Strikte School". Ze realiseerden zich: "Wacht even, alleen omdat ik erover praat, betekent dat niet dat het bestaat."

2. De "Denk"-motor: Kwaliteit boven Kwantiteit

De onderzoekers ontdekten dat je niet noodzakelijkerwijs een gigantisch brein nodig hebt om strikt te denken; je moet gewoon harder nadenken.

De Analogie: Stel je een student voor die een toets maakt.
- Schaalvergroting (Scaling): Dit is als het geven van een groter brein (meer neuronen) aan de student.
- Denken (RL): Dit is als het geven van een "kladblok" aan de student, waar hij gedwongen wordt elke stap van zijn redenering op te schrijven voordat hij antwoord geeft.
De Bevinding: Een middelgroot model dat getraind is om "stap voor stap te denken" (met behulp van een techniek genaamd Reinforcement Learning), presteerde net zo goed als een enorm model dat niet diep nadenkt. Het "denkproces" fungeerde als een turbocharger. Het dwong het model om zijn logische regels te controleren in plaats van simpelweg te gokken op basis van patronen die het in zijn trainingsgegevens zag.
De Haken en ogen: Alleen tegen een model zeggen "Denk stap voor stap" in een prompt was niet genoeg. Het model moest hier diepgaand op getraind worden. Het is het verschil tussen een student die de instructie krijgt "probeer harder" en een student die systematisch is getraind in de methode om problemen op te lossen.

3. Het "Fundament" is cruciaal: Je kunt geen wolkenkrabber bouwen op een moeras

De onderzoekers keken naar de "Base"-modellen (de ruwe, ongetrainde versies van de AI) om te zien waar ze begonnen.

De Analogie: Beschouw het Base-model als het fundament van een huis.
- Als het fundament al lichtjes naar de "Strikte School" neigt, is het makkelijk om een "Strikt" huis erop te bouwen.
- Als het fundament stevig geworteld is in de "Oude School", is het proberen te bouwen van een "Strikt" huis erop wankel en instabiel.
De Bevinding: De Qwen-modellen die erin slaagden over te schakelen naar Moderne Logica, hadden een "fundament" dat al hints van begrip voor de strikte regels vertoonde. De Llama- en Gemma-modellen hadden fundamenten die diep geworteld waren in de Oude School, waardoor het zelfs na training erg moeilijk voor hen was om de overstap te maken.

4. Het "Lege Kamer"-probleem

De onderzoekers ontdekten dat AI nog steeds moeite heeft wanneer het onderwerp van een zin "leeg" is (zoals eenhoorns, of een doos zonder appels).

De Analogie: Het is voor een mens makkelijk om te zeggen: "Als er geen appels in de doos zitten, dan is de bewering 'Sommige appels zijn rood' onwaar." Maar voor een AI, als hij de appels niet kan zien, raakt hij in de war. De AI heeft de neiging om terug te vallen op zijn trainingsdata, die vol staat met real-world voorbeelden waarbij dingen ook daadwerkelijk bestaan.
De Bevinding: Wanneer de logische puzzel betrekking had op "lege" zaken, waren de modellen eerder geneigd fouten te maken en terug te vallen op het denken van de Oude School. Dit laat zien dat hun "logica" nog steeds een beetje verbonden is met de echte wereld in plaats van met zuivere abstracte regels.

5. De "Taal"-bias

De modellen dachten niet op dezelfde manier in elke taal.

De Analogie: Stel je een student voor die wiskunde heeft geleerd in het Engels, maar thuis Spaans spreekt. Die student kan een probleem anders oplossen afhankelijk van de taal waarin de vraag wordt gesteld.
De Bevinding: De logische capaciteit van de AI was niet "taalneutraal". Een model kan een expert zijn in "Strikte Logica" in het Engels, maar een denker van de "Oude School" in het Chinees (of andersom, afhankelijk van het model). Dit suggereert dat hun redenering nog zwaar wordt beïnvloed door de specifieke patronen van de taal waarop ze getraind zijn.

Samenvatting

Het artikel concludeert dat AI-logica niet alleen een resultaat is van "groter" worden. Het is een combinatie van:

Het Fundament: Begon het ruwe model al met een hint van moderne logica?
De Training: Werd het geleerd om diep te "denken" en zijn regels te controleren?
De Architectuur: Sommige ontwerpen (zoals "Mixture of Experts") hielpen de verschuiving sneller te laten plaatsvinden.

De "Strikte School" van de logica komt naar voren in de slimste modellen, maar het is een fragiele transitie. Als het fundament zwak is of de training niet diep genoeg gaat, zal de AI met plezier terugvallen op de aanname dat eenhoorns bestaan, simpelweg omdat we erover gesproken hebben.

Technisch Samenvatting: Een Syllogistische Proef: Het Traceren van de Evolutie van Logisch Redeneren in Large Language Models

1. Probleemstelling

Het menselijk denken is historisch geëvolueerd van intuïtiegestuurde inferentie (Aristotelisch) naar rigoureuze formele systemen (Moderne/Booleaanse logica). Een cruciaal onderscheid tussen deze kaders is de Existentiële Implicatie (EI): Traditionele logica gaat ervan uit dat universele proposities (bijv. "Alle S zijn P") de existentie van de onderwerpklasse impliceren, terwijl Moderne logica deze als conditionele uitspraken behandelt die waar blijven, zelfs als de onderwerpklasse leeg is.

Huidige Large Language Models (LLM's) vertonen opmerkelijke redeneercapaciteiten, maar bestaande benchmarks lijden vaak aan een systematische bias. De meeste syllogisme-datasets hanteren impliciet de Traditionele Logica. Hierdoor kan een model hoog scoren door zich te houden aan Traditionele shortcuts, of laag scoren door correcte Moderne logica toe te passen (het weigeren van existentie af te leiden uit universele premissen) en als "fout" te worden gemarkeerd. Dit artikel adresseert de noodzaak om het werkelijke logische redeneervermogen van een model te ontkoppelen van de afstemming op specifieke evaluatieconventies. De kernvraag is: Vertonen LLM's een analoge evolutie van intuïtiegestuurde (Traditionele) naar rigoureuze formele (Moderne) logica naarmate ze schalen, en welke mechanismen drijven deze verschuiving aan?

2. Methodologie

Dataset Constructie

De auteurs hebben een nieuwe syllogisme-dataset geconstrueerd met behulp van een multi-stage agent pipeline om feitelijke consistentie en logische beperkingen te waarborgen.

Schaal: 9.600 syllogismen gegenereerd uit 100 concept-triplets met lege minder-term extensies en 100 met niet-lege extensies.
Variaties: Bevat Chinese en Engelse versies, die 15+9 syllogistische vormen dekken.
Logische Splitsing: De dataset onderscheidt de 15 vormen die geldig zijn onder Moderne Logica en de 9 vormen die alleen geldig zijn onder Traditionele Logica (vanwege existentiële implicatie).

Evaluatiemetrieken

De studie evalueert modellen onder twee verschillende criteria:

$Acc_t$ (Traditionele Accuratesse): Meet prestaties uitgaande van de aanname dat alle 24 modi geldig zijn (Traditionele Logica).
$Acc_m$ (Moderne Accuratesse): Meet prestaties uitgaande van de aanname dat alleen de 15 Modern-valide modi correct zijn; het model moet de 9 vormen verwerpen die de existentiële drogreden begaan.
Consistentie (Cons): Het aandeel modi waarbij het model consistente antwoorden geeft over alle instanties van die modus.

Experimenteel Ontwerp

De auteurs voerden uitgebreide experimenten uit op:

Modelfamilies: Qwen (0.6B tot 235B, inclusief Dense en MoE), Llama 3, en Gemma 3-series.
Trainingsvarianten: Base modellen, Instruct (SFT), en Thinking (RL-getrainde) varianten.
Closed-Source Modellen: Inclusief GPT-5, Gemini-3, en Claude-varianten.
Ablatie-studies:
- Prior-Check Prompt: Expliciet vragen aan het model om te controleren of termen lege verzamelingen zijn voordat het antwoordt.
- Chain-of-Thought (CoT): Instruct-modellen prompten om "stap voor stap te denken".
- Distillatie: Het evalueren van modellen die gedistilleerd zijn van RL-getrainde docenten (bijv. DeepSeek-R1).
- Architectuur: Vergelijken van Dense versus Mixture-of-Experts (MoE) en Auto-regressieve versus Diffusion LLM's.

3. Belangrijkste Bevindingen en Resultaten

3.1 Schalingseffecten: Een Familiespecifieke Verschuiving

Algemene Trend: Naarmate de parameters van een model toenemen, stijgt de Moderne Logica accuratesse ( $Acc_m$ ) over het algemeen in alle families.
Qwen-serie: Vertoont een duidelijke logische paradigmaverschuiving. Kleine tot middelgrote Qwen-modellen (bijv. 0.6B–4B) geven sterk de voorkeur aan Traditionele Logica ( $Acc_t$ is hoog). Echter, grotere Qwen-modellen (vooral 8B+ en de Thinking-varianten) verschuiven besluitvaardig naar Moderne Logica ( $Acc_m$ wordt significant hoger dan $Acc_t$ ).
Llama en Gemma Series: Deze families behouden grotendeels een Traditionele Logica redeneerstijl, zelfs bij grotere schaal (bijv. Llama-3-70B, Gemma-3-27B). Schaling verbetert hun prestaties binnen het Traditionele kader, maar triggert geen verschuiving naar Moderne logica.
Instabiliteit: Tijdens de transitie (het "Turning Point") fluctueren de consistentiescores, wat suggereert dat het model tijdelijk oppervlakte-patroonherkenning mengt met rigoureus redeneren.

3.2 Denken als Efficiënte Versneller

RL-gestuurde Verschuiving: "Thinking" varianten (RL-getraind) versnellen de verschuiving naar Moderne Logica aanzienlijk meer dan parameter-scaling alleen. Bijvoorbeeld: Qwen3-8B-Thinking bereikt een Moderne Logica prestatie die vergelijkbaar is met de veel grotere Qwen3-30B-Instruct.
Mechanisme: Reinforcement Learning (RL) lijkt een stapsgewijze, regelgebaseerde deductie af te dwingen, waardoor het beslissingscriterium verandert in plaats van enkel de instructie-opvolging te verbeteren.
Beperkingen van Alternatieven:
- CoT Prompting: Induceert slechts een gedeeltelijke verschuiving naar Moderne Logica.
- Distillatie: Het distilleren van RL-getrainde modellen (bijv. DeepSeek-R1) produceert niet betrouwbaar strikt Moderne Logica gedrag, wat suggereert dat de transitie taakbewust ontwerp en specifieke post-training optimalisatie vereist, en niet enkel imitatie.

3.3 Beperkingen van het Base Model

Startpunt: Het Base model bepaalt de initiële logische houding. Modellen zoals Qwen3-8B-Base vertonen al signalen van Moderne Logica (hoge recall voor valide moderne modi), wat de daaropvolgende verschuiving gemakkelijker en stabieler maakt.
Beperkingen: In contrast hiermee zijn Base modellen zoals Gemma en Llama vaak geneigd om valide Moderne modi te verwerpen (lage recall), waardoor de verschuiving naar Moderne Logica moeilijker en minder stabiel is, zelfs na post-training.

3.4 Aanvullende Analyse

Prior-Check Prompt: Expliciet vragen over lege verzamelingen verhoogt de $Acc_m$ zonder de fundamentele houding van het model te veranderen, wat bevestigt dat de verschuiving geen louter prompt-artefact is.
Lege Minder Termen: Modellen worstelen meer met lege minder termen en vallen vaak terug op Traditionele logica omdat het construeren van tegenvoorbeelden voor lege verzamelingen minder intuïtief is.
Cross-Linguale Kloof: Prestaties variëren per taal (bijv. Qwen/Llama presteren beter in het Chinees; Gemma in het Engels), wat aangeeft dat logisch redeneren nog steeds verbonden is aan taalspecifieke trainingspatronen.
Architectuur: MoE-architecturen in AR-modellen correleren met een sterkere neiging naar Moderne Logica. Diffusion-gebaseerde LLM's (dLLM's) volgen grotendeels de Traditionele Logica, met zeldzame uitzonderingen (bijv. LLaDA2.0-flash) die MoE en grote schaal combineren.

4. Betekenis en Bijdragen

Het artikel claimt de eerste systematische trace te bieden van de evolutie van logische kaders in LLM's met behulp van existentiële implicatie als probe. De primaire bijdragen zijn:

Bewijs van Evolutie: Het aantonen dat geavanceerde LLM's (specifiek de Qwen-serie en top-tier closed-source modellen) evolueren van intuïtiegestuurde Traditionele logica naar rigoureuze Moderne logica, wat de historische evolutie van de menselijke logica weerspiegelt.
Ontkoppeling van Schaal en Redeneren: Het aantonen dat hoewel schaling helpt, RL-gebaseerd denken een efficiëntere drijfveer is voor het bereiken van Moderne Logica redeneren, waardoor kleinere modellen de traditionele (niet-denkende) grotere tegenhangers kunnen overtreffen in logische strengheid.
Afhankelijkheid van het Base Model: Het vaststellen dat het Base model fungeert als een kritieke beperking; post-training kan de logica verschuiven, maar de stabiliteit en de eenvoud van deze verschuiving hangen zwaar af van de initiële alignment van het Base model met Moderne semantiek.
Rigoureuze Benchmarking: Het benadrukken van de systematische bias in huidige evaluatiemethoden en het voorstellen van een framework om een model's redeneervermogen te onderscheiden van de naleving van specifieke logische conventies.

5. Beperkingen

De auteurs merken bescheiden op dat hun conclusies specif voor syllogistische redenering en de existentiële implicatie probe gelden. Het blijft onduidelijk of deze evolutionaire patronen standhouden voor bredere eerste-orde logica. Bovendien vertrouwt de studie op finale validiteitsbeslissingen (endpoint metrieken) in plaats van het diagnosticeren van intermediaire semantische representaties, wat het vermogen beperkt om de exacte mechanismen van de verschuiving te lokaliseren. De bevindingen over distillatie worden ook genoteerd als empirische observaties binnen een specifieke setting in plaats van een algemeen negatief resultaat voor alle distillatiemethoden.