💻 computer science

ChaosBench-Logic v2: Evaluating LLM Logical Reasoning over Dynamical Systems at Scale

Het artikel introduceert ChaosBench-Logic v2, een grootschalige benchmark en het CARE-evaluatieprotocol dat is ontworpen om kritieke fouten in logisch redeneren van LLM's met betrekking tot dynamische systemen aan het licht te brengen, waarbij wordt geconstateerd dat modellen, hoewel ze matig presteren op formeel deductief redeneren, aanzienlijk moeite hebben met regime-overgangen en een systematische anti-correlatie vertonen bij bifurcatievragen.

Oorspronkelijke auteurs: Noel Thomas

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Noel Thomas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep studenten test om te zien hoe goed ze de regels van een complex bordspel begrijpen. Sommige studenten zijn uitstekend in het memoriseren van het reglement en het toepassen ervan wanneer de regels recht voor hun neus staan. Anderen lijken echter in de war te raken wanneer het spel lastig wordt, of wanneer de vraag iets anders geformuleerd is.

Dit artikel, ChaosBench-Logic v2, is een enorme nieuwe "examen" ontworpen om Large Language Models (LLM's) — de AI-geesten achter chatbots — te testen op hun vermogen om te redeneren over dynamische systemen. Denk aan deze systemen als complexe machines (zoals weerspatronen, slingerende slingers of bevolkingsgroei) die strikte wiskundige wetten volgen, maar zich op wilde, onvoorspelbare manieren kunnen gedragen.

Hier is een uiteenzetting van wat de onderzoekers deden en vonden, met gebruikmaking van eenvoudige analogieën:

1. Het Examen: Een Reuzensprong in Moeilijkheidsgraad

De auteurs creëerden een nieuwe benchmark genaamd ChaosBench-Logic v2.

De Schaal: De eerste versie had ongeveer 600 vragen. Deze nieuwe versie heeft 40.886 vragen. Het is alsof je opschakelt van een popquiz naar een eindexamen dat een hele bibliotheek aan natuurkunde- en wiskundeproblemen bestrijkt.
De Inhoud: Het test 165 verschillende "machines" (dynamische systemen) met behulp van 27 specifieke logische regels (predicaten) en 78 verbindende regels (axioma's).
Het Doel: Om te zien of AI echt kan redeneren over hoe deze systemen in de loop van de tijd veranderen, of dat ze gewoon gokken op basis van patronen die ze eerder hebben gezien.

2. Het Nieuwe Beoordelingssysteem: "CARE"

De onderzoekers beseften dat een simpele "percentage-score" (zoals 60% goed) een valstrik is.

De Valstrik: Stel je een student voor die te bang is om "Ja" te raden. Hij antwoordt gewoon "Nee" op alles. Als 80% van de vragen op het test eigenlijk "Nee" zijn, krijgt deze student een score van 80%! Maar hij heeft eigenlijk niets geleerd; hij heeft gewoon het meest voorkomende antwoord geraden.
De Oplossing (CARE): De auteurs introduceerden een nieuw beoordelingsprotocol genaamd CARE. In plaats van alleen naar de score te kijken, controleert het:
- Hebben ze bedrogen door te gokken? (Prior Collapse)
- Zijn ze consistent? Als je dezelfde vraag in andere woorden stelt, geven ze dan hetzelfde antwoord?
- Zijn ze gebalanceerd? Weten ze wanneer ze "Ja" moeten zeggen en wanneer ze "Nee" moeten zeggen?

3. De Resultaten: De Kloof tussen "Regelvolgend" en "Intuïtie"

Toen ze 14 verschillende AI-modellen testten (zowel betaalde "propriëtaire" als gratis "open-source" modellen), vonden ze enkele verrassende dingen:

De "Regelvolgende" Supersterren: Wanneer het examen de AI de feiten gaf en vroeg om met logica het antwoord te vinden (zoals een wiskundig woordprobleem), deden de topmodellen het vrij goed. Ze konden het reglement perfect volgen.
De "Intuïtie"-Mislukkingen: Wanneer het examen de AI vroeg om te voorspellen wanneer een systeem zijn gedrag zou veranderen (zoals "Bij welke snelheid begint deze auto te slippen?"), presteerden de modellen bijna willekeurig. Het was alsof ze een munt opgooiden.
- De Analogie: De AI is goed in het zeggen: "Als A impliceert B, en B impliceert C, dan impliceert A C." Maar het is slecht in het weten: "Als ik deze schommel hard genoeg duw, zal hij breken." Het mist de "fysische intuïtie" of numerieke onderbouwing om de specifieke kantelpunten te kennen.

4. De "Propriëtaire" versus "Open Source" Showdown

Meestal wordt aangenomen dat de dure, gesloten bronmodellen (zoals de modellen van grote technologiebedrijven) strikt beter zijn dan de open-source modellen.

De Twist: De kloof is niet uniform.
- De Propriëtaire modellen waren beter in het verbinden van verschillende aanwijzingen en consistent blijven wanneer de vraag werd herschreven.
- Het Open-source model (Qwen 2.5-32B) sloeg de propriëtaire modellen echter op één specifieke taak: het interpreteren van numerieke indicatoren (zoals het aflezen van een snelheidsmeter). Het was het enige model dat betrouwbaar de "chaos-indicatoren" kon interpreteren.

5. Het "Anti-correlatie"-Probleem

De meest alarmerende bevinding was dat twee modellen niet alleen de moeilijke vragen fout hadden, maar ze systeematisch fout hadden.

De Analogie: Stel je een student voor die, in plaats van willekeurig te gokken, een regel heeft geleerd die exact het tegenovergestelde is van de werkelijkheid. Als het antwoord "Ja" is, zeggen ze zelfverzekerd "Nee". Als het antwoord "Nee" is, zeggen ze "Ja".
Het artikel vond dat voor vragen over "bifurcaties" (kantelpunten), sommige modellen een negatieve score hadden, wat betekent dat hun logica perfect omgekeerd was. Ze waren zelfverzekerd fout.

6. Het "Reparatie"-Experiment

De onderzoekers probeerden de antwoorden van de AI te "repareren" met behulp van een logische solver (een tool die controleert of de antwoorden samen logisch zijn).

Wat werkte: Voor simpele vragen kon de tool de fouten van de AI repareren door het te dwingen de regels te volgen.
Wat faalde: Voor complexe, meerstaps redeneervragen maakte het "repareren" van de antwoorden de AI eigenlijk slechter.
De Les: Dit bewijst dat er twee soorten fouten zijn:
1. Consistentiefouten: "Ik zei A, maar toen zei ik niet-A." (Repareerbaar met een logische tool).
2. Redeneerfouten: "Ik begrijp de fysica van de situatie niet." (Niet repareerbaar met een logische tool; de AI moet het concept daadwerkelijk leren).

Samenvatting

Het artikel concludeert dat AI-modellen, hoewel ze beter worden in het volgen van logische regels, nog steeds worstelen met het begrijpen van hoe real-world systemen zich werkelijk gedragen wanneer getallen en parameters veranderen. Ze zijn als studenten die het woordenboek kunnen memoriseren, maar geen verhaal kunnen schrijven. De "kloof" tussen regelvolgend gedrag en echt begrijpen verdwijnt niet zomaar door de AI groter te maken; het vereist een ander soort leren.

Technische Samenvatting: ChaosBench-Logic v2

Probleemstelling

Standaard nauwkeurigheidsmetrieken op binaire redeneerbenchmarks verdoezelen vaak kritieke faalmodi in Large Language Models (LLM's), zoals prior-collaps (het uitbuiten van klassenvoorafschrijvingen), inconsistentie bij parafraseren en een onvermogen om te redeneren over parameterafhankelijke dynamica. Hoewel LLM's sterke prestaties laten zien op wiskundige en propositielogische taken, blijft hun vermogen tot logisch consistent redeneren binnen wetenschappelijke domeinen – specifiek dynamische systemen – slecht begrepen. Dynamische systemen vormen een unieke uitdaging: ze zijn deterministisch maar niet-willekeurig, vertonen een gevoelige afhankelijkheid van beginvoorwaarden en vereisen het handhaven van formele onderscheidingen (bijv. positieve Lyapunov-exponenten) over meerstapsinferenties. Bestaande benchmarks missen óf domeinspecifieke First-Order Logic (FOL)-ontologieën, óf vertrouwen op synthetische grondwaarheid, óf ze schalen niet naar echte wetenschappelijke systemen.

Methodologie

1. Benchmarkontwerp: ChaosBench-Logic v2

De auteurs introduceren ChaosBench-Logic v2, een 66-voudige schaalvergroting van de vorige v1-benchmark. De dataset omvat 40.886 vragen over 165 dynamische systemen (30 handmatig samengesteld, 135 uit de dysts-bibliotheek).

Ontologie: De benchmark is gebaseerd op een FOL-ontologie met 27 unaire predicaten (bijv. Chaotic, Deterministic, PosLyap, Bounded) georganiseerd in drie niveaus: kern-dynamische regimes, topologische eigenschappen en structurele kenmerken.
Axioma's: Deze predicaten zijn verbonden door 78 gerichte axioma-randen (31 implicaties, 47 uitsluitingen), wat redeneerketens van maximaal 5–6 stappen mogelijk maakt. Bijvoorbeeld: Chaotic(s) impliceert Deterministic(s), PosLyap(s) en Sensitive(s), terwijl het Random(s) en Periodic(s) uitsluit.
Taakfamilies: De dataset bevat 11 taakfamilies, gecategoriseerd op moeilijkheidsgraad en redeneertype:
- Moeilijk: Regimewisseling (vereist specifieke bifurcatiedrempels, bijv. $r \approx 3.57$ voor de logistische kaart), Cross-indicator (redeneren met meerdere indicatoren) en Consistentie-parafrase.
- Gemiddeld: Multi-hop-inferentie, Adversariaal (dichtbij-missers en misleidende aanwijzingen) en Atomair (enkelvoudige predicatare vragen).
- Eenvoudig: FOL-inferentie (deductie uit expliciete premissen), Indicatordiagnose (interpreteren van numerieke chaosindicatoren) en Uitgebreide systemen (feitelijke herinnering).

2. Evaluatieprotocol: CARE

Om de beperkingen van standaardnauwkeurigheid aan te pakken, stellen de auteurs CARE (Calibration- and Adversarial-Robust Evaluation) voor. Dit protocol rapporteert vijf diagnostieken:

Matthews Correlation Coefficient (MCC): De primaire metriek, gekozen vanwege zijn invariantie ten opzichte van klassenbalans en vermogen om prior-collaps te straffen.
Macro-family MCC: De gemiddelde MCC over taakfamilies om te voorkomen dat dominante, eenvoudigere families falen op moeilijke taken verbergen.
Calibratie: Vergelijking van voorspelde TRUE-rates met grondwaarheid-TRUE-rates om prior-collaps te detecteren.
Consistentie: MCC gemeten op parafrase- en perturbatiefamilies om robuustheid tegen oppervlakkige variaties te beoordelen.
Dekking: Het percentage ongeldige (niet-parsbare) antwoorden.

Belangrijkste Bijdragen

Schalbare Benchmark: Een dataset van 40.886 vragen die 165 dynamische systemen bestrijkt, met een rigoureuze FOL-ontologie en grondwaarheidlabels afgeleid van fysieke eigenschappen in plaats van synthetische constructies.
CARE-protocol: Een diagnostisch raamwerk dat verborgen pathologieën (prior-collaps, inconsistentie) blootlegt die vaak worden gemist door nauwkeurigheidsmetrieken.
Diagnostische Bevindingen: Identificatie van een "kennis-type grens" tussen regelvolgendheid (FOL-deductie) en parameterafhankelijk redeneren (bifurcatiedrempels), samen met een per-familie decompositie van de prestatiekloof tussen propriëtaire en open-source modellen.

Experimentele Resultaten

De auteurs evalueerden 14 modellen (7 propriëtaire, 7 open-source).

Algemene Prestatie: Claude Sonnet 4.6 leidt met een MCC van 0.601. De kloof tussen propriëtaire en open-source modellen bedraagt 0.12 MCC, maar Qwen 2.5-32B (0.478) presteert beter dan verschillende propriëtaire modellen (GPT-4o: 0.450, Gemini 2.5 Flash: 0.458).
Moeilijkheidsgraad Taakfamilies:
- Regimewisseling: De prestatie is voor alle modellen bijna willekeurig (MCC = 0.05). Deze taak vereist specifieke numerieke bifurcatiedrempels die niet alleen uit logische regels kunnen worden afgeleid. Twee modellen (LLaMA 3.3-70B en Mistral-7B) vertoonden een negatieve MCC op deze taak, wat wijst op systematische anti-correlatie.
- FOL-inferentie: Modellen presteren aanzienlijk beter (MCC = 0.52) wanneer premissen expliciet worden verstrekt.
- Indicatordiagnose: Qwen 2.5-32B domineert deze categorie (MCC = 0.91) en presteert beter dan alle propriëtaire modellen.
Propriëtaire versus Open-Source: Het voordeel van propriëtaire modellen concentreert zich op cross-indicator redeneren (+0.40 voordeel) en consistentie-taken. Open-source modellen tonen bijna gelijkwaardigheid op formele deductie en perturbatierobuustheid.
Voorspellingsbias: Modellen zoals LLaMA 3.1-8B vertonen prior-collaps, waarbij ze slechts 21,6% van de tijd TRUE voorspellen (tegenover 49,5% grondwaarheid) om hoge True Negative Rates te bereiken, wat de nauwkeurigheid opblaast terwijl de MCC laag blijft.
MaxSAT-reparatie: Het toepassen van een MaxSAT-nabewerker om axioma-inconsistenties te herstellen, verbeterde de MCC voor zwakke modellen op atomare vragen (bijv. +0.11 voor LLaMA 3.1-8B), maar verslechterde de prestatie op compositional families (bijv. multi-hop), wat suggereert dat compositionele fouten voortkomen uit redeneergaten in plaats van eenvoudige axioma-overtredingen.
Chain-of-Thought (CoT): Voorlopige CoT-tests op moeilijke families met LLaMA 3.1-8B resulteerden in een hoog percentage ongeldige antwoorden (niet-parsbare outputs) en verbeterden het redeneren op vragen over regimewisseling niet.

Betekenis en Claims

Het artikel beweert drie specifieke pathologieën in het huidige LLM-redeneren aan het licht te brengen:

Prior-collaps: Modellen bereiken matige nauwkeurigheid door standaard te kiezen voor klassenvoorafschrijvingen (bijv. altijd FALSE voorspellen) in plaats van te redeneren.
Fragiliteit van oppervlaktevorm: Modellen falen consistentiecontroles wanneer feiten worden herformuleerd, wat wijst op fragiele ophaalmechanismen.
Onvermogen om te redeneren over parameterafhankelijke dynamica: Modellen kunnen de kwantitatieve premissen (bifurcatiedrempels) niet leveren die nodig zijn voor redeneren over regimewisseling, zelfs wanneer ze wel logische deductie kunnen uitvoeren op gegeven premissen.

De auteurs identificeren een kennis-type grens: LLM's kunnen logische regelvolging leren uit tekst (FOL-inferentie), maar ze worstelen met parameterafhankelijke dynamica die numerieke gronding vereist. Deze kloof sluit niet met modelgrootte (bijv. het schalen van Qwen van 7B naar 32B verbeterde multi-hop redeneren, maar liet regimewisseling bijna willekeurig). Het werk suggereert dat hybride benaderingen die LLM's koppelen aan numerieke oplosmiddelen noodzakelijk kunnen zijn om de compositionele kloof te overbruggen, terwijl wordt opgemerkt dat huidige CoT-prompting mogelijk format-compliance-problemen introduceert zonder onderliggende redeneertekorten op te lossen.