🤖 AI

Can Large Language Models Adequately Perform Symbolic Reasoning Over Time Series?

Dit artikel introduceert SymbolBench, een uitgebreide benchmark om te testen of Large Language Models in staat zijn om interpreteerbare symbolische wetten en structuren af te leiden uit tijdreeksgegevens, en stelt een raamwerk voor dat LLM's combineert met genetische programmering voor automatische wetenschappelijke ontdekking.

Oorspronkelijke auteurs: Zewen Liu, Juntong Ni, Xianfeng Tang, Max S. Y. Lau, Qi He, Wenpeng Yin, Wei Jin

Gepubliceerd 2026-04-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zewen Liu, Juntong Ni, Xianfeng Tang, Max S. Y. Lau, Qi He, Wenpeng Yin, Wei Jin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een enorme, chaotische dansvloer kijkt. Honderden mensen bewegen door elkaar heen: sommigen draaien rondjes, anderen springen, en weer anderen bewegen in een strak ritme. Op het eerste gezicht lijkt het een totale bende, een onbegrijpelijke chaos van beweging.

Maar wat als je een supercomputer had die niet alleen naar de dansers keek, maar ook de "onzichtbare regels" van de dans kon ontdekken? Bijvoorbeeld: "Als danser A een pirouette maakt, moet danser B drie stappen naar links doen." Of: "De snelheid van de muziek bepaalt hoe hard de groep springt."

Dat is precies wat dit wetenschappelijke onderzoek probeert te doen met data. In plaats van dansers, kijken zij naar tijdreeksen (data die over een bepaalde tijd verandert, zoals de temperatuur, de hartslag of de koers van de aandelenmarkt).

De "Detective van de Natuurwetten"

Wetenschappers willen altijd de "wetten" van de natuur vinden. Kepler ontdekte bijvoorbeeld de regels van de planeten door simpelweg naar hun bewegingen te kijken. Dit onderzoek, genaamd SymbolBench, is een nieuwe manier om computers (zoals de AI die we kennen van ChatGPT) te testen op hun vermogen om diezelfde soort "detective" te spelen.

De onderzoekers willen weten: Kan een AI de verborgen wiskundige formules achter een reeks getallen terugvinden?

De drie soorten "puzzels"

Om de AI te testen, hebben ze drie verschillende soorten mysteries voorbereid:

De Wiskundige Formule (Symbolic Regression): Stel je voor dat je de beweging van een schommel ziet. De AI moet de exacte formule vinden (zoals $zwaartekracht \times lengte$ ) die die beweging beschrijft.
De Logische Schakelaar (Boolean Networks): Dit is als een serie lichtknopjes. "Als knopje A aan staat EN knopje B uit, dan gaat lampje C aan." De AI moet de logische regels van dit systeem ontdekken.
De Oorzaak-Gevolg Ketting (Causal Discovery): Dit is de ultieme vraag: "Komt de regen omdat de wolken grijs zijn, of zijn de wolken grijs omdat het regent?" De AI moet de richting van de oorzaak ontdekken.

Hoe werkt hun systeem? (De "Brainstorm-Machine")

De onderzoekers hebben niet alleen de AI getest, maar ook een slim systeem gebouwd dat werkt als een creatieve brainstormsessie.

In plaats van dat de AI één keer een gokje waagt, werkt het systeem in een cirkel:

Stap 1: De Gok (Proposal): De AI doet een voorstel voor een formule.
Stap 2: De Controle (Verification): Een ander deel van de computer checkt: "Klopt dit met de data? Is het een logische formule of totale onzin?"
Stap 3: De Verbetering (Refinement): De AI krijgt feedback ("Je zat er bijna, maar probeer het eens met een minteken") en probeert het opnieuw. Het is als een kunstenaar die een schets maakt, kritiek krijgt, en de tekening steeds gedetailleerder maakt.

Wat hebben ze geleerd?

De resultaten zijn heel interessant:

AI is een goede wiskundige: Voor complexe formules en oorzaak-gevolg-vragen zijn de AI-modellen vaak slimmer dan de traditionele, oude rekenmethodes.
AI heeft soms een "blind vlek": Bij de logische schakelaars (de knopjes) zijn de oude, gespecialiseerde methodes nog steeds de koning. De AI raakt daar soms de draad kwijt.
Context is alles: Als je de AI vertelt waarover de data gaat (bijvoorbeeld: "Dit is een hartslag"), dan wordt hij ineens veel slimmer. Het is alsof je een detective vertelt dat hij in een ziekenhuis moet zoeken in plaats van in een bos; hij weet dan direct waar hij moet kijken.

Waarom is dit belangrijk?

Dit onderzoek is een stap richting automatische wetenschap. In de toekomst hoeven wetenschappers misschien niet meer jarenlang te puzzelen op formules. De AI kan de data scannen en zeggen: "Hé, ik heb de wetmatigheid gevonden die dit proces stuurt!" Dat kan helpen bij het ontdekken van nieuwe medicijnen, het begrijpen van het klimaat of het voorspellen van nieuwe natuurkundige fenomenen.

Technische Samenvatting: SymbolBench

1. Het Probleem (Problem Statement)

Het ontdekken van verborgen symbolische wetten uit tijdreeksgegevens (zoals de wetten van Kepler voor planeetbewegingen) is een fundamentele uitdaging in de wetenschappelijke ontdekking en AI. Hoewel Large Language Models (LLM's) uitblinken in structureel redeneren, is hun vermogen om interpreteerbare, contextuele symbolische structuren (zoals vergelijkingen of logische regels) af te leiden uit tijdreeksen nog onvoldoende onderzocht.

Bestaande methoden hebben beperkingen:

Traditionele methoden (zoals Genetic Programming) focussen vaak op een goede numerieke fit, maar missen interpreteerbaarheid of wetenschappelijke context.
Huidige LLM-benaderingen gebruiken modellen vaak slechts als "functie-generatoren" zonder diepere, theoretisch onderbouwde redenering, wat leidt tot vergelijkingen die weliswaar de data beschrijven, maar wetenschappelijk onlogisch zijn.
Beperkte reikwijdte: Veel onderzoek beperkt zich tot eenvoudige algebraïsche vergelijkingen en negeert logische netwerken of causale relaties.

2. Methodologie (Methodology)

De auteurs introduceren SymbolBench, een uitgebreide benchmark die drie kerntaken omvat:

Multivariate Symbolische Regressie (CDEs): Het herstellen van gekoppelde differentiaalvergelijkingen voor continue data.
Boolean Network Inference (BNs): Het identificeren van logische regels voor discrete systemen.
Causal Discovery (SCMs): Het ontdekken van gestructureerde causale grafen voor multivariate data.

Het Unified Symbolic Reasoning Framework:
Om de LLM's te verbeteren, stellen de auteurs een gesloten lus-systeem voor dat LLM's integreert met Genetic Programming (GP):

Proposal Generation: LLM's genereren kandidaat-expressies met behulp van verschillende prompting-strategieën (Naive, Base, Context, en Chain-of-Thought).
Verification: Een dubbele strategie waarbij kandidaten worden beoordeeld op numerieke fit (bijv. $R^2$ of F1-score) en kwalitatieve fit (via een "LLM-as-Judge" die kijkt naar wetenschappelijke plausibiliteit en logische coherentie).
Context Management: Een systeem dat de beste eerdere resultaten opslaat en gebruikt om de volgende generatie voorstellen te verfijnen.
Hybrid Method: Een combinatie waarbij LLM's de initiële populatie voor GP verbeteren of de evaluatie van GP-resultaten sturen met wetenschappelijke kennis.

3. Belangrijkste Bijdragen (Key Contributions)

SymbolBench Benchmark: Een nieuwe, real-world dataset die wetenschappelijke domeinen (biologie, fysica, gezondheidszorg) combineert met diverse symbolische vormen en complexiteitsniveaus.
Unified Framework: Een raamwerk dat LLM's in staat stelt om zowel "voorspeller" als "rechter" te zijn in een iteratief proces van hypothese-generatie en verfijning.
Empirische Inzichten: Een diepgaande analyse van de sterktes en zwaktes van huidige LLM's en Multimodale LLM's (MLLM's) in temporele symbolische redenering.

4. Resultaten (Results)

De experimenten met modellen zoals Qwen2.5, Llama-3.2 en GPT-4o-mini leverden de volgende conclusies op:

Prestaties per taak: LLM's presteren superieur aan traditionele baselines bij multivariate symbolische regressie en causale ontdekking, maar blijven achter bij gespecialiseerde methoden (zoals LogicGep) bij Boolean netwerk-inferentie.
Context is cruciaal: Het toevoegen van domeinkennis en variabeledescripties (Context-aware prompting) verbetert de nauwkeurigheid en de generalisatie naar nieuwe scenario's (OOD) aanzienlijk.
Complexiteit vs. Generalisatie: De auteurs ontdekten dat de aanname "simpel is altijd beter" (Occam's Razor) niet altijd opgaat; complexere expressies kunnen soms betere generalisatie vertonen in wetenschappelijke contexten.
Hybride kracht: Het combineren van LLM's met Genetic Programming leidt tot de beste resultaten, omdat de LLM de "wetenschappelijke intuïtie" levert en GP de "numerieke precisie".

5. Betekenis (Significance)

Dit werk is van groot belang voor de Automated Scientific Discovery. Het laat zien dat LLM's niet alleen tekstuele samenvattingen kunnen maken van data, maar ook kunnen fungeren als actieve deelnemers in het wetenschappelijke proces door wetmatigheden te formuleren. De verschuiving van "data-fitting" naar "context-aligned reasoning" biedt een pad naar AI die niet alleen patronen herkent, maar ook de onderliggende natuurwetten begrijpt en kan communiceren.