In Context Learning and Reasoning for Symbolic Regression with Large Language Models
Dit onderzoek toont aan dat het gebruik van chain-of-thought prompting en wetenschappelijke context in natuurlijke taal de prestaties van grote taalmodellen bij symbolische regressie verbetert, waardoor ze succesvol complexe vergelijkingen kunnen herontdekken en iteratief kunnen optimaliseren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wiskunde ontdekken met een slimme chatbot: Een verhaal over LLM's en Symbolische Regressie
Stel je voor dat je een detective bent die een oude, beschadigde schatkaart heeft gevonden. Op de kaart staan alleen maar getallen en coördinaten, maar de sleutel tot de schat is een wiskundige formule die ontbreekt. Je doel is om die formule te raden.
Vroeger deden computers dit door miljoenen willekeurige combinaties van getallen en tekens te proberen, net als iemand die blindelings een slot opent door elke mogelijke sleutel te proberen. Dit heet Symbolische Regressie. Het werkt vaak goed, maar het is traag en de computer "weet" niet waarom een formule logisch is; het ziet alleen of het klopt.
In dit onderzoek proberen de auteurs iets nieuws: ze gebruiken een Grote Taalmodel (LLM), zoals de slimme chatbots die we vandaag de dag kennen (bijvoorbeeld GPT-4), om deze detective-werkzaamheid te doen. Maar ze doen het op een slimme manier.
Hier is hoe het werkt, vertaald in alledaagse taal:
1. De Chatbot als "Wiskundige Schrijver", niet als "Rekenmachine"
Stel je voor dat je een zeer intelligente student vraagt om een wiskundige vergelijking op te lossen. Als je de student direct de getallen geeft en vraagt: "Wat is het antwoord?", zal hij vaak gokken. Hij kan de getallen zien, maar hij is niet goed in het exact berekenen van complexe getallen; hij "hallucineert" (droomt) soms verkeerde antwoorden.
De auteurs van dit paper hebben een slimme truc bedacht:
- De Student (De LLM): Deze doet alleen het creatieve werk. Hij kijkt naar de data en zegt: "Ik denk dat de formule eruit moet zien als A maal B gedeeld door C plus D." Hij bedenkt de structuur van de vergelijking.
- De Rekenmachine (Python/SciPy): Zodra de student een idee heeft, geven ze het aan een super-snelle rekenmachine. Die past de getallen precies aan zodat de lijn perfect door de punten loopt.
- De Feedback: De rekenmachine zegt dan terug: "Hé, je idee was goed, maar de getallen waren iets anders. De formule was ook wel erg lang en ingewikkeld. Probeer het volgende keer iets simpeler."
De student leert van deze feedback en probeert het opnieuw. Dit is een iteratieve cyclus: denken, controleren, verbeteren.
2. Het "Schrijfblokje" (Scratchpad)
Een groot probleem met slimme chatbots is dat ze soms te snel een antwoord geven zonder na te denken. De auteurs hebben de chatbot daarom een schrijfblokje laten gebruiken.
Voordat de chatbot de formule opschrijft, moet hij eerst zijn gedachten opschrijven:
- "Ik zie dat als de druk stijgt, het gewicht ook stijgt, maar dan langzamer."
- "Dit lijkt op een bekende theorie over gas, maar dan met een extra twist."
- "Misschien moet ik een breuk gebruiken in plaats van een vermenigvuldiging."
Dit "schrijven van gedachten" helpt de chatbot om logischer na te denken, net als wanneer jij een wiskundeprobleem oplost door eerst je stappen op een kladblaadje te zetten voordat je het eindantwoord opschrijft.
3. De Context: De "Wetenschappelijke Vertelstijl"
Normaal gesproken geven computers alleen een lijst met getallen. Maar hier geven ze de chatbot ook een verhaal. Ze zeggen bijvoorbeeld: "Dit zijn gegevens over hoe stikstofgas zich vastzet aan mica (een steen). De ene variabele is de druk, de andere is hoeveel gas er vastzit."
Dit is alsof je de detective niet alleen de schatkaart geeft, maar ook vertelt: "We zoeken naar een formule die past bij hoe gas zich gedraagt in de natuur."
Hierdoor kan de chatbot zijn kennis van de echte wereld gebruiken. Hij weet dat gas niet negatief kan zijn, of dat het bij heel lage druk bijna verdwijnt. Hij gebruikt deze "gezonde verstand"-regels om slechte formules te vermijden.
Wat hebben ze ontdekt?
De auteurs hebben dit systeem getest op drie soorten problemen:
- De Bekende Wetten (Langmuir): Ze gaven de chatbot data over gas en vroegen of hij de bestaande formule kon herontdekken. Met het schrijfblokje en de context slaagde de chatbot er bijna altijd in om de juiste formule te vinden, zelfs zonder dat hij de formule uit zijn hoofd kende.
- De Moeilijke Puzzel (Dubbel-site Langmuir): Dit was een complexere situatie. Hier zag je dat de chatbot soms formules vond die wel goed leken, maar fysisch onzin waren (zoals negatieve hoeveelheden gas). Maar door de chatbot te dwingen om rekening te houden met de natuurwetten (via de prompt), vond hij uiteindelijk de juiste, complexe oplossing.
- De Onbekende Schat (Nikuradse Data): Dit was data over wrijving in ruwe pijpen, waar niemand de exacte formule voor kent. Hier deed de chatbot het iets minder perfect dan de allerbeste traditionele computers, maar hij deed het verrassend goed! Hij vond nieuwe, bruikbare formules die de data goed beschreven, en dat allemaal door gewoon te "praten" met de computer in gewone taal.
Waarom is dit belangrijk?
Vroeger moest je een programmeur zijn om deze geavanceerde wiskundige zoektochten te doen. Je moest code schrijven om de zoekruimte in te perken.
Met deze methode kun je het gewoon doen door een vriendelijk berichtje te sturen: "Zoek een formule voor deze data, maar zorg dat hij voldoet aan de wetten van de thermodynamica en gebruik een schrijfblokje om na te denken."
Het is alsof je een team hebt van een creatieve denker (de chatbot) en een nauwkeurige rekenmachine (de code), die samenwerken door middel van een gesprek. Het maakt wetenschappelijke ontdekking toegankelijker voor iedereen, niet alleen voor programmeurs.
Kortom: Ze hebben bewezen dat je slimme chatbots kunt gebruiken om nieuwe wiskundige wetten te vinden, zolang je ze maar de juiste instructies geeft, een schrijfblokje voor hun gedachten, en de context van de echte wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.