Executable Chain-of-Thought Symbolic Regression with Large Language Models for Automated Physical Discovery
Dit artikel introduceert \ours, een verificatie-dragend framework dat het op grote taalmodellen gebaseerde symbolische regressie transformeert naar een rigoureus proces door chain-of-thought redeneren uit te voeren als een getypeerde Symbolische Afleidingsgraaf, waarbij harde restricties en zachte verificatiesignalen worden afgedwongen om compacte, machine-controleerbare natuurwetten met uitvoerbare afleidingssporen te produceren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wetenschap voelt vaak als een proces van compressie. Een wetenschapper observeert een enorme verzameling gebeurtenissen — planeten die over de hemel bewegen, chemicaliën die reageren in een kolf, of water dat door een pijp stroomt — en probeert die chaos te distilleren tot één enkele, compacte wiskundige wet. Deze wet is niet louter een hulpmiddel om het volgende datapunt te voorspellen; het is een verklaring van hoe de wereld werkt, een verklaring die kan worden geïnspecteerd, begrepen en uitgebreid naar nieuwe situaties. Eeuwenlang vereiste het vinden van deze wetten menselijke intuïtie, maar de enorme omvang van moderne data heeft de zoektocht ernaar steeds moeilijker gemaakt. De ruimte van mogelijke vergelijkingen is zo uitgestrekt dat zelfs krachtige computers moeite hebben om de juiste te vinden zonder te verdwalen in een zee van onjuiste mogelijkheden. De uitdaging is niet alleen om een formule te vinden die past bij de data die we hebben, maar om de specifieke formule te vinden die waar blijft wanneer de omstandigheden veranderen, wanneer de data ruis bevat, of wanneer we naar een deel van het systeem kijken dat we nog nooit eerder hebben gezien.
In de afgelopen jaren hebben onderzoekers zich tot grote taalmodellen gewend — systemen die zijn getraind op enorme hoeveelheden tekst en code — om te helpen bij deze zoektocht. Deze modellen zijn uitstekend in het oproepen van bekende patronen en het suggereren van plausibele structuren voor vergelijkingen. Er is echter een aanzienlijke kloof gebleven tussen wat deze modellen kunnen voorstellen en wat ze kunnen bewijzen. Een model kan een formule voorstellen die er aan de oppervlakte correct uitziet, maar de stappen die het heeft genomen om daartoe te komen, kunnen logisch gebrekkig, fysiek onmogelijk of wiskundig instabiel zijn. Het is als een student die het juiste antwoord op een toets opschrijft, maar de berekening niet kan laten zien, of erger nog, werk laat zien dat fouten bevat die pas duidelijk worden wanneer het probleem een klein beetje wordt gewijzigd. De bestaande methoden behandelden het redeneerproces vaak als een vrij vorm gesprek, waarbij alleen de uiteindelijke vergelijking telde, waardoor het pad naar die vergelijking ongeverifieerd en potentieel onbetrouwbaar bleef.
Om dit aan te pakken, hebben de auteurs van deze studie een nieuw raamwerk ontwikkeld genaamd CoT-SR. Dit systeem verandert de manier waarop computers zoeken naar wetenschappelijke wetten door het redeneerproces zelf te behandelen als een rigoureuze, stapsgewijze constructie in plaats van een gok-en-check spel. In plaats van een taalmodel een paragraaf tekst te laten schrijven om een vergelijking te rechtvaardigen, dwingt het systeem het model om specifieke, uitvoerbare acties voor te stellen die een eenvoudige beginuitdrukking transformeren naar een complexere een. Elke stap is een getypeerde actie, zoals het toevoegen van een nieuwe term, het veranderen van een variabele of het toepassen van een bekende natuurkundige regel. Cruciaal is dat elke stap onmiddellijk wordt gecontroleerd door een apart, onafhankelijk systeem om te waarborgen dat deze geldig is. Het systeem verifieert dat de wiskunde syntactisch correct is, dat de fysieke eenheden zinvol zijn (bijvoorbeeld door ervoor te zorgen dat je geen meters bij seconden optelt), en dat de vergelijking redelijk gedraagt onder extreme omstandigheden.
De kerninnovatie van dit werk is de creatie van een "symbolische afleidingsgraaf". Stel je een kaart voor waarbij elk pad een andere manier vertegenwoordigt om een vergelijking op te bouwen. Bij eerdere methoden kon de computer van het ene idee naar het andere springen op basis van een vage intuïtie. In deze nieuwe aanpak kan de computer alleen een pad volgen als de volgende stap voldoet aan een strikte set regels. Als een voorgestelde stap de wetten van de fysica of de regels van de algebra schendt, wordt het pad onmiddellijk afgesloten en verspilt het systeem geen tijd aan het verkennen van die doodlopende weg. Dit proces verandert de zoektocht naar een wet in een reis door een landschap van geldige mogelijkheden, waarbij elke beweging gedocumenteerd en geverifieerd wordt. Het systeem houdt een verslag bij van elke succesvolle stap en elke mislukte poging, waardoor een volledig, controleerbaar spoor ontstaat dat precies uitlegt hoe de uiteindelijke vergelijking is afgeleid en waarom alternatieve paden zijn afgewezen.
De onderzoekers testten dit systeem op een breed scala aan uitdagingen, variërend van klassieke natuurkundige problemen met betrekking tot planetaire beweging en thermodynamica tot complexe, synthetische datasets die kunstmatige intelligentie proberen te misleilen. Ze ontdekten dat CoT-SR aanzienlijk beter was in het vinden van de juiste vergelijkingen dan eerdere methoden. In tests waarbij het doel was om een bekende natuurkundige wet exact te herstellen, behaalde het nieuwe systeem het hoogste exacte herstelpercentage onder de vergeleken methoden, zoals gedetailleerd in de benchmarkresultaten, waarmee het de op één na beste aanpak overtrof. Belangrijker nog, het systeem bleek veel robuuster wanneer het werd geconfronteerd met ruis in de data of wanneer het werd gevraagd het gedrag te voorspellen buiten het bereik van de oorspronkelijke metingen. Terwijl andere methoden vaak faalden wanneer de data licht vervormd was of wanneer de invoervariabelen naar nieuwe extremen werden gestrekt, behield CoT-SR zijn nauwkeurigheid. Dit komt omdat het systeem prioriteit geeft aan vergelijkingen die structureel solide en fysiek consistent zijn, in plaats van aan vergelijkingen die toevallig perfect passen bij de huidige cijfers.
Een belangrijk kenmerk van het nieuwe raamwerk is het vermogen om actief de eigen hypothesen te testen. Wanneer het systeem twijfelt tussen twee concurrerende vergelijkingen, kiest het niet simpelweg de vergelijking die er op papier beter uitziet. In plaats daarvan berekent het waar de twee vergelijkingen het meest van mening verschillen en vraat het om een nieuwe meting op dat specifieke punt. Dit is vergelijkbaar met een wetenschapper die een kritiek experiment ontwerpt om tussen twee theorieën te differentiëren. Door de beperkte middelen te richten op de meest informatieve datapunten, kan het systeem onjuiste mogelijkheden sneller uitsluiten en zich concentreren op de ware wet. In simulaties maakte deze actieve aanpak het systeem in staat om foutieve antwoorden veel sneller te elimineren dan wanneer het willekeurig data zou hebben verzameld. Het resultaat is niet alleen een uiteindelijke vergelijking, maar een compleet pakket dat de vergelijking, de stapsgewijze afleiding en een verslag van het bewijs dat het ondersteunt, bevat.
De studie benadrukt ook de beperkingen van het uitsluitend vertrouwen op het geheugen van een taalmodel. Veel eerdere systemen hadden moeite wanneer ze werden geconfronteerd met vergelijkingen die licht waren gewijzigd of vermomd, omdat ze simpelweg patronen uit hun trainingsdata ophaalden in plaats van werkelijk de onderliggende logica te begrijpen. CoT-SR leunt daarentegen op de geldigheid van de afleidingsstappen. Zelfs als het model een specifieke vergelijking nog nooit heeft gezien, kan het deze correct construeren als de logische stappen solide zijn. Dit suggereert dat voor wetenschappelijke ontdekking het vermogen om het proces te verifiëren belangrijker is dan het vermogen om het antwoord te herinneren. De onderzoekers ontdekten dat wanneer zij de strikte verificatiestappen verwijderden, de prestaties van het systeem aanzienlijk daalden, wat bevestigt dat het rigoureuze controleren van elke stap is wat de aanpak effectief maakt.
Uiteindelijk vertegenwoordigt dit werk een verschuiving in de manier waarop kunstmatige intelligentie kan assisteren bij wetenschappelijke ontdekkingen. Het beweegt weg van het idee van een 'black box' die een voorspelling uitspuugt en naar een transparant systeem dat kennis stapsgewijs opbouwt, waarbij elke claim wordt ondersteund door bewijs. De uiteindelijke output is niet slechts een formule, maar een geverifieerd verhaal van hoe die formule is gevonden. Dit onderscheid is essentieel voor de wetenschap, waar het begrijpen van het "waarom" vaak even belangrijk is als het "wat". Door te garanderen dat elke tussenliggende stap uitvoerbaar en controleerbaar is, hebben de onderzoekers een instrument gecreëerd dat wetenschappers kan helpen navigeren door de complexe zoektocht naar nieuwe wetten, waarbij een niveau van betrouwbaarheid en helderheid wordt geboden dat voorheen onbereikbaar was. Het systeem beweert niet onfeilbaar te zijn en vereist nog steeds menselijk toezicht, maar het biedt een krachtige nieuwe manier om de patroonherkennende kracht van taalmodellen te combineren met de rigoureuze eisen van de fysieke wetenschap.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.