InsightSR: Refining Symbolic Regression Search Spaces via Parallel Semantic and Structural LLM Guidance
InsightSR ist ein neuartiges Framework für die symbolische Regression, das die PySR-Genetic-Programming-Engine verbessert, indem es Large Language Models nutzt, um den Suchraum durch semantische und strukturelle Führung iterativ zu verfeinern und so durch die Transformation der Konstruktion tiefer Ausdrucksbäume in die Assemblierung flacher Bäume über semantisch informierte Merkmale eine beispiellose Genauigkeit und Generalisierung zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Wissenschaft hat sich schon immer auf eine einfache, kraftvolle Idee verlassen: dass das komplexe Verhalten der natürlichen Welt durch prägnante mathematische Gesetze beschrieben werden kann. Wenn ein Physiker auf einen fallenden Apfel oder eine Planetenbahn blickt, sieht er nicht nur Bewegung; er sucht nach der verborgenen Gleichung, die sie regiert. Diese Suche nach der zugrunde liegenden Formel wird als symbolische Regression bezeichnet. Im Gegensatz zu Standard-Computermodellen, die Muster lernen, indem sie Millionen interner Regler anpassen, um Daten anzupassen, versucht die symbolische Regression, die eigentliche Gleichung selbst zu formulieren, unter Verwendung vertrauter mathematischer Bausteine wie Addition, Multiplikation und trigonometrischen Funktionen. Das Ziel ist es, eine Regel zu finden, die nicht nur genau, sondern auch einfach genug ist, um von einem Menschen gelesen und verstanden zu werden. Die Suche nach diesen Regeln ist jedoch unglaublich schwierig. Die Anzahl der möglichen mathematischen Kombinationen wächst so schnell an, dass sie zu einem riesigen, chaotischen Ozean an Möglichkeiten wird. Die meisten Computersuchen gehen sich in diesem Ozean verirren, wobei sie Formeln produzieren, die zwar perfekt zu den Daten passen, aber keinen physikalischen Sinn ergeben, oder sie scheitern schlicht daran, das wahre Gesetz zu finden, weil der Suchraum zu groß ist, um ihn vollständig zu durchlaufen.
Ein Team von Forschern hat einen neuen Ansatz entwickelt, um dieses Chaos zu navigieren, indem es die rohe Suchkraft evolutionärer Algorithmen mit der Denkfähigkeit großer Sprachmodelle kombiniert. Ihr System namens InsightSR bittet den Computer nicht darum, direkt die endgültige Antwort zu erraten. Stattdessen nutzt es das Sprachmodell als Wegweiser, um die Suche selbst umzugestalten. Stellen Sie sich ein Team von Entdeckern vor, das versucht, einen bestimmten Pfad durch einen dichten, unkartierten Wald zu finden. Bei der alten Methode würden die Entdecker ziellos umherwandern, in der Hoffnung, zufällig auf den richtigen Pfad zu stoßen. In dieser neuen Methode fungiert das Sprachmodell als erfahrener Führer, der das allgemeine Gelände kennt. Es geht nicht den Pfad für sie, aber es sagt ihnen, welche Richtungen physikalisch unmöglich sind, und schlägt vor, welche Werkzeuge für die Reise nützlich sein könnten.
Das System arbeitet, indem es die Führung in zwei komplementäre Ströme aufteilt. Der erste Strom konzentriert sich auf das „Skelett“ der Gleichung. Das Sprachmodell betrachtet die physikalischen Einheiten der Daten – etwa ob eine Variable Zeit, Distanz oder Masse repräsentiert – und schlägt grundlegende Strukturen vor, die dimensionskonsistent sein müssen. Dies bedeutet, dass es jede mathematische Kombination ausschließt, die gegen die Gesetze der Physik verstoßen würde, wie etwa das Addieren einer Zeitmessung zu einer Distanz. Indem es die Suche mit diesen physikalisch plausiblen Ausgangspunkten anlegt, vermeidet das System, Zeit mit Milliarden unmöglicher Formeln zu verschwenden. Der zweite Strom konzentriert sich auf die Zutaten selbst. Das Sprachmodell schlägt neue Wege vor, die Rohdaten zu transformieren, wie etwa das Quadrieren einer Variablen oder das Bilden ihres Sinus, basierend auf Mustern, die es in früheren Versuchen gesehen hat. Diese neuen Merkmale werden dem Pool der verfügbaren Zutaten hinzugefügt. Mit der Zeit wird der Pool der Zutaten reicher, was es dem Suchalgorithmus ermöglicht, komplexe Beziehungen durch einfache, flache Kombinationen aufzubauen, anstatt zu versuchen, tiefe, verschlungene Bäume aus Rohdaten zu konstruieren.
Dieser Prozess ist keine einmalige Vermutung, sondern eine kontinuierliche Schleife der Verfeinerung. Nachdem der Computer eine Reihe von Kandidatengleichungen generiert hat, bewertet das Sprachmodell diese. Es prüft nicht nur, wie gut sie zu den Zahlen passen, sondern auch, wie nützlich die neuen Merkmale waren und ob die Struktur sinnvoll ist. Dieses Feedback wird in einer dynamischen Wissensdatenbank gespeichert, die die nächste Suchrunde informiert. Das System lernt aus seinen Erfolgen und Misserfolgen und verengt die Suche schrittweise auf die vielversprechendsten Lösungen. Dies schafft einen selbstkorrigierenden Zyklus, in dem die Suche mit jeder Iteration fokussierter und effizienter wird.
Die Forscher haben diese Methode an drei unterschiedlichen Herausforderungen getestet. Zuerst verwendeten sie einen Benchmark aus 100 berühmten physikalischen Gleichungen, die von der klassischen Mechanik bis zur Quantentheorie reichen. In diesem Test gelang es dem System in 95 % der Fälle, die exakte Originalformel wiederherzustellen, was eine signifikante Verbesserung gegenüber bisherigen Methoden darstellt. Es schnitt auch außergewöhnlich gut bei einem breiteren Spektrum wissenschaftlicher Probleme in den Bereichen Chemie, Biologie und Materialwissenschaft ab und erreichte eine Genauigkeit von über 80 % bei Aufgaben, die komplexe Transformationen erforderten. Schließlich testete das Team das System an realen Daten, wie etwa den Vibrationen eines Oszillators und den Wachstumsmustern von Bakterien. In diesen Szenarien fand das System nicht nur genaue Formeln, sondern behielt seine Leistung auch bei Tests mit zuvor ungesehenen Daten bei, was eine starke Fähigkeit zur Generalisierung demonstriert.
Die Ergebnisse legen nahe, dass es durch die Einbettung eines Sprachmodells als steuernde Ebene um eine traditionelle Suchmaschine herum möglich ist, die doppelten Herausforderungen des riesigen Suchraums und der Notwendigkeit physikalischer Konsistenz zu begegnen. Das System ersetzt nicht die evolutionäre Suche; es verfeinert sie und verwandelt eine blinde, zufällige Exploration in eine zielgerichtete, geführte Entdeckung. Indem es die Last von der Konstruktion tiefer, komplexer Bäume aus Rohvariablen hin zur Assemblierung einfacher Kombinationen aus einem reichhaltigen, vor-angereicherten Satz von Merkmalen verlagert, macht die Methode die Entdeckung wissenschaftlicher Gesetze effizienter und zuverlässiger. Dieser Ansatz bietet einen praktischen Weg für die automatisierte wissenschaftliche Entdeckung und zeigt, dass die Kombination aus menschähnlichem Denken und maschinengestützter Suche die verborgenen mathematischen Gesetze offenbaren kann, die unsere Welt regieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.