Symbolic Regression Using Synergistic Basis Functions
Dieses Paper stellt die Synergistic Basis Functions Regression (SBFR) vor, eine nicht-evolutionäre symbolische Regressionsmethode, die synergetische Basisfunktionen dynamisch generiert und auswählt, um eine wettbewerbsfähige Vorhersageleistung mit kompakten Merkmalsrepräsentationen zu erzielen, wobei sie die Genauigkeit im Vergleich zu Baseline-Modellen signifikant übertrifft und gleichzeitig die Notwendigkeit einer rechenintensiven evolutionären Suche eliminiert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Datenwissenschaft versuchen Forscher ständig, die verborgenen Regeln zu finden, die einen Satz von Zahlen mit einem anderen verbinden. Stellen Sie sich vor, Sie haben eine Liste von Eingaben, wie etwa die Zutaten für einen Kuchen, und eine Liste von Ergebnissen, wie etwa die Höhe, in der der Kuchen aufgeht. Das Ziel besteht darin, das exakte mathematische Rezept aufzuschreiben, das die Zutaten in das Ergebnis verwandelt. Dies wird als Regression bezeichnet. Für einfache Probleme reicht vielleicht eine gerade Linie aus, aber die reale Welt ist selten so einfach. Oft ist die Beziehung verdreht und verschlungen, was komplexe Formeln erfordert, um sie genau zu beschreiben.
Seit Jahrzehnten nutzen Wissenschaftler eine Methode namens symbolische Regression, um dieses Problem zu lösen. Anstatt nur eine Formel zu erraten, durchsucht dieses Computergprogramm eine riesige Bibliothek möglicher mathematischer Ausdrücke, um diejenige zu finden, die am besten zu den Daten passt. Der große Vorteil dieses Ansatzes ist, dass die endgültige Antwort eine klare, lesbare Gleichung ist, die ein Mensch lesen und verstehen kann. Das Finden dieser perfekten Gleichung ist jedoch vergleichbar mit der Suche nach einer bestimmten Nadel in einem Heuhaufen, der ständig wächst. Die traditionelle Art und Weise, dies zu tun, beinhaltet einen Prozess, der der Evolution ähnelt, bei dem tausende von Kandidatenformeln über viele Generationen hinweg konkurrieren, mutieren und sich fortpflanzen. Dies kann zwar funktionieren, ist aber unglaublich langsam und rechenintensiv und erfordert oft enorme Computerleistung, nur um eine Lösung zu finden, die möglicherweise unnötig kompliziert ist.
Ein Forscherteam der Amirkabir University of Technology im Iran hat einen anderen Weg vorgeschlagen, um dieses Problem anzugehen. Sie führten eine neue Methode namens Synergistic Basis Functions Regression, oder SBFR, ein, die die langsame, evolutionäre Suche vollständig überspringt. Anstatt tausende von Formeln gegeneinander kämpfen zu lassen, baut dieser neue Ansatz die Lösung Stück für Stück auf, wie ein Handwerker, der sorgfältig einzelne Werkzeuge auswählt und einpasst. Der Kern der Idee besteht darin, mathematische Einzelteile, sogenannte Basisfunktionen, zu generieren und dann zu testen, wie gut sie zusammenarbeiten. Den Forschern wurde klar, dass ein einzelnes mathematisches Stück für sich genommen vielleicht nicht sehr nützlich erscheint, aber in Kombination mit dem richtigen Partner unglaublich leistungsstark werden kann. Dieses Konzept ist als Synergie bekannt: Das Ganze ist größer als die Summe seiner Teile.
Die Forscher entwarfen ihr System so, dass es wie ein dynamischer Editor agiert. Es beginnt mit einem leeren Satz von Werkzeugen und beginnt, neue mathematische Ausdrücke mit einer Standardmethode zu generieren, die vielfältige Strukturen erzeugt. Für jeden neuen Ausdruck, den das System erstellt, stellt es zwei Fragen. Erstens: Verbessert dieses neue Stück das Modell, wenn wir es einfach zu unserer aktuellen Sammlung hinzufügen? Zweitens: Könnte dieses neue Stück eine bessere Arbeit leisten, wenn wir es gegen eines der Stücke austauschen würden, die wir bereits besitzen? Das System misst die Verbesserung der Vorhersagegenauigkeit für beide Szenarien. Wenn das Hinzufügen des neuen Stücks hilft, wird es behalten. Wenn der Austausch gegen ein vorhandenes Stück das Modell noch besser macht, wird das alte Stück verworfen und ersetzt. Dieser Prozess wiederholt sich und verfeinert die Sammlung mathematischer Werkzeuge ständig, bis das Modell so genau und kompakt wie möglich ist.
Um zu testen, ob diese neue Methode funktionierte, wandten die Forscher sie auf neun verschiedene Datensätze an, die von synthetischen Problemen zur Prüfung mathematischer Fähigkeiten bis hin zu realen Daten wie Betonfestigkeit und Immobilienpreisen reichten. Sie verglichen ihr neues System mit dreizehn anderen Methoden, darunter die traditionellen evolutionären Ansätze und Standard-Modelle des maschinellen Lernens. Die Ergebnisse zeigten, dass die neue Methode äußerst effektiv war. Im Durchschnitt reduzierten die mit diesem neuen Ansatz erstellten Modelle ihre Vorhersagefehler um etwa vierzig Prozent im Vergleich zu den Standardmethoden. Sie verbesserten auch die Fähigkeit der Modelle, die Daten zu erklären, um über zwanzig Prozent. Entscheidend war, dass die neue Methode dies ohne die hohe Rechenlast der evolutionären Suche erreichte.
Die vielleicht beeindruckendste Erkenntnis war, wie effizient das neue System darin war, die Modelle einfach zu halten. Während einige der traditionellen Methoden Modelle mit Hunderten oder sogar Tausenden von mathematischen Begriffen erzeugten, was sie für Menschen schwer interpretierbar machte, wählte die neue Methode typischerweise nur zwischen vier und zwölf Teile aus, um ein funktionierendes Modell aufzubauen. Dies führte zu einer endgültigen Gleichung, die nicht nur genau, sondern auch kurz genug war, um leicht verstanden und überprüft werden zu können. Die Forscher fanden heraus, dass das beste Gleichgewicht zwischen Genauigkeit und Einfachheit erreicht wurde, wenn die neue Methode mit einem spezifischen Algorithmus des maschinellen Lernens kombiniert wurde, der als Random Forest bekannt ist und als finaler Entscheidungsträger unter Verwendung der ausgewählten mathematischen Teile fungierte.
Die Studie hob auch hervor, dass der Erfolg der Methode davon abhing, wie gut die mathematischen Teile zusammenarbeiteten. Ein Stück, das isoliert betrachtet schwach schien, konnte ein Starspieler werden, wenn es mit den richtigen Nachbarn kombiniert wurde. Durch die Konzentration auf diese kooperativen Beziehungen anstatt auf die Stärke der einzelnen Teile vermied das System die Unordnung durch redundante oder nutzlose Formeln. Dieser Ansatz erwies sich als lebensfähige Alternative zu den traditionellen Brute-Force-Evolution-Methoden und bot einen Weg, klare mathematische Regeln aus komplexen Daten zu entdecken, ohne den massiven Rechenaufwand. Die Arbeit legt nahe, dass wir, indem wir darüber nachdenken, wie die Merkmale von Daten interagieren und einander unterstützen, intelligentere, sauberere und verständlichere Modelle für die Zukunft bauen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.