Smooth multi-function evolutionary algorithm

In der Welt der Informatik gibt es eine hartnäckige Herausforderung, die als symbolische Regression bekannt ist. Stellen Sie sich einen Wissenschaftler vor, der eine große Menge an Datenpunkten gesammelt hat – etwa Messungen der Windgeschwindigkeit, Pollenkonzentrationen oder Fakultätsgehälter – und eine einzige mathematische Aussage finden möchte, die erklärt, wie diese Zahlen miteinander in Beziehung stehen. Das Ziel ist es, die verborgene Regel, die Gleichung, zu entdecken, die die Eingabedaten in den korrekten Ausgangswert umwandelt. Um dies zu erreichen, nutzen Computer oft eine Methode, die von der natürlichen Selektion inspiriert ist, bei der sie tausende von zufälligen mathematischen Sätzen generieren, testen, wie gut diese zu den Daten passen, und dann die besten davon mischen und mutieren lassen, um noch bessere Versionen zu erschaffen. Dieser Prozess ist jedoch oft unbeholfen. Der Computer behandelt die Bausteine dieser Sätze – wie Addition, Subtraktion oder Multiplikation – als starre, separate Werkzeuge. Der Wechsel von einem Werkzeug zu einem anderen ist wie ein plötzlicher Sprung in der Landschaft der Möglichkeiten, was es für den Computer schwierig macht, den sanften Pfad zur perfekten Antwort zu finden. Es ist ein wenig so, als würde man versuchen, einen Berg zu besteigen, bei dem sich das Gelände plötzlich von einem sanften Hang zu einer senkrechten Klippe wandelt; der Kletterer hat Schwierigkeiten, die richtige Richtung zu finden.

Die Forscher Peter Michalicek und Tomas Brandejsky von der Universität Pardubice in der Tschechischen Republik haben einen neuen Weg vorgeschlagen, um diese zerklüftete Landschaft zu glätten. Sie entwickelten ein System, bei dem der Computer nicht zwischen verschiedenen mathematischen Werkzeugen wählen muss, als wären sie unterschiedliche, getrennte Optionen. Stattdessen schufen sie ein einziges, flexibles Werkzeug, das sich fließend von einer Operation zur anderen verwandeln kann. In ihrem neuen Ansatz verwendet der Computer eine spezielle Kontrollvariable, einen einzigen Regler, der gedreht werden kann, um das Verhalten der Funktion schrittweise zu verändern. Wenn der Regler in einer Position steht, agiert das Werkzeug wie eine Addition; wenn er in eine andere Position gedreht wird, agiert es wie eine Multiplikation; und in der Mitte führt es eine Mischung aus beidem aus. Dies ermöglicht es dem Computer, kontinuierlich zwischen verschiedenen mathematischen Verhaltensweisen zu gleiten, an statt abrupte, erschütternde Sprünge zu machen. Durch dies verwandelten die Forscher die schwierige Suche nach einer komplexen, baumartigen Struktur in die einfachere Aufgabe, einen Satz von Zahlen abzustimmen, was den evolutionären Prozess effizienter macht und es unwahrscheinlicher macht, in Sackgassen stecken zu bleiben.

Die Forscher testeten diese Idee, indem sie ein System entwickelten, das sie einen „smooth multi-function evolutionary algorithm“ (glatten Multi-Funktions-Evolutionär-Algorithmus) nennen. Anstatt den Computer zufällig einen Baum aus verschiedenen mathematischen Operationen zusammenbauen zu lassen, zwangen sie ihn dazu, einen perfekten, symmetrischen Baum zu verwenden, bei dem jeder interne Knoten genau dieses gleiche, formveränderliche Werkzeug ist. Die einzigen Dinge, die sich während des Lernprozesses ändern, sind die Werte der Kontrollregler an jedem Knoten sowie die spezifischen Zahlen oder Variablen am unteren Ende des Baumes. Dieses Design vereinfacht das Problem erheblich. Da die Struktur des Baumes fixiert ist und die Übergänge zwischen den Operationen glatt verlaufen, kann der Computer Standard-Optimierungstechniken verwenden, um die besten Einstellungen zu finden, anstatt sich auf die chaotischeren und unvorhersehbareren Methoden verlassen zu müssen, die normalerweise für diese Art von Problem erforderlich sind. Die Forscher fanden heraus, dass dieser Ansatz es ihnen ermöglichte, komplexe Beziehungen mith- einer einzigen Kontrollvariable für beliebig viele Basisfunktionen darzustellen, was die Komplexität des Suchraums reduzierte.

Um zu sehen, ob diese Methode tatsächlich funktionierte, testete das Team ihren Algorithmus mit einer Vielzahl von Standard-Datensätzen, die zur Testung der symbolischen Regression verwendet werden, einschließlich Daten zu Windmustern, Pollenkonzentrationen und Universitätsgehältern der Fakultät. Sie verglichen ihre Ergebnisse mit mehreren anderen bekannten Methoden, einschließlich Systemen, die traditionelle genetische Programmierung verwenden, und solchen, die Evolution mit anderen Optimierungstechniken kombinieren. Die Ergebnisse zeigten, dass ihre Methode zwar manchmal länger auf einem Standard-Prozessor lief, sie aber äußerst effektiv darin war, genaue Modelle zu finden. In einigen Fällen, insbesondere wenn ihnen genügend Zeit gegeben wurde, um durch viele Generationen des Testens zu laufen, fanden ihre Algorithmen Lösungen, die so gut oder sogar besser als die etablierten Methoden waren. Beispielsweise erreichte ihr Verfahren bei einem Datensatz betreffend Fakultätsgehälter eine hohe Genauigkeit, die mit den Top-Performern mithielt. Bei einem anderen Datensatz bezüglich Winddaten lieferte es Ergebnisse, die mit den besten existierenden Werkzeugen vergleichbar waren.

Eine der bedeutendsten Erkenntnisse bezog sich darauf, wie gut die Modelle auf neue, unbekannte Daten generalisieren. In der künstlichen Intelligenz ist Overfitting (Überanpassung) ein häufiges Problem, bei dem ein Modell die Trainingsdaten so perfekt auswendig lernt, dass es bei neuen Informationen keine genauen Vorhersagen mehr treffen kann. Die Forscher maßen dies, indem sie die Fehlerrate auf den Trainingsdaten mit der Fehlerrate auf den Testdaten verglichen. Ihr „smooth multi-function“-Ansatz zeigte nur einen sehr geringen Anstieg der Fehlerrate beim Übergang von Training zu Test, was darauf hindeutet, dass die von ihm erstellten Modelle stabil und robust sind. Dies deutet darauf hin, dass die glatten Übergänge zwischen den mathematischen Operationen dem Algorithmus halfen, Lösungen zu finden, die die wahren zugrunde liegenden Muster der Daten erfassen, anstatt nur das Rauschen anzupassen. Die Forscher merkten an, dass ihre aktuelle Implementierung so geschrieben wurde, dass sie nicht vollständig auf Geschwindigkeit optimiert war, was die Anzahl der Tests, die sie in einer festen Zeit durchführen konnten, einschränkte. Sie schlugen vor, dass sich die Leistung weiter verbessern könnte, wenn der Code so umgeschrieben würde, dass er schneller läuft, beispielsweise durch die Verwendung spezialisierter Computerhardware.

Die Studie kommt zu dem Schluss, dass es möglich ist, die Suche nach mathematischen Modellen effizienter und zuverlässiger zu gestalten, indem man die starren, sprunghaften Übergänge traditioneller evolutionärer Algorithmen durch glatte, kontinuierliche ersetzt. Die Forscher demonstrierten, dass eine einzige Kontrollvariable effektiv den Übergang zwischen mehreren verschiedenen mathematischen Funktionen steuern konnte, was die Komplexität des Problems reduzierte, ohne die Genauigkeit zu opfern. Während die Methode kein Allheilmittel ist, das jedes Problem sofort löst, bietet sie eine vielversprechende Alternative für das Finden der verborgenen Regeln in Daten. Die Arbeit legt nahe, dass die Art und Weise, wie wir die Bausteine unserer Modelle darstellen, genauso wichtig ist wie die Algorithmen, die wir nutzen, um sie zu suchen. Indem sie die Landschaft geglättet haben, haben die Forscher einen klareren Pfad vorgezeichnet, dem Computer folgen können, was potenziell zu genaueren und zuverlässigeren Modellen in Bereichen von der Umweltwissenschaft bis zur Wirtschaft führt. Der Code und die Ergebnisse dieser Studie sind für andere verfügbar, um sie zu untersuchen und darauf aufzubauen, was zu weiterer Exploration dieses glatteren Weges zur Entwicklung mathematischer Lösungen einlädt.