An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

In der weiten Landschaft der modernen Wissenschaft und Technik ist die Vorhersage, wie sich Systeme im Laufe der Zeit verändern, eine grundlegende Herausforderung. Ob man nun die Umlaufbahn eines Satelliten verfolgt, die Ausbreitung einer Krankheit modelliert oder den Wärmefluss durch ein Material simuliert – Wissenschaftler verlassen sich auf eine spezifische Art von mathematischer Regel, die als Differentialgleichung bekannt ist. Diese Gleichungen beschreiben, wie sich eine Größe in Relation zu sich selbst und ihrer Umgebung verändert. Jahrzehntelang war das Lösen dieser Gleichungen das Terrain klassischer numerischer Methoden, die Probleme in winzige, handhabbare Schritte zerlegen. Obwohl diese traditionellen Ansätze zuverlässig sind, können sie rechenintensiv werden und Schwierigkeiten mit komplexen, hochdimensionalen Problemen haben. In den letzten Jahren ist ein neuer Ansatz entstanden, der dem Bereich der künstlichen Intelligenz entlehnt wurde. Forscher haben begonnen, neuronale Netze einzusetzen – Computersysteme, die vom menschlichen Gehirn inspiriert sind –, um die Lösungen dieser Gleichungen zu erlernen und zu approximieren. Diese Systeme, bekannt als Physics-Informed Neural Networks (physik-informierte neuronale Netze), werden nicht nur mit Daten, sondern auch mit den physikalischen Gesetzen selbst trainiert, was es ihnen ermöglicht, Lösungen zu finden, die die zugrunde liegende Wissenschaft respektieren.

Damit diese neuronalen Netze jedoch funktionieren können, benötigen sie einen spezifischen internen Mechanismus, um Komplexität und Nichtlinearität einzuführen, ähnlich einem Schalter, der einen Schaltkreis dazu befähigt, mehr zu tun, als nur Strom direkt hindurchzuleiten. Dieser Mechanismus wird als Aktivierungsfunktion bezeichnet. Sie bestimmt, wie das Netzwerk Informationen in jedem Schritt verarbeitet, und formt seine Fähigkeit, zu lernen und die korrekte Antwort zu approximieren. Lange Zeit war die Wahl der zu verwendenden Aktivierungsfunktion in diesen wissenschaftlichen Lösern eher ein Ratespiel, wobei Forscher oft eine Funktion aufgrund von Gewohnheit statt auf Basis von Evidenz auswählten. Diese Unsicherheit ist von Bedeutung, da die falsche Wahl zu ungenauen Vorhersagen führen oder zu einem System führen kann, das die Lösung gar nicht erst lernt. Die Frage bleibt: Welche der vielen verfügbaren Optionen ist wirklich die beste, um die komplexen, zeitabhängigen Gleichungen zu lösen, die unsere physische Welt regieren?

Eine aktuelle Studie setzte sich zum Ziel, diese Frage mit einem systematischen und strengen Ansatz zu beantworten. Die Forscher konzentrierten sich auf eine spezifische Klasse von Problemen: nicht-autonome gewöhnliche Differentialgleichungen. Vereinfacht ausgedrückt handelt es sich hierbei um Gleichungen, bei denen die Regeln der Veränderung nicht statisch sind, sondern sich im Laufe der Zeit entwickeln, oft getrieben durch externe Faktoren wie die Zeit selbst oder sich ändernde Umweltbedingungen. Um ihre Theorien zu testen, konstruierte das Team eine Standard-Architektur für neuronale Netze und unterzog sie einer Batterie von zehn unterschiedlichen mathematischen Herausforderungen. Diese Herausforderungen umfassten Gleichungen, die durch exponentielles Wachstum, polynomielle Kurven und trigonometrische Wellen angetrieben wurden, was ein breites Spektrum an in der Natur vorkommenden Verhaltensweisen abdeckte. Entscheidend war, dass die Forscher jede andere Variable in ihrem Experiment identisch hielten. Sie verwendeten dieselbe Netzwerkstruktur, dieselbe Anzahl an Trainingszyklen und dieselben Datenpunkte für jeden Test. Das Einzige, was sich änderte, war die Aktivierungsfunktion. Sie testeten neun der am häufigsten verwendeten Funktionen in diesem Bereich, die von der bekannten Sigmoid- und ReLU-Funktion bis hin zu moderneren Varianten wie GELU, ELU und SiLU reichten.

Die Ergebnisse dieser umfangreichen Simulation waren klar und eindeutig. Die Studie ergab, dass keine einzelne Funktion perfekt für jedes einzelne Szenario war, aber eine als die zuverlässigste über alle Bereiche hinweg hervorsticht. Die GELU-Aktivierungsfunktion erwies sich als die beste Wahl und lieferte in sechzig Prozent der Experimente die genauesten Lösungen. Sie produzierte konsistent die geringsten Fehler im Vergleich zu den bekannten, exakten Antworten dieser Gleichungen. Dicht gefolgt wurde sie von zwei anderen Funktionen, ELU und SELU, die ebenfalls starke Fähigkeiten zeigten. Im Gegensatz dazu schnitten einige der älteren, traditionelleren Entscheidungen, insbesondere Sigmoid und Softmax, schlecht ab. Die Forscher führten dieses Scheitern auf ein Phänomen zurück, das als Sättigung bekannt ist, bei dem diese Funktionen in bestimmten Regionen so flach werden, dass sie nicht mehr effektiv lernen, was das Netzwerk zum Stillstand bringt. Die Studie stellte zudem fest, dass Funktionen wie ReLU zwar in der allgemeinen künstlichen Intelligenz populär sind, sie jedoch für diese spezifischen wissenschaftlichen Aufgaben nicht die beste Eignung besaßen, wahrscheinlich weil ihre scharfen, winkligen Strukturen Schwierigkeiten bei der Berechnung der für physikbasierte Löser erforderlichen präzisen Ableitungen verursachen.

Um sicherzustellen, dass diese Ergebnisse kein Zufall waren, erweiterten die Forscher ihre Tests um einen zweiten Satz von sechs zusätzlichen Gleichungen. Die Ergebnisse blieben stabil. In dieser erweiterten Gruppe nahm GELU erneut die Spitzenposition in etwa zwei Dritteln der Fälle ein, während ELU in der verbleibenden Anzahl die Führung übernahm. Keine andere Funktion konnte in dieser Validierungsgruppe den ersten Platz sichern. Die Studie legt nahe, dass der Erfolg von GELU und ELU in ihrer mathematischen Glätte verwurzelt ist. Im Gegensatz zu Funktionen mit scharfen Ecken oder flachen Plateaus ermöglichen diese glatten Funktionen dem Netzwerk, Veränderungen und Gradienten zuverlässiger zu berechnen, was essenziell ist, wenn das Netzwerk verlangt, die in den Gleichungen eingebetteten strengen physikalischen Gesetze zu erfüllen. Diese Glätte hilft dem Trainingsprozess, stabiler zu konvergieren, was zu genaueren Endergebnissen führt.

Die Auswirkungen dieser Arbeit sind praktisch und unmittelbar für Wissenschaftler und Ingenieure, die sich auf diese computergestützten Werkzeuge verlassen. Die Studie liefert eine klare, evidenzbasierte Richtlinie für die Auswahl des richtigen Werkzeugs für die jeweilige Aufgabe. Anstatt die Wahl der Aktivierungsfunktion als zufällige oder universelle Einstellung zu behandeln, schlagen die Forscher vor, dass die spezifische Natur des Problems die Wahl bestimmen sollte. Für allgemeine zeitabhängige Probleme scheint GELU die robusteste Standardoption zu sein. Für Probleme, die polynomielle Interaktionen beinhalten, bietet ELU eine starke Alternative. Unterdessen rät die Studie explizit davon ab, sättende Funktionen wie Sigmoid für diese Arten von residuengestützten Lösern zu verwenden, da sie die Leistung wahrscheinlich behindern. Durch die Identifizierung der effektivsten Aktivierungsfunktionen hilft diese Forschung, die Fähigkeiten neuronaler Netze zu verfeinern und den Weg für effizientere und genauere Methoden zur Lösung der Differentialgleichungen zu ebnen, die unser Universum beschreiben. Die Arbeit behauptet nicht, jedes Problem auf diesem Gebiet gelöst zu haben, bietet aber ein solides Fundament für zukünftige Entwicklungen und weist den Weg zu einem systematischeren und informierteren Ansatz beim Aufbau der nächsten Generation wissenschaftlicher Rechenwerkzeuge.