An Embedded RISC-V Evaluation of Kolmogorov--Arnold Networks in Hard-Constrained Recurrent Physics-Informed Models
Diese Arbeit zeigt auf, dass Kolmogorov–Arnold-Netzwerke (KANs) zwar als Residuenzweige in hart-konservativen, rekurrenten, physik-informierten Modellen eine Parametereffizienz bieten, sie jedoch gegenüber Multilayer-Perzeptronen (MLPs) auf eingebetteten RISC-V-Kernen hinsichtlich der Ausführungslatenz, des Energieverbrauchs und der Robustheit gegenüber Quantisierung signifikant schlechter abschneiden, was MLPs zum zuverlässigeren Standard für solche Implementierungen macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen einen Roboter, der die Gesetze der Physik verstehen muss, um sich korrekt zu bewegen. Wenn Sie dem Roboter nur beibringen würden, durch das Betrachten von Millionen von Bildern zu erraten, wie sich Dinge bewegen, könnte er verwirrt sein, wenn er etwas Neues sieht, oder schlimmer noch, er könnte einen gefährlichen Fehler machen, weil er ein physikalisches Gesetz „halluziniert“ hat, das gar nicht existiert. Um dies zu beheben, nutzen Wissenschaftler einen cleveren Trick namens „Physics-Informed“-Modell (physik-informiertes Modell). Denken Sie an etwas wie daran, dem Roboter ein Lehrbuch mit bekannten Gesetzen (wie Schwerkraft oder Reibung) zu geben und ihm zu sagen: „Du kennst diese Regeln perfekt. Jetzt benutze einfach dein Gehirn, um die winzigen, unordentlichen Details herauszufinden, die das Lehrbuch vergessen hat.“ Dieses „Gehirn“ ist normalerweise ein einfaches, schnelles Computerprogramm, das man neuronales Netz nennt.
Kürzlich wurde ein neuer Typ von neuronalem Netz namens Kolmogorov–Arnold-Netzwerk (oder KAN für kurz) sehr populär. Es wurde als eine super-effiziente, leichtgewichtige Version des alten „Gehirns“ vermarktet, die verspricht, denselben Job mit weniger im Speicher gespeicherten Zahlen zu erledigen. Das ist eine große Sache für kleine, batteriebetriebene Geräte wie Drohnen oder medizinische Sensoren, bei denen jedes Bit Speicher und jeder Tropfen Energie zählt. Aber es gibt einen Haken: Während KANs auf dem Papier zwar gut darin sind, Platz zu sparen, können sie beim tatsächlichen Betrieb auf einem echten, winzigen Computerchip schwerfällig und langsam sein. Die große Frage ist: Spart dieses neue „effiziente“ Gehirn im realen Einsatz tatsächlich Energie und Zeit, oder macht seine ausgeklügelte Mathematik es zu langsam, um nützlich zu sein?
Dieses Paper stellt diese Frage auf die Probe, indem es das altmodische „Gehirn“ (genannt MLP) gegen das neue KAN auf einem kleinen, realen Computerchip (einem RISC-V-Prozessor) antreten lässt. Die Forscher haben nicht nur untersucht, wie gut sie lernten; sie haben exakt gemessen, wie lange es dauerte, eine Entscheidung zu treffen, und wie viel Batterieleistung jedes von ihnen verschlang. Sie fanden heraus, dass das KAN zwar in der Größe tatsächlich kleiner ist, aber überraschend träge und energiehungrig ist. Beim Ausführen derselben Aufgabe wurde festgestellt, dass das KAN 8,0- bis 13,5-mal langsamer war als das traditionelle MLP. Noch schlimmer war, dass es für jeden einzelnen Schritt seiner Berechnung 5,6- bis 11,3-mal mehr Energie verbrauchte.
Die Forscher testeten auch, was passiert, wenn man versucht, diese Modelle noch kleiner zu machen, indem man ihre Zahlen abrundet (ein Prozess namens Quantisierung), was üblich ist, um Platz auf winzigen Geräten zu sparen. Hier brachen die KANs viel schneller zusammen. In einem Test gingen die Vorhersagen des KAN nach nur 6,5 Schritten völlig daneben, während das traditionelle MLP noch 282 Schritte lang korrekt arbeitete – ein Unterschied in der Zuverlässigkeit um den Faktor 43. Die Studie kommt zu dem Schluss, dass auf diesen kleinen, Standard-Computerchips das Versprechen der Effizienz des KAN nicht standhält. Sofern Ingenieure keine spezielle Hardware speziell für KANs entwerfen, bleibt das altmodische MLP die zuverlässigere, schnellere und energieeffizientere Wahl für das Ausführen von physikbasierten Modellen auf eingebetteten Systemen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.