Control-aware training of physical neural networks for closed-loop regulation
Diese Arbeit zeigt, dass die Optimierung physikalischer neuronaler Netze mit steuerungsorientierten Zielsetzungen, welche die Erhaltung der Rangfolge von Kandidatenaktionen gegenüber der statischen Regressionsgenauigkeit priorisieren, die Leistung der Regelung im geschlossenen Regelkreis sowie die Robustheit gegenüber Störungen in Aufgaben wie der homöostatischen Regulation und der Cart-Pole-Stabilisierung signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt des modernen Computing gibt es eine wachsende Bewegung, Maschinen zu bauen, die nicht nur mit Siliziumchips denken, sondern mit den rohen, physischen Gesetzen des Universums selbst. Dies sind physikalische neuronale Netze. Anstatt ein Gehirn auf einem Standardcomputer zu simulieren, nutzen diese Systeme echte, kontrollierbare physikalische Prozesse – wie Licht, das durch Glas fällt, oder die Schwingung winziger mechanischer Oszillatoren –, um Berechnungen durchzuführen. Sie sind schnell und effizient, aber sie sind auch unordentlich. Die physische Welt ist voller kleiner, unvermeidbarer Unvollkommenheiten: Temperaturschwankungen, leichte Fertigungsunterschiede und zufälliges Rauschen. Wenn ein Computerprogramm auf einem Standardprozessor läuft, spielen diese winzigen Fehler normalerweise keine große Rolle. Aber wenn eine Maschine verwendet wird, um etwas in Echtzeit zu steuern, wie etwa einen Stab zu balancieren oder eine chemische Reaktion zu regulieren, kann selbst ein winziger Fehler in der Berechnung zu einer falschen Entscheidung führen. Wenn ein Regler die beste Bewegung um einen Bruchteil falsch einschätzt, könnte er eine etwas schlechtere Aktion wählen. In einer Rückkopplungsschleife kann sich dieser kleine Fehler potenzieren und das System auf einen Pfad führen, der letztlich zum Scheitern führt. Die zentrale Frage für Wissenschaftler ist, ob diese physischen Maschinen darauf trainiert werden können, ihre eigenen Unvollkommenheiten zu ignorieren und die richtigen Entscheidungen zu treffen, selbst wenn die Zahlen, die sie berechnen, leicht daneben liegen.
Ein Forscher namens Yuzhan Zhang ging dieses Problem an, indem er eine andere Frage darüber stellte, wie diese Maschinen gelehrt werden sollten. Traditionell trainieren Ingenieure diese physikalischen Systeme, indem sie versuchen, die Ausgabewerte so exakt wie möglich mit einem perfekten Zielwert in Einklang zu bringen, ganz ähnlich wie ein Schüler, der versucht, jede Antwort in einem Mathetest absolut präzise richtig zu machen. Zhangs Arbeit legt nahe, dass es für Maschinen, die physikalische Systeme steuern, nicht das wichtigste Ziel ist, die Zahlen exakt richtig zu bekommen. Stattdessen ist das wichtigste Ziel sicherzustellen, dass die Maschine die richtige Reihenfolge von Aktionen wählt. Wenn ein Regler zwischen einer Bewegung nach links oder rechts wählen muss, muss er nicht den exakten Wert von „links“ und „rechts“ bis zur letzten Dezimalstelle kennen. Er muss nur wissen, dass „links“ besser als „rechts“ ist, und zwar mit einem ausreichend großen Abstand, um sicher zu sein. Die Studie zeigt, dass, indem man das physikalische Netzwerk darauf trainiert, diese Rangfolge der Entscheidungen zu schützen, anstatt nur numerische Fehler zu minimieren, das System viel robuster wird, wenn in der realen Welt etwas schiefgeht.
Um diese Idee zu testen, baute der Forscher in einer Simulation zwei verschiedene Arten von physikalischen Rechensystemen auf. Ein System nutzte ein Modell von Licht, das mit sich selbst interferiert, ähnlich wie Wellen in einem Teich überlappen, während das andere ein Netzwerk aus vierundzwanzig winzigen, miteinander verbundenen Oszillatoren verwendete, die vor und zurück schwingen wie Pendel. Diese Systeme hatten die Aufgabe einer sogenannten homöostatischen Regulation, was im Wesentlichen bedeutet, eine Reihe interner Variablen, wie etwa Energie und Temperatur, innerhalb eines sicheren, gesunden Bereichs zu halten. Die Systeme mussten ständig entscheiden, ob sie aufladen, abkühlen oder sich selbst reparieren mussten, um einen gefährlichen Zustand zu vermeiden. Der Forscher trainierte zwei Versionen des Reglers für jedes System. Die erste Version wurde auf traditionelle Weise trainiert, indem versucht wurde, die perfekten Zahlen so genau wie möglich zu treffen. Die zweite Version wurde mit einer neuen Methode trainiert, die sich darauf konzentrierte, die Rangfolge der besten Aktionen korrekt beizubehalten, selbst wenn die Zahlen selbst etwas unscharf waren.
Die Ergebnisse waren beeindruckend. Wenn die Systeme unter normalen, perfekten Bedingungen getestet wurden, verhielten sich beide Regler fast identisch. Sie trafen dieselben Entscheidungen und hielten die internen Variablen mit nahezu gleicher Effizienz in der sicheren Zone. Doch die wahre Prüfung kam, als der Forscher realistische Störungen einführte, wie etwa zufälliges Rauschen in den Sensoren oder leichte Änderungen in den physikalischen Eigenschaften der Maschine. Unter diesen belasteten Bedingungen begann der traditionelle Regler zu straucheln. Er traf Entscheidungen, die zu höheren Kosten und einem größeren Risiko des Scheiterns führten. Der mit der neuen, rangfolgenorientierten Methode trainierte Regler hingegen hielt stand. Im lichtbasierten System reduzierte dieser neue Ansatz die Kosten für die Aufrechterhaltung des Systems unter moderaten bis starken Störungen um fast achtzehn Prozent. Im Oszillatorsystem war die Verbesserung sogar noch dramatischer und senkte die Kosten um fast neunundzwanzig Prozent. Entscheidend war, dass diese Verbesserung eintrat, obwohl der neue Regler nicht besser darin war, die exakten Zahlen vorherzusagen; tatsächlich waren seine rohen numerischen Vorhersagen in einigen Tests etwas schlechter als die des traditionellen Modells. Der Vorteil ergab sich allein aus seiner Fähigkeit, die korrekte Reihenfolge der Entscheidungen in einer verrauschten Umgebung beizubehalten.
Um sicherzustellen, dass diese Ergebnisse nicht nur ein Zufall bei einer spezifischen Aufgabe waren, testete der Forscher die Methode auch an einem klassischen Steuerungsproblem namens Cart-Pole, bei dem eine Maschine einen Stab auf einem beweglichen Wagen balancieren muss. Dies ist ein Standardtest für Steuerungssysteme, der nichts mit der homöostatischen Aufgabe zu tun hat. Auch hier wurden die beiden Regler so angeglichen, dass ihre Fähigkeit, Zahlen vorherzusagen, nahezu identisch war. Als das System starken Störungen ausgesetzt wurde, reduzierte der Regler, der darauf trainiert war, die Rangfolge der Aktionen zu schützen, die Fehlerrate um mehr als die Hälfte im Vergleich zum traditionellen Regler. Er hielt den Stab über deutlich längere Zeiträume im Gleichgewicht und überlebte hunderte Schritte, in denen das andere Modell schnell versagte. Die Studie untersuchte auch, ob der neue Regler einfach vorsichtiger war, indem er vielleicht weniger Arbeit verrichtete, um Risiken zu vermeiden. Durch einen sorgfältigen Vergleich der beiden Systeme, wenn sie gezwungen waren, exakt die gleiche Menge an Arbeit zu leisten, bestätigte der Forscher, dass die verbesserte Leistung nicht auf Faulheit oder verringertem Aufwand beruhte. Der neue Regler war tatsächlich besser darin, im Moment die richtige Entscheidung zu treffen, was verhinderte, dass das System in einen gefährlichen Zustand driftete.
Die Forschung beinhaltete auch eine Überprüfung gegen reale Daten aus anderen Experimenten, um zu sehen, ob der Schwierigkeitsgrad der Simulationen realistisch war. Die Studie ergab, dass die in den Tests verwendeten Störungen vergleichbar mit den Fehlern waren, die in anderen wissenschaftlichen Arbeiten über tatsächliche physikalische Computerhardware berichtet wurden. Dies deutet darauf hin, dass die in der Simulation gefundenen Verbesserungen für reale Maschinen, die in Zukunft gebaut werden könnten, relevant sind. Die Arbeit behauptet nicht, alle Probleme des physikalischen Computings gelöst zu haben, und räumt ein, dass in einem spezifischen Test am Oszillatorsystem die Verbesserung gering war und einen strengen Erfolgsschwellenwert nicht erreichte. Das Gesamtbild ist jedoch klar: Wenn eine physikalische Maschine in einer Rückkopplungsschleife eingebettet ist, ist es effektiver, sie darauf zu trainieren, sich um die Konsequenzen ihrer Entscheidungen zu kümmern, als sie darauf zu trainieren, ein perfekter Rechner zu sein. Die Studie kommt zu dem Schluss, dass für die geschlossene Regelung die Struktur der Entscheidung wichtiger ist als die Präzision der Zahl. Indem Ingenieure diese physikalischen Netzwerke lehren, die korrekte Ordnung der Aktionen zu wertschätzen, können sie Systeme bauen, die weitaus widerstandsfähiger gegenüber der unvermeidlichen Unordnung der physischen Welt sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.