SAC-enhanced iterative learning control with two-layer barrier mapping for nonlinear MIMO systems with asymmetric input constraints

In der Welt der Robotik und der automatisierten Maschinen gibt es einen deutlichen Unterschied zwischen einer Maschine, die sich einmal bewegt, und einer Maschine, die eine Aufgabe tausende Male wiederholt. Wenn ein Roboterarm einen Autorahmen schweißt oder ein Drucker Kunststoffschichten mit perfekter Präzision aufträgt, führt er dieselbe Bewegung immer und immer wieder aus. Ingenieure wissen schon lange, dass eine Maschine, wenn sie beim ersten Versuch einen kleinen Fehler macht, aus diesem Fehler lernen kann, um es beim nächsten Mal richtig zu machen. Dieser Ansatz, bekannt als iteratives Lernen, betrachtet jede Wiederholung als eine Lektion und ermöglicht es dem System, seine Bewegungen zu verfeinern, bis der Pfad glatt und präzise ist. Reale Maschinen sind jedoch nicht perfekt. Sie sind mit unvorhersehbaren Stößen, schwankenden Lasten und physikalischen Grenzen konfrontiert, wie viel Kraft ihre Motoren ausüben können. Die Herausforderung besteht darin, eine Maschine so zu lehren, dass sie aus ihren Fehlern lernt, während sie gleichzeitig ihre eigenen physikalischen Grenzen strikt einhält, insbesondere wenn sich die Umgebung von Versuch zu Versuch unvorhersehbar verändert.

Ein Forschungsteam der Jiangnan University und der Universität Zielona Góra hat eine neue Methode entwickelt, um genau dieses Problem für komplexe Maschinen mit mehreren beweglichen Teilen zu lösen. Sie haben ein Steuerungssystem entwickelt, das einen traditionellen Lernalgorithmus mit einer modernen künstlichen Intelligenztechnik namens Soft Actor-Critic kombiniert. Dieses Hybridsystem ist für Maschinen konzipiert, die Aufgaben wiederholen müssen, aber zwei schwierigen Bedingungen gegenüberstehen: Die Umgebung verändert sich bei jeder Ausführung der Aufgabe geringfügig, und die Maschine hat strikte, ungleichmäßige Grenzen für die Kraft, die sie ausüben kann. In vielen realen Szenarien kann eine Maschine beispielsweise mit einer bestimmten Stärke nach vorne drücken, aber mit einer anderen Grenze zurückgezogen werden, oder sie kann für verschiedene Richtungen unterschiedliche Grenzwerte haben. Das Ziel der Forscher war es, sicherzustellen, dass die Maschine effektiv lernen kann, ohne jemals gegen diese Sicherheitsgrenzen zu verstoßen, selbst wenn der Lernprozess selbst eine Bewegung vorschlägt, die zu stark wäre.

Der Kern ihrer Lösung umfasst eine zweistufigen Sicherheitsprüfung, die sie als Doppel-Barriere-System beschreiben. Stellen Sie sich eine Maschine vor, die gerade eine Aufgabe abgeschlossen hat und sich auf die nächste vorbereitet. Zuerst berechnet das System einen neuen, verbesserten Bewegungsplan basierend auf den Fehlern des vorherigen Durchlaufs. Bevor dieser Plan gespeichert wird, durchläuft er die erste Sicherheitsebene. Diese Ebene fungiert wie ein Filter, der sicherstellt, dass das gespeicherte Gedächtnis der Bewegung innerhalb sicherer Grenzen bleibt, um zu verhindern, dass die Maschine einen Befehl „speichert“, der unmöglich oder gefährlich auszuführen wäre. Dann, während die Maschine die Aufgabe tatsächlich ausführt, erhält sie eine zusätzliche, Echtzeit-Anpassung durch die Komponente der künstlichen Intelligenz. Diese KI agiert als intelligenter Kompensator, der unerwartete Störungen wie Wind oder Reibung wahrnimmt und winzige, schnelle Korrekturen vornimmt. Diese Korrekturen können jedoch die Maschine auch an ihre Grenzen bringen. Daher durchläuft das Signal eine zweite Sicherheitsebene, kurz bevor es die Motoren erreicht. Dieser zweite Filter stellt sicher, dass der endgültige Befehl, der an die Maschine gesendet wird, niemals ihre physikalischen Kapazitäten überschreitet, ungeachtet dessen, wie stark der Vorschlag der KI oder die äußere Störung ist.

Um diesen Ansatz zu testen, simulierten die Forscher ein komplexes mechanisches System, das aus zwei Massen besteht, die durch Federn und Dämpfer verbunden sind – ein gängiges Modell, um zu verstehen, wie gekoppelte Teile zusammenbewegt werden. Sie programmierten das System so, dass es einem spezifischen Pfad folgt, während es zufälligen, nicht-repetitiven Störungen ausgesetzt wurde, die sich bei jedem einzelnen Versuch änderten. Sie verglichen ihre neue Methode mit mehreren bestehenden Techniken, einschließlich Standard-Lernsteuerungen und anderer fortgeschrittener Methoden, die Beschränkungen berücksichtigen. Die Ergebnisse zeigten, dass ihr Doppel-Barriere-System die anderen Methoden deutlich übertraf. Über den letzten Satz von Versuchen reduzierte die neue Methode den durchschnittlichen Tracking-Fehler im Vergleich zur nächstbesten Alternative um mehr als die Hälfte. Entscheidend war, dass andere Methoden gelegentlich Bewegungen vorschlugen, die die Sicherheitsgrenzen der Maschine verletzt hätten, während das neue System eine perfekte Bilanz von null Verstößen beibehielt. Die gespeicherten Lernbefehle und die tatsächlich auf die Maschine ausgeübten Kräfte blieben während des gesamten Experiments strikt innerhalb der sicheren Zone.

Die Studie enthielt auch eine detaillierte Analyse, wie jeder Teil des Systems zum Erfolg beitrug. Durch das Abschalten spezifischer Komponenten bewiesen die Forscher, dass die erste Sicherheitsebene essenziell war, um das Gedächtnis der Maschine sicher zu halten, während die zweite Ebene notwendig war, um die tatsächlichen physikalischen Bewegungen sicher zu halten, wenn die KI Anpassungen vornahm. Oh ohne beide Ebenen, die zusammenarbeiten, hätte das System entweder das Risiko eingegangen, gefährliche Befehle zu speichern, oder es wäre daran gescheitert, die notwendigen Korrekturen vorzunehmen, ohne die Regeln zu brechen. Die Komponente der künstlichen Intelligenz lernte erfolgreich, Korrekturen zu generieren, die den zufälligen Störungen entgegenwirkten, wodurch diese effektiv kompensiert wurden. Die Forscher fanden heraus, dass die Fähigkeit des Systems zu lernen und sich anzupassen nicht nur ein Artefakt der Simulation war, sondern ein robustes Ergebnis aus einer strengen mathematischen Analyse, die garantiert, dass die Maschine innerhalb eines vorhersagbaren Fehlerbereichs bleibt. Diese Arbeit zeigt, dass es möglich ist, Maschinen zu bauen, die sowohl hochgradig adaptiv als auch strikt sicher sind – fähig, in komplexen, wechselnden Umgebungen zu lernen, ohne jemals ihre physikalischen Grenzen zu überschreiten.