Technisches Resümee: IL-ACT für einen 30-Tonnen-Bagger

Problemstellung

Die autonome Steuerung schwerer Hydraulikmaschinen, insbesondere von Baggern der 30-Tonnen-Klasse, steht vor erheblichen Herausforderungen durch gekoppelte Kinematik, Aktuatorverzögerungen und Systemunsicherheiten. Während bisherige Systeme bereits Trajektorienoptimierung und gelernte inverse Steuerung demonstriert haben, bleibt das Erreichen einer robusten, hochpräzisen Verfolgung unter unsicheren Dynamiken und wechselnden Betriebsbedingungen schwierig. Die Autoren adressen die Notwendigkeit eines Bewegungssteuerungs-Frameworks, das Zielerreichung und Trajektorienverfolgung für solche komplexen Maschinen bewältigen kann, indem es die Vorteile des Imitationslernens (Imitation Learning, IL) mit der Robustheit der adaptiven Regelung kombiniert.

Methodik: Das IL-ACT-Framework

Das Paper schlägt IL-ACT (Imitation Learning with Adaptive Cartesian Tracking) vor, ein neuartiges Bewegungssteuerungs-Framework, das für einen 30-Tonnen-Hydraulikbagger mit vier gesteuerten Gelenken (Schwenk-, Boom-, Arm- und Löffelbewegung) entwickelt wurde. Das System arbeitet in einem geschlossenen Regelkreis mit einer Steuerungsperiode von 0,1 s und besteht aus drei primären Komponenten:

1. Verankerte Imitationspolitik (Anchored Imitation Policy)

• Architektur: Ein vollvernetztes neuronales Netz (14 Eingänge, 4 Ausgänge), das mittels Behavior Cloning auf Operator-Demonstrationen trainiert wurde.
• Trainingsstrategie: Die Policy wird auf einem Telemetrie-Korpus (15 Aufzeichnungstage) vortrainiert und mittels offline-kinematischer Überwachung verfeinert. Ein „kinematischer Lehrer“ rekonstruiert Konfigurationen und generiert begrenzte inverse kinematische (IK) Haltungsvorgaben sowie kartesische Geschwindigkeitsbefehle.
• Verankerungsmechanismus: Um Stabilität und Konsistenz bei Null-Aktion zu gewährleisten, wird der Output der Policy als Differenz zwischen der Vorhersage des Netzwerks für den aktuellen Zustand und seiner Vorhersage für einen „Null-Aktions“-Ankerzustand (bei dem das Ziel mit der aktuellen Pose übereinstimmt und die Geschwindigkeit null ist) definiert. Dies stellt sicher, dass das nominale Kommando exakt null ist, wenn sich das System am Ziel ohne Bewegung befindet.
• Beobachtungen: Der Eingangsvektor umfasst kausale, gefilterte Gelenkwinkel, die Spitzenposition sowie den Fehlervektor zu einem Konditionierungspunkt (Ziel oder Vorschaupunkt).

2. Adaptive Kartesische Verfolgung (Adaptive Cartesian Tracking, ACT)

• Feedback-Korrektur: Das System nutzt einen kartesischen Feedback-Regelkreis, der den Fehler zwischen der gewünschten und der gemessenen Spitzenposition berechnet.
• Gewinn-/Bias-Schätzung: Ein Gate-Estimator vergleicht gemessene Gelenkraten mit einer nominalen Plant-Reaktionsprognose. Er schätzt Gewinn- und Bias-Korrekturen, um Abweichungen durch hydraulische Unsicherheiten (Ventilverzug, Reibung, Lastmodulation) zu kompensieren.
• Adaptionslogik: Aktualisierungen der Gewinn- und Bias-Schätzungen werden basierend auf Erregungsniveaus („gated“) angepasst (um eine Adaptation während Phasen mit geringem Signal oder Sättigung zu vermeiden) und durch Interventionsflags gesteuert.
• Integration: Das finale Kommando ist eine Kombination aus dem nominalen IL-Output, der kartesischen Feedback-Geschwindigkeit (auf den Gelenkraum abgebildet via eines gedämpften inversen Jacobians) und den geschätzten Bias-/Gewinn-Korrekturen.

3. Gemeinsamer Kommando-Governor (Shared Command Governor)

• Sicherheit und Machbarkeit: Ein Bremsweg-Governor beschränkt die generierten Gelenkreferenzen, um sicherzustellen, dass die Maschine innerhalb ihrer physikalischen Grenzen (Positions-, Geschwindigkeits- und Beschleunigungsgrenzen) stoppen kann, bevor sie ein Ziel erreicht.
• Referenzzulässigkeit: Der Governor stellt sicher, dass das Positionsanforderungsregister innerhalb des deklariierten Envelopes bleibt. Wenn der Governor einen unzulässigen Zustand erkennt, löst er eine Fallback-Verzögerung statt eines instantanen Stopps aus.
• Anti-Windup: Das System nutzt Anti-Windup-Integration für den Integrationsanteil des Feedback-Reglers, um Leistungseinbußen während der Sättigung zu verhindern.

Wichtige Beiträge

Die Autoren identifizieren drei Hauptbeiträge:

1. Design einer verankerten Imitationspolitik: Eine koordinierte Vier-Gelenk-Policy, die durch Datensatzaggregation und kinematische Überwachung verfeinert wurde und über einen exakten Null-Aktions-Anker zur Gewährleistung der Stabilität verfügt.
2. Adaptive Verfolgung mit beschränkter Referenzgenerierung: Ein Framework, das kartesisches Feedback und eine Gate-basierte Gewinn-/Bias-Schätzung mit einem gemeinsamen Bremsweg-Governor kombiniert. Das Paper liefert eine theoretische Analyse, die die Beschränktheit der adaptiven Zustände und die Zulässigkeit der generierten Referenzen unter der Bedingung der Governor-Machbarkeit etabliert.
3. Umfassende vergleichende Simulationsbelege: Umfangreiche Evaluierung über mehrere Aufgaben (Zielregulierung, Spirale, Acht und gerundete Rasterverfolgung) sowie Bedingungen (nominale vs. gestörte hydraulische Reaktion, Sensorrauschen, zusätzliche Last). Die Studie beinhaltet Vergleiche gegen optimierte PID-, IL-only- und Teacher+ACT-Baselines unter Verwendung mehrerer Trainings-Seeds und Initialisierungsstrategien.

Experimentelle Ergebnisse

Das Framework wurde in einer High-Fidelity-Simscape-Umgebung evaluiert, die einen 30-Tonnen-Bagger mit hydraulischen Störungen (Ventilverzug, Reibung, Hysterese, Lastmodulation) simuliert.

Zielregulierung (100 sequentielle Ziele)

• Erfolgsrate: Sowohl IL-only als auch IL-ACT erreichten 100/100 Erfolge sowohl unter nominalen als auch unter gestörten Bedingungen, während PID 95/100 (nominal) und 86/100 (gestört) erreichte.
• Effizienz: Im Vergleich zu Teacher+ACT schließt IL-ACT alle Ziele mit kürzerer Dauer und geringeren Endfehlern ab. Speziell reduziert IL-ACT die Dauer im Vergleich zu Teacher+ACT um 7,22 % (nominal) und 12,97 % (gestört).
• Genauigkeit: Unter nominaler und gestörter Reaktion reduziert IL-ACT den mittleren Endfehler um etwa 16,16 % bzw. 28,39 % im Vergleich zu Teacher+ACT.

Trajektorienverfolgung (Spirale, Acht, Raster)

• Spiralverfolgung: IL-ACT übertraf sowohl PID als auch IL-only signifikant. In Gegenwart von hydraulischen Störungen erreichte IL-ACT einen kartesischen Tracking-RMSE von 0,05864 mm, verglichen mit 12,48 mm bei PID und 2,49 mm bei IL-only.
• Generalisierung: In einer erweiterten Studie mit 88 Durchläufen über drei Trainings-Seeds und zwei Initialisierungen (Telemetrie vs. Zufall) senkte die mit Telemetrie initialisierte IL-ACT den RMSE in allen 24 Vergleichen von Acht- und gerundeten Raster-Seeds gegenüber Teacher+ACT.
• Robustheit gegenüber Last und Rauschen: Unter Zusatzlast-Spiralbedingungen senkte die mit Telemetrie initialisierte IL-ACT den mittleren RMSE um etwa 29 % im Vergleich zu Teacher+ACT. Unter geteilten Sensorrausch-Realisationen erreichte sie einen um 27,67 % niedrigeren mittleren RMSE als Teacher+ACT.
• Einfluss des Estimators: Die Aktivierung des Gewinn-/Bias-Estimators reduzierte den mittleren RMSE im Vergleich zu einem festgefrorenen Estimator unter Sensorrausch-Bedingungen um 22,44 %.

Bedeutung und Ansprüche

Das Paper behauptet, dass IL-ACT erfolgreich die datengesteuerte Effizienz des Imitationslernens mit der Robustheit der adaptiven Regelungstheorie integriert.

• Robustheit: Das Framework zeigt eine überlegene Leistung gegenüber reinem Imitationslernen (IL-only) und modellbasierten Baselines (PID) bei signifikanten hydraulischen Unsicherheiten und externen Störungen.
• Theoretische Garantien: Im Gegensatz zu vielen Black-Box-Learning-Ansätzen liefern die Autoren eine Analyse, die etabliert, dass die adaptiven Zustände und die kartesischen Feedback-Befehle beschränkt bleiben und die generierten Referenzen zulässig sind, sofern der Governor machbar bleibt.
• Praktische Anwendbarkeit: Die Ergebnisse legen nahe, dass die Kombination einer vortrainierten Policy mit Online-Adaption und einem Sicherheits-Governor ein gangbarer Weg für die autonome Steuerung schwerer Maschinen ist, der ein Gleichgewicht zwischen der Sample-Effizienz des Lernens und den Sicherheitsanforderungen des industriellen Betriebs bietet.

Die Autoren bleiben bescheiden hinsichtlich des Umfangs und merken an, dass diese Ergebnisse spezifisch für die evaluierten Simulationsbedingungen gelten und dass die Effekte vortrainierter Gewichte je nach spezifischer Aufgabe und Initialisierung gemischt sein können. Die Arbeit beansprucht nicht, alle Aspekte des autonomen Baggerns gelöst zu haben (z. B. wird die Ziellokalisierung als separater Schritt vermerkt), sondern konzentriert sich auf die Bewegungssteuerung und die Trajektorienverfolgung.