SAC-enhanced iterative learning control with two-layer barrier mapping for nonlinear MIMO systems with asymmetric input constraints

In de wereld van robotica en geautomatiseerde machines bestaat er een duidelijk onderscheid tussen een machine die één keer beweegt en een machine die een taak duizenden keren herhaalt. Wanneer een robotarm een autolichaam moet lassen of een printer lagen plastic met perfecte precisie moet aanbrengen, voert deze dezelfde beweging steeds opnieuw uit. Ingenieurs weten al lang dat als een machine bij de eerste poging een kleine fout maakt, deze kan leren van die fout om het de volgende keer goed te doen. Deze aanpak, bekend als iteratief leren, beschouwt elke herhaling als een les, waardoor het systeem zijn bewegingen kan verfijnen totdat het pad vloeiend en nauwkeurig is. Echter, real-world machines zijn niet perfect. Ze worden geconfronteerd met onvoorspelbare schokken, verschuivende belastingen en fysieke limieten voor hoe hard hun motoren kunnen duwen. Als een machine probeert een fout te corrigeren door te hard te duwen, kan het tegen een fysieke barrière aanstoten, wat schade toebrengt aan de machine zelf of aan het product. De uitdaging ligt in het aanleren van een machine om van haar fouten te leren terwijl zij strikt haar eigen fysieke grenzen respecteert, vooral wanneer de omgeving van de ene poging naar de andere onvoorspelbaar verandert.

Een team van onderzoekers van de Jiangnan University en de Universiteit van Zielona Góra heeft een nieuwe methode ontwikkeld om dit specifieke probleem voor complexe machines met meerdere bewegende delen op te lossen. Ze hebben een controlesysteem ontwikkeld dat een traditioneel leeralgoritme combineert met een moderne kunstmatige intelligentietechniek genaamd soft actor-critic. Dit hybride systeem is ontworpen voor machines die taken moeten herhalen maar geconfronteerd worden met twee moeilijke condities: de omgeving verandert telkens weer lichtelijk wanneer de taak wordt uitgevoerd, en de machine heeft strikte, ongelijkmatige limieten voor de hoeveelheid kracht die zij kan uitoefenen. In veel real-world scenario's kan een machine bijvoorbeeld met een bepaalde kracht naar voren duwen, maar met een andere limiet naar achteren worden getrokken, of kan zij verschillende limieten hebben voor verschillende richtingen. Het doel van de onderzoekers was om ervoor te zorgen dat de machine effectief kon leren zonder ooit haar veiligheidslimieten te schenden, zelfs wanneer het leerproces zelf een beweging suggereert die te krachtig is.

De kern van hun oplossing omvat een tweestaps veiligheidscontrole, die zij beschrijven als een dubbellaagse barrière. Stel je een machine voor die zojuist een taak heeft voltooid en zich voorbereidt op de volgende. Eerst berekent het systeem een nieuw, verbeterd bewegingsplan op basis van de fouten uit de vorige ronde. Voordat dit plan wordt opgeslagen voor toekomstig gebruik, gaat het door de eerste veiligheidslaag. Deze laag fungeert als een filter dat ervoor zorgt dat het opgeslagen geheugen van de beweging binnen veilige grenzen blijft, waardoor voorkomt dat de machine een commando "onthoudt" dat onmogelijk of gevaarlijk uit te voeren zou zijn. Vervolgens, terwijl de machine de taak daadwerkelijk uitvoert, ontvangt zij een aanvullende, real-time aanpassing van het kunstmatige intelligentiecomponent. Deze AI fungeert als een slimme compensator die onverwachte verstoringen zoals wind of wrijving detecteert en kleine, snelle correcties uitvoert. Echter, deze correcties kunnen de machine ook richting haar limieten duwen. Daarom gaat het signaal door een tweede veiligheidslaag vlak voordat het de motoren bereikt. Dit tweede filter zorgt ervoor dat het definitieve commando dat naar de machine wordt gestuurd, nooit de fysieke capaciteiten van de machine overschrijdt, ongeacht hoe sterk de suggestie van de AI of de externe verstoring is.

Om deze aanpak te testen, simuleerden de onderzoekers een complex mechanisch systeem bestaande uit twee massa's die verbonden zijn door veren en dempers, wat een gangbaar model is voor het begrijpen van hoe gekoppelde onderdelen samen bewegen. Ze programmeerden het systeem om een specifiek pad te volgen, terwijl ze het systeem blootstelden aan willekeurige, niet-herhalende verstoringen die bij elke enkele proef veranderden. Ze vergeleken hun nieuwe methode met verschillende bestaande technieken, inclusief standaard leercontrollers en andere geavanceerde methoden die beperkingen afhandelen. De resultaten toonden aan dat hun tweelaagse barrièresysteem de anderen aanzienlijk overtrof. Over de laatste reeks proeven verminderde de nieuwe methode de gemiddelde spelfout met meer dan de helft in vergelijking met het op één na beste alternatief. Cruciaal was dat, terwijl andere methoden incidenteel bewegingen suggereerden die de veiligheidslimieten van de machine zouden hebben geschonden, het nieuwe systeem een perfect record van nul schendingen behield. De opgeslagen leercommando's en de feitelijk toegepaste krachten op de machine bleven gedurende het hele experiment strikt binnen de veilige zone.

De studie bevatte ook een gedetailleerde analyse van hoe elk onderdeel van het systeem bijdroeg aan het succes. Door specifieke componenten uit te schakelen, bewezen de onderzoekers dat de eerste veiligheidslaag essentieel was om het geheugen van de machine veilig te houden, terwijl de tweede laag noodzakelijk was om de werkelijke fysieke bewegingen veilig te houden wanneer de AI aanpassingen maakte. Zonder beide lagen die samenwerkten, liep het systeem ofwel het risico gevaarlijke commando's op te slaan, of faalde het in het toepassen van de noodzakelijke correcties zonder de regels te breken. Het kunstmatige intelligentiecomponent slaagde erin om correcties te genereren die de willekeurige verstoringen tegenwerkten, waardoor deze effectief werden geneutraliseerd. De onderzoekers vonden dat het vermogen van het systeem om te leren en zich aan te passen geen artefact van de simulatie was, maar een robuust resultaat voortvloeiend uit een rigoureuze wiskundige analyse die garandeert dat de machine binnen een voorspelbare foutmarge blijft. Dit werk demonstreert dat het mogelijk is om machines te bouwen die zowel hoogadaptief als strikt veilig zijn, in staat om te leren van complexe, veranderende omgevingen zonder ooit hun fysieke grenzen te overschrijden.