Indicators of resilience for autonomous control systems

De moderne samenleving leunt steeds meer op machines die zelfstandig kunnen denken, van zelfrijdende auto's tot bezorgdrones. Deze autonome systemen zijn ontworpen om complexe taken af te handelen zonder menselijke tussenkomst, maar ze zijn niet onfeilbaar. Na verloop van tijd slijten de fysieke onderdelen van deze machines, of ze lijden aan kleine beschadigingen die hen niet direct defect maken, maar hun vermogen om stabiel te blijven subtiel verzwakken. De uitdaging voor ingenieurs is weten wanneer een systeem nog veilig is en wanneer het op de rand staat van een plotselinge, catastrofale uitval. Traditionele veiligheidsmethoden vertrouwen vaak op gedetailleerde wiskundige modellen van hoe een machine zich zou moeten gedragen of op enorme hoeveelheden gegevens om te voorspellen wat er mis zou kunnen gaan. Echter, machines in de echte wereld zijn vaak te complex om perfect te modelleren, en de gegevens die nodig zijn om zeldzame defecten te voorspellen zijn frequent afwezig. Dit laat een gat in ons vermogen om de langzame, kruipende afname van stabiliteit te detecteren die aan een crash voorafgaat.

Om dit gat te overbruggen, hebben onderzoekers zich gericht op een concept dat geleend is uit de natuurlijke wereld, bekend als kritiek vertragen (critical slowing down). In de natuur treedt dit fenomeen op wanneer een systeem, zoals een meer-ecosysteem of een klimaatpatroon, het vermogen verliest om zich snel te herstellen van kleine verstoringen naarmate het een kantelpunt nadert. Vlak voor een instorting doet het systeem er steeds langer over om terug te keren naar zijn normale staat nadat het een duwtje heeft gekregen. De onderzoekers achter deze studie vroegen zich af of ditzelfde principe toegepast kon worden op machines. Zij stelden voor dat wanneer een autonome robot zijn veerkracht verliest, de controlesystemen trager zouden reageren op kleine fouten, vergelijkbaar met een vermoeide atleet die moeite heeft om het evenwicht te herstellen. Het doel was om een eenvoudige, universele manier te creëren om naar het gedrag van een machine te luisteren en deze waarschuwingssignalen te horen voordat er een defect optreedt, zonder dat daarvoor de interne blauwdruk van de machine of een geschiedenis van eerdere crashes nodig is.

Het team, onder leiding van onderzoekers van de Delft University of Technology, ontwikkelde een methode om deze waarschuwingssignalen te detecteren door te kijken naar hoe het controlesysteem van een machine reageert op kleine, willekeurige fluctuaties. In plaats van specifieke defecten te proberen te voorspellen, concentreerden zij zich op één meetbaar signaal: hoe lang het duurt voordat de machine zichzelf corrigeert na een kleine verstoring. Ze testten dit idee met twee zeer verschillende soorten robots. De eerste was een karretje met een staaf die erop gebalanceerd is, een klassieke uitdaging in de robotica waarbij de staaf van nature wil omvallen. De tweede was een quadrotor, een kleine vliegende drone met vier propellers. In beide gevallen wachtten de onderzoekers niet tot de machines kapotgingen. In plaats daarvan verzwakten ze de systemen systematisch op een gecontroleerde manier. Voor het karretje maakten ze de staaf moeilijker te balanceren door de kracht te vergroten die probeerde de staaf om te duwen. Voor de drone simuleerden ze schade door het vermogen van een van de motoren te verminderen, wat het effect nabootst van een gebroken propellerblad.

In de computersimulaties observeerden de onderzoekers de robots terwijl ze dichter bij de rand van instabiliteit werden geduwd. Ze ontdekten dat lang voordat de robots daadwerkelijk crashten of vielen, de controlesignalen op een voorspelbare manier begonnen te veranderen. De machines begonnen langer te doen over het herstel van kleine wiebelingen, en de patronen in hun controlesignalen werden repetitiever en minder responsief. Dit "vertragen" was een duidelijke indicator dat het systeem zijn veerkracht verloor. De onderzoekers waren in staat dit te kwantificeren door te meten hoe nauw de huidige reactie van de machine overeenkwam met de vorige reactie; naarmate de machine dichter bij falen kwam, werden deze reacties meer gelijk aan elkaar, wat signaleerde dat het systeem moeite had met aanpassen. Deze methode werkte zelfs wanneer de machines in hun meest ontspannen toestanden opereerden, zoals een drone die simpelweg op één plek zweeft, wat suggereert dat de kwetsbaarheid van een machine gedetecteerd kan worden zelfs wanneer deze geen moeilijke manoeuvres uitvoert.

Om te garanderen dat deze bevindingen niet slechts een computationeel artefact waren, namen het team hun theorie mee naar de echte wereld. Ze bouwden een kleine drone en knipten fysiek stukjes van de propellerbladen af om echte, fysieke schade te creëren. Vervolgens lieten ze de beschadigde drone vliegen in een laboratorium, waarbij ze de drone vroegen om te zweven en een figuur-acht-pad te volgen. De resultaten weerspiegelden de simulaties perfect. Naarmate de schade aan de propeller toenam, vertoonden de controlesignalen van de drone dezelfde tekenen van vertraging. Wanneer de schade gering was, kon de drone nog steeds vliegen, maar toonden de waarschuwingsindicatoren aan dat hij met minder foutmarge opereerde. Wanneer de schade ernstig was, verloor de drone de controle, waarbij hij vaak ongecontroleerd wegvloog of crashte. Cruciaal was dat de waarschuwingssignalen verschenen ruim vóór het daadwerkelijke verlies van controle, wat een duidelijk signaal gaf dat het systeem niet langer veilig was, zelfs terwijl het technisch gezien nog steeds vloog.

De studie toont aan dat deze aanpak een nieuwe laag van veiligheid biedt voor autonome systemen. Het vervangt bestaande veiligheidscontroles of foutdetectiesystemen niet, maar fungeert als een aanvullende monitor die op bijna elke robot kan worden toegepast, ongeacht het ontwerp. Door simpelweg te luisteren naar hoe een machine reageert op de kleine, onvermijdelijke ruis van de echte wereld, kunnen ingenieurs een verlies van veerkracht vroegtijdig detecteren. Dit betekent dat voordat een drone crasht of een zelfrijdende auto van koers afwijkt, het systeem kan worden gewaarschuwd dat het fragiel wordt. De onderzoekers benadrukken dat dit geen magische oplossing is die alle ongelukken voorkomt, maar een praktisch hulpmiddel dat de subtiele, onzichtbare degradatie van een machine omzet in een zichtbare waarschuwing, waardoor een veiligere integratie van deze technologieën in ons dagelijks leven mogelijk wordt.