Am I Still Coupled to My Environment? Task-agnostic Runtime Telemetry from the Reinforcement-learning Interaction Loop

Stel je een robot voor die leert rennen door een complexe wereld. De robot neemt beslissingen op basis van wat hij ziet, onderneemt acties en observeert vervolgens wat er gebeurt. Deze cyclus is de hartslag van moderne kunstmatige intelligentie, bekend als reinforcement learning. Jarenlang hebben ingenieurs vertrouwd op één enkel getal om te vertellen of de robot het goed doet: een score die "beloning" wordt genoemd. Als de score stijgt, slaagt de robot. Als de score daalt, is er iets mis. Maar deze score beantwoordt slechts één vraag: heeft de robot zijn doel bereikt? Het kan geen subtielere, maar even cruciale vraag beantwoorden: interageert de robot nog steeds met de wereld op de manier waarop dat de bedoeling was? Een robot kan struikelen, zijn sensoren kunnen haperen of zijn motoren kunnen slijten, en toch kan hij erin slagen de finishlijn te halen en een hoge score te behalen. In dergelijke gevallen liegt het beloningssignaal; het verbergt het feit dat de machine in een kwetsbare of defecte staat verkeert.

Dit is het probleem dat onderzoekers Wael Hafez en Chenan Wei probeerden op te lossen. Ze vroegen zich af of ze een ander soort monitor konden bouwen, één die niet naar de eindscore kijkt, maar in plaats daarvan luistert naar het gesprek tussen de robot en zijn omgeving. Hun werk, uitgevoerd in een gesimuleerde wereld waarin digitale cheetahs over een vlak vlak rennen, introduceert een nieuwe manier om deze machines te observeren. In plaats van te wachten tot de robot een taak niet meer kan voltooien, wilden ze het moment detecteren waarop het interne ritme van de robot begint af te wijken van zijn gezonde patroon. Ze ontwikkelden een systeem dat elke stap van de robot behandelt als een klein verhaal: wat hij zag, wat hij deed en wat er vervolgens gebeurde. Door de stroom van deze verhalen te analyseren, vonden ze een manier om problemen op te sporen die de traditionele score vaak mist.

De onderzoekers testten hun idee op eenentwintig verschillende digitale cheetahs, die elk getraind waren om zo snel mogelijk te rennen met behulp van twee verschillende leermethoden. Nadat deze agenten volledig getraind waren, bevroren de onderzoekers hun leren zodat ze niet zouden veranderen tijdens de test. Vervolgens introduceerden ze diverse problemen, of "perturbaties", om te zien of hun nieuwe monitor deze kon opsporen. Sommige problemen werden toegevoegd aan het eigen brein van de robot, zoals het toevoegen van willekeurige ruis aan de commando's die naar zijn poten werden gestuurd. Andere werden toegevoegd aan de wereld zelf, zoals het veranderen van de zwaartekracht of het duwen van de robot met een externe kracht. In totaal voerden ze honderdtachtig-zes verschillende proeven uit waarbij er iets mis was, naast eenentwintig proeven waarbij alles perfect bleef.

Om te begrijpen waar ze naar op zoek waren, richtten de onderzoekers zich op de relatie tussen de drie onderdelen van de ervaring van de robot. Bij een gezonde loop is er een nauwe, voorspelbare verbinding tussen wat de robot ziet, de actie die hij kiest en het resultaat dat hij krijgt. De onderzoekers creëerden een maatstaf voor deze verbinding, die ze de "coupling share" noemden. Stel je dit voor als een manier om te controleren hoeveel van de totale activiteit van de robot daadwerkelijk gekoppeld is aan de uitkomst die hij produceert. Wanneer de robot gezond is, is deze link sterk en consistent. Wanneer er iets misgaat, verslapt die link. De robot beweegt misschien nog steeds, en de wereld reageert misschien nog steeds, maar de specifieke, kenmerkende dans tussen de twee is veranderd. De nieuwe monitor volgt deze verandering in realtime, waarbij alleen de stroom gegevens wordt gebruikt die de robot genereert terwijl hij beweegt. Het hoeft niet te weten wat het doel van de robot is, en het hoeft de beloningsscore niet te kennen. Het vraagt simpelweg: spreekt de robot nog steeds met dezelfde stem tot de wereld als toen hij gezond was?

De resultaten toonden aan dat deze aanpak opmerkelijk effectief is. Wanneer de onderzoekers hun nieuwe monitor vergeleken met de traditionele beloningsscore, was het verschil duidelijk. Het standaard beloningssysteem detecteerde slechts veert puluh vier procent van de problemen. Het miste vaak de subtiele veranderingen waarbij de robot worstelde maar er nog steeds in slaagde de run te voltooien. In contrast hiermee detecteerde de nieuwe monitor negenenzestig procent van de problemen. Dit betekent dat het vijfentwintig procentpunten meer fouten detecteerde dan het beloningssysteem, terwijl het evenveel valse alarmen gaf bij de gezonde robots. In één specifieke test waarbij de zwaartekracht met tien procent werd verhoogd, detecteerde het beloningssysteem het probleem slechts in vierentwintig procent van de proeven, terwijl de nieuwe monitor het in bijna de helft van de gevallen vond.

Cruciaal is dat de onderzoekers zorgvuldig hebben uitgelegd wat hun systeem wel en niet is. Ze hebben geen toverstaf gecreëerd die kapotte robots repareert of een kristallen bol die de toekomst voorspelt. Het systeem vertelt een operator niet precies wat er kapot is, zoals of een sensor vuil is of een motor zwak is. Het waarschuwt ook niet altijd aanzienlijk eerder voor een probleem dan de beloningsscore; in veel gevallen luidde de nieuwe monitor en de beloningsscore tegelijkertijd het alarm. In plaats daarvan fungeert het systeem als een aanvullende controle. Het biedt een tweede mening over de gezondheid van de operatie van de machine. Als de beloningsscore zegt dat de robot in orde is, maar deze nieuwe monitor geeft aan dat de interactie is veranderd, dan signaleert dit dat de robot op een manier opereert die niet langer kenmerkend is voor zijn gezonde staat. Dit geeft menselijke operators de kans om verder te onderzoeken voordat er een totale uitval plaatsvindt.

De studie werd volledig binnen een computersimulatie uitgevoerd, en de onderzoekers erkennen dat robots in de echte wereld veel complexere en onvoorspelbaardere uitdagingen kennen. De specifieke cijfers die zij vonden, zijn gebonden aan de digitale cheetahs en de specifieke soorten problemen die zij introduceerden. Echter, de kern van het idee draagt een aanzienlijke belofte in voor de toekomst van autonome systemen. Naarmate we meer robots in de echte wereld inzetten, is het vertrouwen op enkel het behalen van hun doelen misschien niet genoeg. We moeten wellicht ook verifiëren dat het onderliggende proces van hoe zij met de wereld interageren, intact blijft. Dit onderzoek suggereert dat door te luisteren naar het ritme van de interactie zelf, we een vangnet kunnen bouwen dat de subtiele tekenen van verval opvangt lang voordat de machine stopt met bewegen.