In de wereld van kunstmatige intelligentie leren machines steeds vaker beslissingen te nemen door middel van trial-and-error, een methode die bekend staat als reinforcement learning. Stel je een digitale agent voor die een nieuwe omgeving verkent en verschillende acties probeert om te zien welke tot beloningen leiden, net zoals een kind leert fietsen door te vallen en weer op te staan. Deze aanpak heeft systemen voortgebracht die in staat zijn complexe spellen te spelen en robots te navigeren, maar het brengt een aanzienlijk risico met zich mee: de machine kan leren om zijn doel te bereiken door iets gevaarlijks of verbodens te doen. Om dit te voorkomen, gebruiken ingenieurs een veiligheidsmechanisme dat een 'schild' wordt genoemd. Zie een schild als een waakzame toezichthouder die de voorgestelde zetten van de agent observeert en elke zet blokkeert die de regels overtreedt, waardoor de agent alleen binnen een veilige zone vrij kan leren. Jarenlang waren deze toezichthouders statisch, gebouwd op een vaste set regels over hoe de wereld werkt. Ze gaan ervan uit dat de omgeving zich precies gedraagt zoals voorspeld, zoals een kaart die nooit verandert. Echter, in de echte wereld veranderen omstandigheden, falen sensoren en treden onverwachte gebeurtenissen op. Wanneer de omgeving de regels overtreedt waarop het schild is gebouwd, raakt de toezichthouder vaak verlamd of overmatig voorzichtig, waardoor de agent wordt verhinderd om iets nuttigs te doen, of erger nog, het niet lukt om een ramp te voorkomen omdat de kaart niet meer overeenkomt met de werkelijkheid.

Onderzoekers aan het Imperial College London en de Universiteit van Buenos Aires hebben een nieuwe manier ontwikkeld om dit probleem aan te pakken, waarbij ze een veiligheidssysteem hebben gecreëerd dat kan leren en zich kan aanpassen wanneer zijn aannames onjuist blijken te zijn. Hun werk, gepresenteerd op een recente conferentie over neurosymbolisch leren, richt zich op een specifiek type logisch kader dat deze veiligheidstoezichthouders in staat stelt zichzelf te repareren. In plaats van te vertrouwen op een rigide, onveranderlijke set instructies, monitort hun systeem de omgeving in realtime. Als de omgeving zich op een manier gedraagt die in strijd is met de oorspronkelijke regels — zoals een mijnpomp die een gevaarlijke gasconditie tegenkomt die eerder als onmogelijk werd beschouwd — detecteert het systeem de fout. Het gebruikt vervolgens een gespecialiseerde leermethode om zijn eigen regels te herschrijven, waarbij het een nieuwe manier vindt om veiligheid te garanderen terwijl de agent nog steeds zijn taak kan voltooien. Dit proces zorgt ervoor dat de agent veilig en effectief blijft, zelfs wanneer de wereld zich niet gedraagt zoals verwacht, waardoor de kloof wordt overbrugd tussen de rigide logica van formele veiligheid en de onvoorspelbare aard van real-world learning.

De kern van deze innovatie ligt in de manier waarop de onderzoekers omgaan met het concept van "liveness", wat het vermogen is van een systeem om vooruit te blijven bewegen en uiteindelijk zijn doelen te bereiken, in plaats van alleen maar directe gevaren te vermijden. In hun experimenten testten zij twee zeer verschillende scenario's. Het eerste was een gesimuleerd mijnpumpsysteem, een klassiek probleem waarbij een controller water uit een mijn moet pompen, maar onmiddellijk moet stoppen als er methaangas wordt gedetecteerd om een explosie te voorkomen. De oorspronkelijke veiligheidsregels gingen ervan uit dat hoog water en methaangas nooit tegelijkertijd zouden voorkomen. In de echte wereld kan deze aanname echter worden geschonden. Toen de onderzoekers deze onmogelijke situatie in hun simulatie introduceerden, faalden de oude, statische veiligheidscontrollers volledig. Ze stopten de pomp geheel, waardoor de mijn onder water liep, of ze lieten de pomp draaien, met het risico op een explosie. Het nieuwe adaptieve systeem merkte daarentegen de tegenstrijdigheid op. Het realiseerde zich dat de regel over het feit dat water en gas nooit mengen, onwaar was. Het paste vervolgens zijn eigen logica aan naar: "Als gas aanwezig is, pomp dan niet, maar als het water hoog is en gas niet aanwezig is, pomp dan wel." Deze kleine, logische reparatie stelde het systeem in staat om veilig en efficiënt te blijven opereren, terwijl de statische systemen vastliepen.

De tweede test vond plaats in een spelomgeving met hoge inzet genaamd Seaquest, waarin een agent een onderzeeër bestuurt. De veiligheidsregels hier waren gebaseerd op de aanname dat het zuurstofgehalte met een constant, voorspelbaar tempo zou dalen. In de test veranderden de onderzoekers het spel zo dat het zuurstofgehalte veel sneller zou dalen zods het een bepaal laag niveau bereikte, een scenario dat de oorspronkelijke veiligheidsschild niet had voorzien. De statische schilden, gebouwd op het oude, tragere tempo van zuurstofverlies, raakten in de war. Ze blokkeerden de onderzeeër óf wanneer deze moest bewegen, óf ze slaagden er niet in om te voorkomen dat de zuurstof volledig opraakte. Het adaptieve schild merkte echter op dat de zuurstof sneller verdween dan verwacht. Het paste onmiddellijk zijn interne model van de wereld aan, waarbij het zijn verwachtingen over hoe lang de onderzeeër onder water kon blijven verzwakte, terwijl de absolute garantie dat de zuurstof nooit nul zou bereiken behouden bleef. Dit stelde de onderzeeër in staat om het spel te blijven spelen, duikers te redden en punten te verzamelen, zelfs toen de omgeving vijandiger was geworden dan de oorspronkelijke regels toelieten.

De resultaten van deze experimenten waren duidelijk en meetbaar. In het mijnpumpscenario behaalde het adaptieve systeem een perfecte naleving van de veiligheid en behield het een hoog prestatieniveau, met beloningen die bijna net zo hoog waren als die van de beste statische systemen die geallowed waren om te falen. In het Seaquest-spel zorgde het adaptieve schild ervoor dat de agent bijna elke poging slaagde, terwijl de onbeschermde agenten en die met statische schilden regelmatig faalden wanneer de omgeving veranderde. De onderzoekers ontdekten dat het systeem slechts af en toe hoefde in te grijpen, waarbij het de voorgestelde actie van de agent verving door een veilige actie in minder dan 20 procent van de stappen in de mijnpumptest en zelfs minder in het spel. Dit lage percentage van interferentie toont aan dat het systeem de agent niet constant hoeft te micromanagen; het grijpt alleen in wanneer de omgeving de regels breekt, en doet dat door zijn eigen begrip van die regels bij te werken.

Wat deze aanpak bijzonder krachtig maakt, is dat het niet simpelweg probeert de waarschijnlijkheden te raden of een perfect model van de wereld te leren, wat in complexe situaties onmogelijk kan zijn. In plaats daarvan richt het zich op de logische structagen van de veiligheidsregels zelf. Wanneer een overtreding optreedt, gebruikt het systeem een methode genaamd inductieve logische programmering om de eenvoudigste wijziging aan de regels te vinden die de situatie weer mogelijk maakt. Dit betekent dat de wijzigingen transparant en begrijpelijk zijn; een menselijke ingenieur kan naar de nieuwe regels kijken en precies zien waarom het systeem besloot zijn gedrag aan te passen. De onderzoekers toonden aan dat deze methode het vermogen van de agent om te leren en zijn prestaties te optimaliseren behoudt, waardoor de valkuil wordt vermeden waarbij veiligheidsmaatregelen de agent zo voorzichtig maken dat hij zijn werk niet meer kan doen. Door het veiligheidsschild te laten evolueren samen met de omgeving, behoudt het systeem een balans tussen strikte veiligheid en praktische effectiviteit.

De studie benadrukte ook de beperkingen van huidige methoden. De onderzoekers toonden aan dat het vertrouwen op vaste, handmatig opgestelde regels een fragiele strategie is. Wanneer de omgeving afwijkt van de ontwerpveronderstellingen, worden statische controllers vaak nutteloos, ofwel door alle actie te blokkeren, ofwel door er niet in te slagen schade te voorkomen. De adaptieve aanpak bewees dat het mogelijk is om systemen te bouwen die robuust zijn tegen deze onverwachte veranderingen zonder het vermogen om te leren op te offeren. De onderzoekers merkten echter op dat deze methode momenteel het beste werkt in omgevingen die beschreven kunnen worden met duidelijke, discrete stappen, zoals de mijnpomp of de specifieke mechanica van het videospel. In werelden met continue, vloeiende dynamica zou de vereiste logische abstractie moeilijker te definiëren zijn. Daarnaast kost het proces van het repareren van de regels tijd, en voor zeer grote of complexe systemen zou de snelheid van deze reparatie een bottleneck kunnen worden. Ondanks deze uitdagingen biedt het werk een belangrijke stap voorwaarts in het veiliger en betrouwbaarder maken van kunstmatige intelligentie. Het suggereert een toekomst waarin veiligheidssystemen niet slechts rigide barrières zijn, maar intelligente partners die kunnen begrijpen wanneer de wereld is veranderd en hun bescherming dienovereenkomstig kunnen aanpassen, zodat machines veilig kunnen opereren, zelfs in het bijzijn van het onbekende.