Experiential Learning of Runtime Monitoring Using Pachinko

In de hooggestoken wereld van de luchtvaart en autonome vlucht facing ingenieurs een ontmoedigende uitdaging: hoe te garanderen dat complexe machines correct functioneren wanneer ze in real time draaien. Deze systemen, vaak gebouwd door grote teams van mensen, zijn te ingewikkeld om perfect te controleren voordat ze ooit worden ingeschakeld. Om dit op te lossen, gebruiken specialisten een techniek genaamd runtime monitoring. Stel je een toegewijde veiligheidsbewaker voor die toezicht houdt op de datastroom van een machine, waarbij constant wordt gecontroleerd of de cijfers en gebeurtenissen overeenkomen met een reeks strikte regels. Als de machine begint af te wijken van haar veilige pad, laat deze bewaker een alarm afgaan of onderneemt hij corrigerende acties voordat er een ramp plaatsvindt. Hoewel dit concept essentieel is voor het veilig houden van vliegtuigen en drones, is het moeilijk om dit aan studenten te onderwijzen. De scenario's betreffen meestal enorme, abstracte systemen die moeilijk te visualiseren zijn in een klaslokaal, waardoor het voor leerlingen lastig is om te begrijpen waarom dergelijke strikte regels noodzakelijk zijn.

Een team van onderwijzers van Barnard College en Columbia University heeft een manier gevonden om dit abstracte concept tastbaar te maken door een klaslokaal te veranderen in een werkplaats voor het Japanse spel Pachinko. In hun recente werk hebben zij een opdracht voor een cursus ontworpen waarbij studenten interactieve Pachinko-borden bouwen die in real time door een computersysteem worden gemonitord. Het doel was niet alleen om een spel te bouwen, maar om studenten te leren hoe ze formele specificaties schrijven—precieze, logische regels die een computer precies vertellen waar hij naar moet kijken en hoe hij moet reageren. Door gebruik te maken van een fysiek spel waarbij stalen ballen onvoorspelbaar stuiteren tegen duizenden spijkers, creëerden de onderzoekers een scenario waarin de noodzaak voor een veiligheidsmonitor direct en echt aanvoelde. De studenten leerden een kleine computerchip te programmeren om de ballen te observeren, patronen te detecteren en geluiden of motorbewegingen te triggeren op basis van die patronen, waardoor ze een spel effectief transformeerden in een les over veiligheidskritische software.

Het project draait om een houten bord gevuld met honderden messing spijkers en een pad waar stalen ballen naar beneden rollen. Onderaan dit bord bevindt zich een klein elektronisch apparaat dat fungeert als het brein en de veiligheidsbewaker van het spel. Dit apparaat is uitgerust met sensoren die kunnen detecteren wanneer een bal door een specifiek kanaal gaat, waarbij een piepkleine opening in koper tape wordt overbrugd. De onderzoekers hebben het systeem zo ingesteld dat het centrale apparaat twee aparte taken tegelijkertijd uitvoert op zijn interne processoren. Eén processor handelt het fysieke werk af van het uitlezen van de sensoren en het communiceren met andere apparaten, terwijl de tweede processor de "monitor" draait. Deze monitor is een stuk software dat constant de stroom van balbewegingen controleert tegen een reeks door de studenten geschreven regels.

De studenten, werkend in kleine groepen, kregen de taak om deze regels te schrijven met behulp van een gespecialiseerde taal die ontworpen is voor het beschrijven van tijdgebonden gebeurtenissen. Zij moesten beslissen welke patronen in de beweging van de ballen een reactie zouden triggeren. Bijvoorbeeld, een student zou een regel kunnen schrijven die zegt: "Als een bal twee keer achter elkaar door dit specifieke kanaal gaat, stuur dan een signaal naar een motor." Wanneer de monitor detecteert dat de regel is vervuld, stuurt deze onmiddellijk een draadloos bericht naar andere apparaten op het bord. Deze apparaten besturen stappenmotoren die fysiek delen van het spel kunnen bewegen of lichten en geluiden kunnen triggeren. Het hele proces vindt plaats in real time, wat een dynamische lus creëert waarbij het gedrag van het spel verandert op basis van de logische regels die de studenten hebben gedefinieerd.

De onderzoekers stelden vast dat de studenten verrassend succesvol waren in het schrijven van deze formele regels om het gedrag van het spel te besturen. De belangrijkste moeilijkheden die de studenten tegenkwamen, hadden niet te maken met de logica of de code, maar met de fysieke constructie van het spel. Het aansluiten van de sensoren, het bedraden van de motoren en het waarborgen dat de draadloze communicatie tussen de verschillende elektronische borden soepel verliep, bleek het meest uitdagende deel. Deze uitkomst was in feite een waardevolle les op zich. In de echte wereld wordt runtime monitoring vaak gebruikt in complexe systemen waarbij hardware en software perfect samen moeten werken. Door te worstelen met de bedrading en de fysieke opstelling, ervoeren de studenten dezelfde integratieproblemen waar professionele ingenieurs voor staan bij het bouwen van veiligheidssystemen voor drones of vliegtuigen.

Er waren enkele technische beperkingen aan wat de studenten met de aangeboden middelen konden bereiken. De software die zij gebruikten om de regels te schrijven, ondersteunde bepaalde complexe tijdgebonden operaties niet, zoals het tellen van het totaal aantal ballen over een langere periode. Om dit op te lossen, moesten de studenten creatief zijn door de hoofdprocessor te gebruiken om de ballen te tellen en deze totalen vervolgens naar de monitor te sturen. Hoewel dit niet de ideale manier was om die specifieke concepten te onderwijzen, toonde het aan dat de studenten nog steeds in termen van formele logica konden denken om het probleem op te lossen. De onderzoekers merkten op dat zij werken aan het verbeteren van de software zodat deze in de toekomst deze complexere operaties kan afhandelen.

Het succes van dit project suggereert dat het onderwijzen van geavanceerde veiligheidsconcepten geen abstracte simulaties of enorme industriële opstellingen vereist. Door de les te verankeren in een fysiek, interactief spel, maakten de onderwijzers de noodzaak van runtime monitoring duidelijk en boeiend. De materialen voor het project waren relatief goedkoop, met kosten van ongeveer vijftig dollar per bord, en de opstelling was zo ontworpen dat deze gemakkelijk in andere klaslokalen gereproduceerd kon worden. Het systeem is flexibel genoeg zodat het aantal sensoren en motoren kan worden gewijzigd, waardoor de opdracht kan worden aangepast aan verschillende groepsgroottes of creatieve doelen. Uiteindelijk heeft het project aangetoond dat studenten de principes van formele verificatie en real-time veiligheidsmonitoring kunnen begrijpen wanneer zij een concrete, praktische manier krijgen om die regels in actie te zien.