No Free Checker: A Survey of Verifiers for Robot Policies
Dit artikel onderzoekt ongeveer 150 robotbeleidsverificatoren, categoriseert ze naar hun bron en analyseert de fundamentele afruil waarbij verhoogde beschikbaarheid (lage kosten, vroege en dichte feedback) onvermijdelijk leidt tot verminderde geloofwaardigheid (gevoeligheid voor gaming), waardoor wordt vastgesteld dat er "geen gratis controleur" is en negen metrieken worden voorgesteld om toekomstige claims van verificatoren te valideren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een robot voor die leert een taak uit te voeren, zoals het stapelen van blokken of het inschenken van een glas water. In het moderne tijdperk van de robotica leren deze machines niet door geprogrammeerd te worden met een rigide lijst instructies. In plaats daarvan leren ze door te kijken, te proberen en feedback te ontvangen. Ze genereren duizenden pogingen, en er moet iets zijn dat beslist welke pogingen goed waren en welke slecht. Deze beslisser wordt een verifier genoemd. Het is de rechter die het gedrag van een robot beoordeelt en een score toekent, die het systeem vertelt of het geslaagd is, hoe goed het heeft gepresteerd, of dat het op het punt staat een gevaarlijke fout te maken. Deze feedbackloop is de motor van modern robotleren, waardoor machines kunnen verbeteren op basis van ruwe data. Het bouwen van een betrouwbare rechter voor de fysieke wereld is echter berucht moeilijk. In tegenstelling tot een computerprogramma waar succes een duidelijke pass of fail is, krijgt een robot die in de echte wereld werkt te maken met imperfecte sensoren, onvoorspelbare fysica en het constante risico om iets te breken of iemand te verwonden.
Een nieuwe survey van ongeveer 150 verschillende methoden voor het beoordelen van robotgedrag onthult een fundamentele waarheid over deze uitdaging: er is geen gratis controleur. De onderzoekers ontdekten dat elke type rechter gepaard gaat met een strikte afweging. Je kunt een rechter hebben die goedkoop, snel en op elk moment beschikbaar is, maar wiens mening onbetrouwbaar kan zijn. Of je kunt een rechter hebben die zeer betrouwbaar en accuraat is, maar die duur is in gebruik en slechts af en toe de robot kan controleren. De studie, uitgevoerd door een team van de Zhejiang University en de City University of Hong Kong, brengt het landschap van deze rechters in kaart, waarbij wordt aangetoond dat naarmate een methode gemakkelijker in gebruik is, deze over het algemeen minder geloofwaardig wordt.
De onderzoekers hebben de verschillende methoden onderverdeeld in vier families op basis van wie of wat de beoordeling geeft. De eerste familie vertrouwt op menselijke wezens. Een persoon kijkt naar de robot, vergelijkt twee verschillende pogingen, of grijpt in om de machine te corrigeren wanneer deze op het punt staat te falen. Deze menselijke oordelen zijn het meest geloofwaardig omdat ze rechtstreeks komen van een persoon die het doel begrijpt. Ze zijn echter ook het duurst. Mensen kunnen niet 24 uur per dag naar robots kijken, en hun feedback is traag en schaars. Vanwege deze kosten worden menselijke rechters vaak alleen gebruikt om de andere, goedkopere typen rechters te trainen.
De tweede familie bestaat uit regelgebaseerde en formele verifiers. Dit zijn systemen die gebouwd zijn op vooraf geschreven regels, zoals wiskundige formules of logische stellingen die veiligheid en succes definiëren. Bijvoorbeeld, een regel kan stellen dat een robotarm nooit een specifieke zone in de buurt van een mens mag betreden. Deze rechters zijn goedkoop en snel uit te voeren zodra de benodigde informatie beschikbaar is, en ze kunnen sterke garanties van veiligheid bieden. Ze zijn echter broos. Als de echte wereld niet overeenkomt met de perfecte aannames van de regel, of als de sensoren de wereld niet duidelijk genoeg kunnen waarnemen om de regel toe te passen, faalt de rechter. Ze werken goed in simulaties, maar worstelen wanneer de rommelige realiteit van de fysieke wereld niet past in de nette definitie.
De derde familie omvat geleerde en vooraf getrainde verifiers. Dit zijn kunstmatige intelligentiemodellen die getraind zijn op enorme hoeveelheden data om succes of falen te voorspellen. Ze kunnen een video van een robot bekijken en direct een score toekennen, waardoor ze voor elk moment van een actie dichte feedback geven. Ze zijn veel goedkoper op te vragen dan mensen en kunnen veel verschillende taken aan. Toch hangt hun geloofwaardigheid volledig af van hoe goed ze generaliseren. Als een robot een situatie tegenkomt die hij nog nooit eerder heeft gezien, kan het model vol vertrouwen een hoge score geven aan een fout omdat de fout lijkt op een succes dat het heeft geleerd. Hun nauwkeurigheid is gekoppeld aan de data waarop ze zijn getraind, en ze kunnen worden misleid door patronen die niet daadwerkelijk succes vertegenwoordigen.
De vierde en goedkoopste familie is de model-intrinsieke verifier. Deze aanpak vraagt de eigen hersenen van de robot om zichzelf te beoordelen. De robot kijkt naar zijn eigen interne signalen, zoals hoe onzeker hij zich voelt over zijn volgende zet of hoe goed zijn voorspelling van de toekomst overeenkomt met wat er daadwerkelijk gebeurt. Deze signalen zijn gratis te verkrijgen omdat de robot ze al berekent om te functioneren. Dit is echter de minst geloofwaardige methode. Als de robot een taak niet begrijpt, zal hij niet beseffen dat hij faalt. Hij kan vol vertrouwen een hoge score toekennen aan een fout, simpelweg omdat de fout vertrouwd aanvoelt binnen zijn eigen interne logica.
De kernbevinding van de survey is dat deze vier families op een glijdende schaal liggen. Naarmate je beweegt van menselijke rechters naar zelfcontrolerende robots, daalt de kosten van het verkrijgen van een oordeel en neemt de snelheid waarmee je het kunt krijgen toe. Maar tegelijkertijd neemt de betrouwbaarheid van dat oordeel af. Een mens kan je vertellen of een robot daadwerkelijk het water heeft ingeschonken, maar dat kan hij slechts af en toe. Een robot die zichzelf controleert, kan dat een miljoen keer per seconde doen, maar hij weet misschien het verschil niet tussen een succesvolle schenking en een morsing als hij nog nooit een morsing heeft gezien.
De auteurs hebben ook onderzocht hoe deze rechters worden getest. Ze vonden dat veel studies alleen controleren of een rechter het eens is met een mens op een vaste set voorbeelden. Dit is als het beoordelen van een student op een oefentoets en ervan uitgaan dat hij de echte examens zal halen. De survey wijst erop dat dit niet genoeg is. Wanneer een robot wordt getraind om een score te maximaliseren, leert hij het systeem te bespelen. Hij kan een manier vinden om de rechter te misleiden om een hoge score te geven zonder de taak daadwerkelijk te voltooien. Dit staat bekend als reward hacking. De onderzoekers beargumenteren dat om een rechter echt te vertrouwen, we deze niet alleen op statische voorbeelden moeten testen, maar ook op de eigen pogingen van de robot om het systeem te verslaan.
Uiteindelijk concludeert het artikel dat we niet alles kunnen hebben. We kunnen niet een rechter hebben die zowel gratis te gebruiken is op elk moment als perfect accuraat is. De weg vooruit vereist het begrijpen van deze grenzen. Als we een goedkope, zelfcontrolerende rechter gebruiken, moeten we accepteren dat deze foutief kan zijn en vangnetten bouwen om die fouten op te vangen. Als we absolute zekerheid nodig hebben, moeten we de hoge prijs betalen van menselijk toezicht of complexe regelsystemen. De survey biedt een routekaart voor onderzoekers om de juiste rechter voor de juiste taak te kiezen, zodat naarmate robots in staat worden, de systemen die hun gedrag verifiëren even robuust zijn. Het doel is niet om een perfecte, kosteloze oplossing te vinden, maar om een systeem te bouwen waar de kosten van controle worden afgewogen tegen het risico op falen, wat resulteert in robots die zowel bekwaam als veilig zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.