Minimal Developmental Support for Continually Growing Autonomous Robots
Dit artikel stelt een minimaal ontwikkelingsintelligentiemodel voor voor autonome robots dat vertrouwt op vooraf gedefinieerde leermechanismen in plaats van uitgebreide voorkennis, waardoor het systeem continu kennis kan verwerven en hergebruiken om vergelijkbare prestaties en superieur langetermijnredeneren te bereiken met aanzienlijk minder vooraf ingestelde regels dan bestaande adaptieve systemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een robot voor die niet ter wereld komt met een volledige handleiding met instructies. In plaats van geprogrammeerd te zijn met elke regel die het ooit nodig zou hebben om te overleven, is het uitgerust met enkel het basisvermogen om de omgeving waar te nemen, te onthouden wat er gebeurde en te leren van de resultaten van zijn eigen acties. Dit is de centrale uitdaging van de ontwikkelingsrobotica: machines creëren die slimmer kunnen worden naarmate ze groeien door langdurige interactie met een onvoorspelbare omgeving. Decennialang hebben ingenieurs geprobeerd dit op te lossen door robots te laden met enorme bibliotheken van vooraf geschreven regels en vaardigheden, in de hoop elk mogelijk scenario te dekken. Echter, deze aanpak heeft een gebrek. Als de wereld verandert op een manier die de ontwerpers niet hadden voorzien, kan een robot die vastzit aan rigide, vooraf gedefinieerde regels niet aanpassen. De vraag die onderzoekers zich hebben gesteld is niet hoeveel kennis men een robot aan het begin moet geven, maar eerder wat de minimale set instrumenten is die nodig is om de robot die kennis zelf te laten ontdekken.
Een team onder leiding van Hong Su van de Chengdu University of Information Technology heeft een nieuwe manier voorgesteld om deze machines te bouwen, met de focus op een model van "minimale ontwikkelingsintelligentie". Hun werk suggereert dat een robot niet voorzien moet worden van specifieke antwoorden op problemen die hij nog niet is tegengekomen. In plaats daarvan moet hij de mechanismen krijgen om die antwoorden later te vinden. De onderzoekers bouwden een systeem dat scheidt wat ingebouwd moet zijn van wat geleerd moet worden. De ingebouwde onderdelen worden tot een absoluut minimum beperkt: net genoeg om de robot veilig te houden, om zijn ervaringen vast te leggen en om die ervaringen te koppelen aan toekomstige uitkomsten. Al het andere, inclusief welke specifieke acties leiden tot succes of falen in een veranderende wereld, wordt aan de robot overgelaten om dit door middel van vallen en opstaan te ontdekken gedurende de tijd.
Om dit idee te testen, voerden de onderzoekers een reeks computersimulaties uit waarbij een robot door een verschuivende omgeving moest navigeren. In één scenario kreeg de robot een zeer kleine set basisveiligheidsregels, terwijl een andere versie van de robot werd geladen met acht gedetailleerde, vooraf geschreven regels over hoe te handelen. Verrassend genoeg presteerde de robot met slechts de twee basisregels en het vermogen om te leren van zijn fouten net zo goed als de robot met de zware bibliotheek van vooraf geschreven regels. Beiden bereikten een succespercentage van ongeveer 63 procent. Het verschil werd echter duidelijk toen de omgeving veranderde. De robot met de vooraf geschreven regels had moeite met aanpassen omdat zijn initiële instructies nu onjuist waren, terwijl de lerende robot zijn gedrag aanpaste op basis van nieuwe uitkomsten. Dit toonde aan dat het geven van te veel vaste regels aan een robot een valstrik kan zijn, waardoor het moeilijker wordt om te leren wanneer de wereld verandert.
De studie onderzocht ook hoe lang een robot zich zijn verleden moet herinneren om effectief te kunnen leren. In de echte wereld kan de oorzaak van een probleem pas veel later optreden. Een robot kan een actie ondernemen die op dat moment veilig lijkt, maar die honderd stappen later tot een falen leidt. De onderzoekers ontdekten dat robots met korte geheugens, die slechts enkele stappen terugkeken, er niet in slaagden deze verre gebeurtenissen te verbinden. Zij gokten willekeurig, met een nauwkeurigheid van ongeveer 50 procent. Maar de robot die ontworpen was om een langetermijnverslag van zijn hele geschiedenis bij te houden, was in staat om deze vertraagde patronen te herkennen. Het bereikte een nauwkeurigheid van meer dan 92 procent in het herkennen van relaties die door een tijdspanne van honderd stappen van elkaar gescheiden waren. Dit bewees dat een robot het antwoord niet onmiddellijk hoeft te weten; hij hoeft alleen een verslag bij te houden van wat er is gebeurd, zodat hij de connectie later kan leren.
Een ander cruciaal bevinding was dat een robot niet volledig blanco kan beginnen. Hij heeft een kleine, ingebouwde vangnet nodig om de beginfase te overleven voordat hij genoeg heeft geleerd om zichzelf te beschermen. De onderzoekers testten dit door de robot een paar eenvoudige signalen te geven, zoals een waarschuwing voor een lage batterij of een botsing, zonder hem precies te vertellen hoe hij het probleem moet oplossen. Deze minimale ondersteuning stelde de robot in staat om catastrofale fouten te vermijden tijdens zijn eerste honderden stappen van het leren. Zonder deze kleine veiligheidslaag maakte de robot gevaarlijke fouten terwijl hij nog bezig was de regels van de wereld te ontdekken. Met deze laag bleef de robot veilig genoeg om door te gaan met leren, waarbij hij uiteindelijk op eigen kracht complexe strategieën ontdekte.
Het meest geavanceerde deel van het systeem betrof het vermogen van de robot om wat hij had geleerd te hergebruiken om over nieuwe problemen na te denken. De onderzoekers programmeerden de robot om periodiek te stoppen en zijn eerdere ervaringen te beoordelen om te zien of oude kennis kon helpen bij een huidige situatie. Dit proces stelde de robot in staat om drie dingen te doen: zijn directe acties te veranderen, te besluiten om iets specifieks te leren, of te stoppen en na te denken over een verwarrend patroon. Wanneer de robot al deze drie vermogens gebruikte, steeg zijn prestatie aanzienlijk. Hij was in staat om verborgen gevaren te identificeren en problemen op te lossen die een robot die alleen op directe reacties vertrouwt, niet zou kunnen oplossen. In een laatste test verbergden de onderzoekers de identiteit van de belangrijkste sensor en de belangrijkste relatie tussen variabelen, en veranderden deze willekeurig voor elke simulatie. Het systeem van de robot kreeg niet te horen waar het naar moest zoeken; het had enkel het mechanisme om naar nuttige patronen te zoeken. Opmerkelijk genoeg ontdekte de robot in elke enkele test de juiste verborgen sensor en de juiste verborgen relatie, wat bewees dat hij de juiste antwoorden kon vinden zonder dat die vooraf aan hem waren verteld.
De resultaten van deze simulaties suggereren dat de weg naar werkelijk autonome robots niet ligt in het laden van ze met meer data, maar in het geven van betere instrumenten om te leren. Door onnodige vooraf gedefinieerde regels weg te strippen en de focus te leggen op een minimale set ontwikkelingsmechanismen — waarnemen, onthouden, leren van uitkomsten en het periodiek hergebruiken van kennis — lieten de onderzoekers zien dat een robot zijn eigen intelligentie kan laten groeien. Het systeem bereikte een prestatieniveau dat vergelijkbaar is met zwaar geprogrammeerde machines, terwijl het veel minder initiële instructies gebruikte. Het toonde aan dat een robot kan leren omgaan met vertraagde gevolgen, kan aanpassen wanneer zijn initiële aannames onjuist zijn, en zelfs nieuwe variabelen en relaties kan ontdekken die nooit door zijn makers zijn gespecificeerd. Deze aanpak biedt een blauwdruk voor machines die in open, veranderende omgevingen kunnen opereren en steeds slimmer en bekwaamder worden naarmate ze langer met de wereld interageren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.