Learning to Control Coupled-Dynamics Environments with Joint Markov Decision Processes
Dit artikel introduceert optimale controlemethoden voor Joint Markov Decision Processes (JMDP's) door een niet-parametrale distributionele Bellman-optimaliteitsoperator te definiëren en het bewijs van de convergentie ervan naar de optimale gezamenlijke return-wet te leveren, waardoor afhankelijkheden over contrafactische uitkomsten behouden blijven die standaard MDP's verwerpen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie leren agenten beslissingen te nemen door te interageren met een omgeving, net zoals een kind leert om door een kamer te navigeren. Decennialang was het standaard wiskundige kader voor dit leerproces het Markov-beslissingsproces. In dit model probeert een agent een specifieke actie uit, observeert het enkele resultaat dat plaatsvindt, en gebruikt die ervaring om te verbeteren. Deze aanpak werkt goed wanneer het doel simpelweg het maximaliseren van de gemiddelde beloning over een bepaalde tijd is. Deze standaardvisie behandelt echter elke mogelijke actie alsof deze in een apart, geïsoleerd universum bestaat. Het gaat ervan uit dat als de agent een ander pad had gekozen, de uitkomst zou zijn gegenereerd door een volledig onafhankelijke worp met de dobbelstenen. In veel reële situaties is deze aanname te simpel. Vaand vaak zijn de potentiële uitkomsten van verschillende keuzes verbonden door een gedeelde onderliggende realiteit. Een plotselinge windvlaag kan bijvoorbeeld de baan van een drone beïnvloeden, ongeacht welke richting de piloot beoogde te vliegen. Wanneer deze uitkomsten verbonden zijn door een gemeenschappelijke oorzaak, gooit het standaardmodel cruciale informatie weg over hoe die mogelijkheden met elkaar samenhangen.
Onderzoekers aan de Purdue University hebben een nieuwe manier ontwikkeld om deze gelinkte scenario's aan te pakken, waarbij ze verder gaan dan het idee van geïsoleerde keuzes naar een kader waar de potentiële toekomsten van alle acties gezamenlijk worden berekend. Ze noemen dit een Joint Markov decision process (Gezamenlijk Markov-beslissingsproces). In plaats van te vragen: "Wat gebeurt er als ik naar links draai?" en vervolgens apart te vragen: "Wat gebeurt er als ik naar rechts draai?", alsof de wereld tussen de vragen door wordt gereset, vraagt hun methode: "Als ik naar links draai en de wind waait uit het noorden, wat gebeurt er? En als ik naar rechts draai terwijl diezelfde wind uit het noorden waait, wat gebeurt er dan?". Door deze contrafeitelijke uitkomsten — wat er zou zijn gebeurd als een andere keuze was gemaakt — gekoppeld te houden aan hetzelfde moment van willekeur, kunnen de onderzoekers zien hoe verschillende acties elkaar beïnvloeden. Dit is essentieel voor taken met een kritiek veiligheidsaspect of voor de toewijzing van middelen, waarbij het begrijpen van de relatie tussen opties even belangrijk is als het kennen van de waarde van een enkele optie.
Het werk van het team richt zich op het leren van een agent hoe hij de beste strategie kan vinden in deze complexe, gelinkte omgevingen. Ze bewezen dat als er bij elke stap één duidelijk superieure actie is, het leerproces van de agent uiteindelijk zal bezinken in de perfecte strategie, en de wiskundige beschrijving van alle mogelijke toekomstige beloningen zal convergeren naar het juiste antwoord. Ze toonden ook aan dat zelfs wanneer twee acties gemiddeld genomen even goed lijken, de agent nog steeds de juiste relaties tussen hen kan leren, mits deze relaties op een specifieke manier stabiliseren. Dit stelt het systeem in staat om niet alleen de gemiddelde beloning te berekenen, maar ook hoe de beloningen voor verschillende acties samen bewegen. Het kan bijvoorbeeld bepalen of een hoge beloning voor de ene actie er vaak toe leidt dat er een lage beloning voor een andere actie is, of dat ze in hetzelfde tempo stijgen en dalen.
Om deze ideeën te testen, voerden de onderzoekers simulaties uit in diverse omgevingen, van eenvoudige ketens van toestanden tot complexe grid worlds en zelfs een continue controletaak waarbij een balancerende staaf betrokken was. In één experiment onderzochten ze een routekeuzeprobleem waarbij een bestuurder kon kiezen tussen een veilig pad en twee risicovolle paden. De risicovolle paden waren verbonden door een gedeelde weersomstandigheid: als de wind gunstig was voor de één, was deze vaak ongunstig voor de ander. Door hun nieuwe methode te gebruiken, leerde de agent het verkeer te splitsen tussen de twee risicovolle paden. Omdat de risico's negatief verbonden waren, elimineerde deze splitsingsstrategie de kans op een totale mislukking, een resultaat dat standaardmethoden, die de link tussen de paden negeren, niet konden bereiken. In een andere test trainden ze neurale netwerken om deze relaties uit data te leren. De netwerken slaagden erin de verborgen verbindingen tussen acties te herstellen, wat bewees dat de gezamenlijke informatie niet slechts een theoretisch concept is, maar iets dat geleerd en gebruikt kan worden door moderne machine learning-systemen.
De bevindingen suggereren dat door de structuur van hoe verschillende mogelijkheden met elkaar verbonden zijn te bewaren, kunstmatige intelligentie robuustere en genuanceerdere beslissingen kan nemen. De onderzoekers hebben aangetoond dat hun wiskundige instrumenten betrouwbaar werken en convergeren naar de juiste antwoorden in zowel eenvoudige als complexe scenario's. Ze lieten zien dat hoewel standaardmethoden de subtiele wisselwerking tussen keuzes kunnen missen, hun benadering het volledige beeld vastlegt van hoe de wereld reageert op verschillende acties onder dezelfde omstandigheden. Dit verbetert niet alleen de gemiddelde score die een agent kan behalen; het verandert fundamenteel hoe de agent het landschap van risico en beloning begrijpt, waardoor het in staat is te navigeren in omgevingen waar het lot van verschillende keuzes onlosmakelijk aan elkaar verbonden is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.