World models of environment, agent and joint agent-environment systems
Dit artikel stelt een raamwerk voor dat gebruikmaakt van computationele mechanica om canonieke voorspellende modellen voor de omgeving, de agent en hun gezamenlijke interactie te onderscheiden en te definiëren, waarbij wordt aangetoond hoe gesloten luskoppeling en ondersteingsrestrictie de structuur en complexiteit van deze wereldmodellen fundamenteel kunnen veranderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne tijdperk van kunstmatige intelligentie is een centrale uitdaging het leren begrijpen van de wereld door machines. Om beslissingen te kunnen nemen, heeft een intelligente agent — of het nu een robot, een softwareprogramma of een digitaal brein is — een "wereldmodel" nodig. Dit is geen fysieke aardbol, maar een interne kaart of een set regels die het systeem in staat stelt te voorspellen wat er hierna zal gebeuren. Als een robot weet dat het indrukken van een knop meestal een deur opent, heeft hij een eenvoudig model van die interactie. Decennialang hebben onderzoekers zich gericht op hoe deze modellen de toekomst voorspellen op basis van wat de agent doet. Ze vragen: "Als ik deze actie onderneem, wat zal ik dan zien?" Deze benadering is uiterst succesvol geweest, waardoor machines complexe taken kunnen leren door uitkomsten te simuleren voordat ze handelen. Echter, dit traditionele standpunt gaat ervan uit dat het model uitsluitend is gebouwd om de omgeving te begrijpen als een passief podium dat wacht op de zetten van de agent. Het behandelt het eigen gedrag van de agent als een vaste input in plaats van als een dynamisch onderdeel van het verhaal.
Een team van onderzoekers heeft nu een meer genuanceerde manier voorgesteld om naar deze modellen te kijken. Zij stellen dat om werkelijk te begrijpen hoe een kunstmatige intelligentie denkt, we niet alleen moeten onderscheiden wat het voorspelt, maar via welk kanaal het informatie modelleert. In elke interactie tussen een agent en zijn omgeving zijn er drie verschillende manieren om de stroom van oorzaak en gevolg te bekijken. Ten eerste is er het perspectief van de omgeving, die voorspelt wat er gezien zal worden gegeven een specifieke actie. Ten tweede is er het perspectief van de agent zelf, die voorspelt welke actie hij als volgende zal ondernemen gegeven wat hij ziet. Ten derde is er het perspectief van het gehele systeem dat samenwerkt, dat de feitelijke sequentie van acties en observaties voorspelt die zich ontvouwt wanneer de twee in een lus aan elkaar gekoppeld zijn. De onderzoekers gebruikten een wiskundig raamwerk dat bekend staat als computationele mechanica om de meest efficiënte, minimale modellen voor elk van deze drie perspectieven te definiëren. Hun werk onthult dat deze modellen fundamenteel verschillende structuren zijn, en niet slechts variaties op hetzelfde thema.
De meest verrassende bevinding van dit onderzoek betreft wat er gebeurt wanneer een agent daadwerkelijk in een gesloten lus met zijn omgeving draait. In theorie zou een agent elke mogelijke actie die hij ooit zou kunnen ondernemen kunnen voorstellen, zelfs acties die hij nooit zou kiezen om uit te voeren. Een model dat gebouwd is op dit "onbeperkte" perspectief moet rekening houden met elke contrafeitelijke mogelijkheid. De onderzoekers ontdekten dat voor veel systemen, zoals een onbeperkt model, de complexiteit enorm is; het vereist soms een oneindig aantal interne toestanden om alle mogelijkheden bij te houden. Echter, toen zij keken naar het model dat alleen de acties overweegt die de agent daadwerkelijk onderneemt — de "ondersteunde" acties — veranderde het beeld drastisch. Ze bewezen dat het model van het feitelijke gedrag van de agent altijd wordt bepaald door het model van het gezamenlijke systeem. Met andere woorden: de complexe, oneindige mogelijkheden van de omgeving storten in tot een veel eenvoudigere, eindige structuur wanneer men ze bekijkt door de lens van de feitelijke keuzes van de agent.
Om dit te illustreren, construeerden de onderzoekers een specifiek voorbeeld met een eenvoudige binaire omgeving en een controller met een beperkt geheugen. In dit scenario heeft de omgeving een verborgen toestand die ofwel nul of één kan zijn. Bepaalde acties resetten deze toestand willekeurig, terwijl andere de toestand gelijk houden. Als men probeert een model te bouwen dat het gedrag van de omgeving voorspelt voor elke mogelijke sequentie van acties, wordt het model oneindig groot. Dit komt doordat een agent theoretisch de toestand een arbitrair lange tijd vast zou kunnen houden, wat een eindeloos aantal unieke geloofstoestanden creëert. Maar toen de onderzoekers een specifieke controller introduceerden die slechts een beperkte set acties uitvoert — het de toestand af en toe reset en de toestand voor een kort, vast aantal stappen vasthoudt voordat er weer wordt gereset — verdween de complexiteit. Het model van de omgeving, beperkt tot alleen de acties die de controller daadwerkelijk uitvoert, werd eindig en beheersbaar. De "oneindige" mogelijkheden werden simpelweg nooit gerealiseerd in de feitelijke interactie.
Dit onderscheid is cruciaal voor het begrijpen van wat een AI daadwerkelijk leert. De onderzoekers toonden aan dat de interne toestand die een AI gebruikt om beslissingen te nemen, niet noodzakelijkerwijs een kaart is van de gehele mogelijke wereld. In plaats daarvan is het vaak een kaart van de specifieke interacties die het heeft ervaren. Het model van de omgeving, wanneer beperkt tot het feitelijke gedrag van de agent, is een vereenvoudigde versie van het volledige gezamenlijke proces. De onderzoekers demonstreerden dat de toestanden van dit vereenvoudigde model rechtstreeks afgeleid zijn van de toestanden van het gezamenlijke systeem. Dit betekent dat de complexiteit van het wereldmodel van een agent niet een inherente eigenschap van de omgeving alleen is, maar een resultaat is van de specifieke koppeling tussen de agent en de wereld. Als de agent beperkt is in wat hij kan doen, is zijn model van de wereld dienovereenkomstig beperkt en eenvoudiger.
De implicaties van dit werk strekken zich uit tot hoe we kunstmatige intelligentie interpreteren en vertrouwen. Als we willen weten wat een AI gelooft over zijn wereld, kunnen we niet simpelweg naar zijn voorspellingen in een vacuüm kijken. We moeten vragen: voorspelt het de omgeving onder alle mogelijke acties, of voorspelt het de omgeving op basis van de specifieke policy die het volgt? De onderzoekers betogen dat dit twee verschillende vragen zijn die twee verschillende modellen vereisen. Een AI kan een zeer eenvoudig intern beeld van de wereld hebben omdat het slechts een klein deel van de realiteit ervaart. Dit betekent niet dat de AI "dom" is of dat de wereld simpel is; het betekent dat het wereldmodel van de AI is afgestemd op zijn specifieke rol in het systeem. Door het model van de omgeving, het model van de agent en het model van het gezamenlijke proces van elkaar te scheiden, bieden de onderzoekers een duidelijkere taal om te beschrijven wat deze systemen daadwerkelijk doen.
Deze benadering verheldert ook het verschil tussen plannen en leren. Wanneer een agent leert van data, leert hij vaak van een specifieke reeks interacties, en niet van elke mogelijke interactie. Het raamwerk van de onderzoekers stelt ons in staat om te zien dat het geleerde model uit deze data een "ondersteuningsbeperkt" model is. Het is geldig en accuraat voor de situaties die de agent daadwerkelijk zal tegenkomen, zelfs als het er niet in slaagt de volledige theoretische landschappen van de omgeving te beschrijven. Dit helpt verklaren waarom sommige AI-systemen goed functioneren in de praktijk, ondanks dat ze modellen lijken te hebben die vanuit een theoretisch standpunt incompleet of vereenvoudigd zijn. Ze proberen niet het onmogelijke te modelleren; ze modelleren het reële.
De studie concludeert dat de structuur van een wereldmodel niet vaststaat, maar gevormd wordt door de interactie zelf. De manier waarop een agent en omgeving aan elkaar gekoppeld zijn, bepaalt de complexiteit van het model dat nodig is om hun toekomst te voorspellen. Dit daagt het idee uit dat er een enkel, perfect model van de wereld bestaat waar een agent naar zou moeten streven. In plaats daarvan hangt het "beste" model af van de vraag die gesteld wordt. Als de vraag is "wat gebeurt er als ik X doe?", dan kan het antwoord een complex model vereisen. Maar als de vraag is "wat gebeurt er hierna, gegeven dat ik Y doe?", dan kan het antwoord in een veel eenvoudigere structuur te vinden zijn. Door deze modellen precies te definiëren, hebben de onderzoekers een instrument geboden om de mechanica van intelligentie beter te begrijpen, waarbij zij laten zien dat de complexiteit van de geest van een machine vaak een reflectie is van de beperkingen van zijn lichaam en zijn wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.