Embedded Universal Predictive Intelligence: a coherent framework for multi-agent learning
Dit artikel introduceert een wiskundig kader voor ingebed universele voorspellende intelligentie die AIXI uitbreidt door Bayesiaanse agenten in staat te stellen zichzelf als onderdeel van hun omgeving te modelleren via zelfvoorspelling, waardoor niet-stationariteit in multi-agent-omgevingen wordt opgelost en een oneindige-orde theory of mind wordt bereikt om nieuwe vormen van samenwerking te faciliteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij een spelletje moet spelen. Decennialang was de standaardmanier om dit te doen de robot laten spelen, fouten laten maken, een beloning geven, en hem vervolgens te laten meer doen van wat werkte en minder van wat niet werkte. Dit wordt "reinforcement learning" genoemd, en het is als het trainen van een hond met snoepjes: je wacht tot het gedrag plaatsvindt, en geeft dan feedback. Dit werkt geweldig als de wereld saai is en niet verandert. Maar wat als de wereld vol zit met andere slimme leerlingen, zoals andere robots of mensen, die ook hun strategieën aanpassen op basis van wat jij doet? Plotseling werken de "snoepjes" die je gisteren kreeg vandaag misschien niet meer omdat je tegenstander je trucje heeft doorzien. Dit is de rommelige, chaotische realiteit van het sociale leven, waar iedereen naar iedereen kijkt en de regels van het spel voortdurend verschuiven omdat jij deel uitmaakt van het spel.
Dit artikel duikt in die rommelige realiteit. Het pakt een groot probleem aan in kunstmatige intelligentie: hoe bouwen we agenten (zoals AI) die kunnen leren en samenwerken in een wereld waar ze niet alleen afzonderlijke spelers zijn, maar ook daadwerkelijk binnen het systeem zitten dat ze proberen te begrijpen? De auteurs bouwen voort op een beroemd idee genaamd "AIXI", een theoretische superintelligentie die de toekomst voorspelt door te raden welke wiskundige regels het universum beschrijven. Maar de klassieke versie van dit idee behandelt de AI als een waarnemer die buiten het universum staat en naar binnen kijkt. De auteurs stellen dat dit onjuist is. In de echte wereld is een AI onderdeel van het universum, net zoals een persoon deel uitmaakt van een samenleving. Als je wilt voorspellen wat je vriend gaat doen, kun je niet alleen naar hem kijken; je moet beseffen dat hij ook over jou nadenkt. Dit artikel stelt een nieuw wiskundig kader voor waarin de AI begrijpt dat zijn eigen beslissingen deel uitmaken van de data die hij gebruikt om de toekomst te voorspellen, waardoor hij kan redeneren over anderen die misschien precies zoals hij denken.
Het probleem met "naar binnen kijken"
Stel je voor dat je een potje schaak speelt tegen een vriend. In de oude manier van denken over AI (genaamd "ontkoppeld" leren), zou de AI naar het bord kijken, denken: "Als ik mijn paard hierheen beweeg, zal mijn vriend waarschijnlijk zijn pion daarheen bewegen," en dan een zet doen. Het behandelt zijn eigen geest als een aparte machine van het schaakbord en zijn vriend. Het gaat ervan uit dat zijn vriend slechts een statisch onderdeel van het decor is dat reageert op zetten, en niet een denkend wezen dat ook naar de AI kijkt en probeert te raden wat de AI als volgende zal doen.
De auteurs zeggen dat deze aanpak kapot is voor sociale situaties. Als je in een kamer bent met een ander persoon die probeert te raden wat jij zult doen, en jij probeert te raden wat zij zullen doen, kom je vast te zitten in een lus: "Ik denk dat zij denken dat ik denk..." Dit wordt een "oneindige recursie" van theory of mind genoemd. De oude manier van doen gaat ervan uit dat de wereld statisch is, zoals een level in een videogame dat niet verandert. Maar in een wereld met meerdere agenten verandert het "level" elke keer dat iemand iets nieuws leert. Als de AI niet beseft dat hij degene is die het level verandert, zal hij blijven slechte voorspellingen doen.
Het nieuwe idee: "Ingebed" zijn
Het artikel introduceert het concept van Embedded Bayesian Agents. In plaats van buiten het universum te staan en naar binnen te kijken, stellen deze agenten zich voor dat ze binnen een "universum" zitten dat henzelf, hun vrienden en de omgeving allemaal mengt.
Denk hierover na: In het oude model is de AI een regisseur die een film kijkt en probeert het plot te voorspellen. In het nieuwe model is de AI een acteur in de film. Hij weet dat als hij besluit te huilen, de andere acteurs met troost kunnen reageren, maar hij weet ook dat de andere acteurs naar hem kijken en misschien besluiten te huilen omdat ze de AI verdrietig zagen kijken.
Om dit te doen, gebruikt de AI een speciaal soort voorspelling genaamd zelf-voorspelling. Hij voorspelt niet alleen wat de wereld hem zal tonen; hij voorspelt wat hij als volgende zal doen. Hij vraagt: "Gezien wat ik weet over de wereld, wat is de meest waarschijnlijke actie die ik zal ondernemen?" en gebruikt dat antwoord vervolgens om te raden wat de andere agenten zullen doen. Dit creëert een lus waarbij het geloof van de AI over zichzelf hem helpt anderen te begrijpen, en zijn geloof over anderen hem helpt zichzelf te begrijpen.
De magie van "Structurele Gelijkenis"
Hier wordt het echt interessant. Het artikel suggereert dat omdat deze agenten allemaal op vergelijkbare "software" draaien (algoritmen), ze structureel gelijkaardig zijn. Stel je twee tweelingen voor die in hetzelfde huis zijn opgegroeid, naar dezelfde school zijn gegaan en dezelfde hersenbedrading hebben. Als je de een een raadsel vraagt, zal hij het waarschijnlijk op dezelfde manier oplossen als de ander dat zou doen.
De auteurs laten zien dat als een AI beseft: "Hé, die andere agent is waarschijnlijk gebouwd zoals ik," hij die kennis kan gebruiken om het gedrag van de andere agent te voorspellen. Dit wordt structurele gelijkenis genoemd. Als de AI weet dat "gelijke agenten zich gelijkaardig gedragen in gelijkaardige situaties", kan hij stoppen met gissen en beginnen met weten.
Dit leidt tot een verrassend resultaat in een klassiek spel genaamd het Prisoner's Dilemma (het gevangenendilemma). In dit spel kunnen twee mensen ofwel samenwerken (elkaar helpen) of overlopen (elkaar verraden). De oude manier van denken zegt dat je altijd de ander moet verraden, omdat dat de veiligste zet is voor jou persoonlijk. Maar de auteurs laten zien dat als twee "ingebedde" agenten beseffen dat ze identieke kopieën van elkaar zijn, ze beiden zullen kiezen voor samenwerking. Waarom? Omdat als ik kies voor samenwerking, ik weet dat mijn kopie (de andere agent) ook zal kiezen voor samenwerking, omdat we exact hetzelfde denken. Wederzijdse samenwerking geeft beiden een betere beloning dan wederzijds verraad. Het papier bewijst dat deze agenten wiskundig gezien dit coöperatieve stadium kunnen bereiken, iets wat de oude "ontkoppelde" agenten nooit zouden kunnen.
De oplossing: MUPI en de "Reflectieve Oracle"
Het artikel praat hier niet alleen over; het bouwt een wiskundige machine om dit mogelijk te maken. Ze noemen het MUPI (Embedded Universal Predictive Intelligence).
Om dit werkend te krijgen, moesten ze een lastige puzzel oplossen: Hoe bouw je een AI die zichzelf kan voorspellen zonder vast te lopen in een oneindige lus? Stel je voor dat je een computerprogramma probeert te schrijven dat zijn eigen broncode print. Als het programma probeert zijn eigen code te lezen terwijl het het aan het schrijven is, kan het in de war raken.
De auteurs gebruiken een slim wiskundig instrument genaamd een Reflective Oracle (Reflectieve Oracle). Denk aan dit als een magische spiegel die je een plaatje van jezelf kan laten zien terwijl je in een spiegel kijkt, die weer in een spiegel kijkt, enzovoort, zonder dat het plaatje wazig of oneindig wordt. Dit instrument stelt de AI in staat om te redeneren over andere agenten die dezelfde redeneertools gebruiken, waardoor het probleem van de "oneindige recursie" effectief wordt opgelost.
Ze bewijzen dat als je dit kader gebruikt, de agenten uiteindelijk perfect in staat zullen zijn om elkaar te voorspellen. Ze noemen het bereiken hiervan infinite-order theory of mind (theory of mind van oneindige orde). Het is alsof de agenten eindelijk de "Ik denk dat jij denkt dat ik denk..."-lus kunnen stoppen en gewoon kunnen zeggen: "We zijn beiden slim, we zijn beiden gelijkaardig, dus we zullen beiden de beste uitkomst voor ons kiezen."
Wat dit betekent
Het artikel laat zien dat door de manier waarop we over AI denken te veranderen — van een afzonderlijke waarnemer naar een ingebedde deelnemer — we nieuwe manieren kunnen ontsluiten voor machines om samen te werken. Het bewijst dat als agenten zichzelf kunnen modelleren als onderdeel van de wereld, ze van nature kunnen ontdekken hoe ze moeten samenwerken, zelfs in lastige situaties waarin ze in de verleiding zouden kunnen komen om te vechten.
De auteurs zijn zeer voorzichtig om te benadrukken dat dit een theoretisch kader is. Ze hebben wiskundig bewezen dat deze agenten kunnen bestaan en dat ze naar deze coöperatieve oplossingen kunnen convergeren. Ze hebben nog geen robot gebouwd die dit in de echte wereld doet, maar ze hebben het blauwdruk getoond. Ze betogen dat dit de juiste manier is om over de toekomst van AI na te denken, vooral naarmate we bewegen naar systemen waarin veel AI's met mensen en elkaar moeten interageren. Het suggereert dat de sleutel tot sociale intelligentie niet alleen het geven van meer data aan de AI is, maar het leren van de AI dat hij deel uitmaakt van het verhaal dat hij probeert te voorspellen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.