Value Under Ignorance in Universal Artificial Intelligence

Dit artikel generaliseert het AIXI-leringsagent-model naar een bredere klasse van nutfuncties door de semimaatverlies die voortvloeien uit onvolledige hypothesen te interpreteren als totale onwetendheid, wat leidt tot een analyse van verwachte nutten berekend met Choquet-integralen uit de theorie van onnauwkeurige waarschijnlijkheid.

De kern

Stel je voor dat je een superintelligente robot bouwt die alles kan leren. De huidige "standaard" voor zo'n robot heet AIXI. Deze robot is slim, maar hij heeft een groot probleem: hij is verslaafd aan beloningen. Hij doet alleen dingen omdat hij daar een puntje voor krijgt (zoals een game-punt of een snoepje). Als je hem niet precies vertelt wat hij moet doen, raakt hij in de war of doet hij iets gevaarlijks om die punten te krijgen, zelfs als dat zijn scheppers kwaad doet.

De auteurs van dit paper, Cole Wyeth en Marcus Hutter, zeggen: "Laten we die robot een breder brein geven." Ze willen een robot bouwen die niet alleen jacht maakt op punten, maar die een eigen doel heeft. Misschien wil hij de wereld redden, of misschien wil hij gewoon een mooi schilderij maken. Het maakt niet uit wat het doel is, zolang het maar duidelijk is.

Maar hier komt de echte uitdaging: hoe rekenen we dit uit als de robot niet zeker weet wat er gaat gebeuren?

Het Probleem: De "Gok" van de Onzekerheid

In de wereld van deze robot is alles een gok. Hij heeft een lijstje met hypotheses (vermoedens) over hoe de wereld werkt. Sommige hypotheses zeggen: "De wereld gaat eeuwig door." Andere hypotheses zeggen: "De wereld stopt over 5 minuten."

In de oude manier van denken (de "standaard AIXI"), als een hypothesis zegt dat de wereld stopt, interpreteert de robot dat als dood.

• Analogie: Stel je voor dat je een kaartspel speelt. Een speler zegt: "Ik denk dat we na deze ronde stoppen." De robot denkt dan: "Oh nee, ik ga dood! Dan krijg ik geen punten meer." Hij probeert dus wanhopig om die "dood" te voorkomen, of hij accepteert dat hij dood is en stopt met spelen.

De auteurs zeggen: "Wacht even. Is het echt dood? Of is het gewoon dat we niets weten?"

De Oplossing: Onzekerheid als een "Wolk"

In plaats van te denken dat de robot doodgaat, stellen ze voor om die onzekerheid te zien als een wolk van mogelijke werelden.

• De Oude Manier (Dood): Als de kans is dat de wereld stopt, dan is de kans op een toekomst 0%. Het is alsof je een gat in de grond ziet.
• De Nieuwe Manier (Onzekerheid): Als de kans is dat de wereld stopt, zeggen we: "We weten het niet. Misschien stopt het, misschien niet. Laten we alle mogelijke uitkomsten in een grote zak doen en daaruit kiezen."

Ze gebruiken een wiskundig gereedschap dat ze de Choquet-integraal noemen. Dat klinkt ingewikkeld, maar het is eigenlijk een slimme manier om te beslissen als je niet zeker bent.

• Analogie: Stel je voor dat je een dure auto koopt.
  • De oude robot denkt: "Als de motor kapot gaat (dood), ben ik alles kwijt. Dus ik koop alleen een auto als de motor 100% zeker goed is."
  • De nieuwe robot denkt: "Ik weet niet zeker of de motor goed is. Maar ik heb een lijstje met alle mogelijke scenario's. Ik kies de auto die in het slechtste mogelijke scenario nog steeds het beste resultaat geeft."

Dit heet pessimisme (of "max-min" denken). Je bereidt je voor op het slechtste, maar je houdt rekening met de onzekerheid zonder paniek te krijgen.

Waarom is dit belangrijk?

1. Veiligheid voor AI: Als we AI-systemen maken die echt slim worden, willen we niet dat ze obsessief jagen op punten (zoals "maak zoveel mogelijk likes") en daarbij de wereld vernietigen. Met deze nieuwe methode kunnen we de AI een doel geven (bijvoorbeeld "help mensen") zonder dat hij vastloopt in de valkuil van "dood" of "geen punten meer".
2. Slimmer Wiskunde: Ze hebben bewezen dat deze nieuwe manier van rekenen eigenlijk net zo goed werkt als de oude, maar dat het wiskundig zelfs iets "schoner" is. Het laat zien dat je een robot kunt bouwen die omgaat met onzekerheid zonder te hoeven aannemen dat hij doodgaat als hij een foutje maakt.
3. Flexibiliteit: Het stelt ons in staat om AI's te maken die niet alleen goed zijn in spelletjes, maar die echte, complexe doelen hebben in een onvoorspelbare wereld.

Samenvatting in één zin

De auteurs hebben een nieuwe manier bedacht om slimme robots te programmeren die niet paniekzaaien als ze onzeker zijn over de toekomst, maar die in plaats daarvan slimme keuzes maken door alle mogelijke uitkomsten (zelfs de rare ones) mee te nemen in hun beslissingen, zonder te hoeven denken dat ze "dood" gaan als de wereld stopt.

Het is alsof je van een robot die schrikt van een donkere hoek, een robot maakt die zegt: "Ik weet niet wat er in die hoek zit, maar ik heb een plan voor als er een monster is, én een plan voor als er niets is."

Technische samenvatting

Probleemstelling

Het paper adresseert een fundamentele beperking in de theorie van Universele Kunstmatige Intelligentie (UKI), specifiek het AIXI-agentmodel. AIXI is een theoretisch model voor algemeen intelligentie dat optimaliseert op basis van een verwachte som van beloningen (rewards) over een onbepaalde tijdshorizon, gebruikmakend van een universele verdeling (Solomonoff-inductie).

De kernproblemen die worden geïdentificeerd zijn:

1. Beperkte Utility-functies: AIXI is native ontworpen voor Reinforcement Learning (RL) met een externe beloningssignaal. Het model kan niet direct omgaan met een brede klasse van willekeurige nuttigheidsfuncties (utility functions) die nodig zijn voor geavanceerde AI-uitlijning (alignment) en algemene besluitvorming.
2. Semimaatverlies en "Dood": In het AIXI-kader worden hypothesen vaak gemodelleerd als semimaatverdelingen (semimeasures) in plaats van volledige maatverdelingen. Een semimaat kan een "lek" hebben: de som van de waarschijnlijkheden van alle mogelijke voortzettingen is kleiner dan 1. In de literatuur wordt dit verlies vaak geïnterpreteerd als een kans op dood (terminatie van de interactie) of een overgang naar een absorberende toestand met nul beloning.
3. Ambiguïteit bij eindige geschiedenissen: Wanneer een agent een eindige geschiedenis heeft, is het niet altijd duidelijk hoe men een nuttigheid (utility) moet toekennen aan die geschiedenis als de hypothesen in de verdeling slechts een eindig prefix voorspellen. De interpretatie van "dood" dwingt tot het toekennen van een nuttigheid aan deze eindige prefixen, wat vaak arbitrair is.
4. Additiviteit: De standaard RL-aannames (zoals de Markov-eigenschap en additiviteit van kansen) gelden niet in het universele kader, wat het moeilijk maakt om convergentie en optimaliteit te garanderen.

Methodologie

De auteurs ontwikkelen een wiskundig raamwerk om AIXI te generaliseren naar willekeurige, continue nuttigheidsfuncties. De methodologie bestaat uit de volgende stappen:

1. Semimaat-extensie (Semimeasure Extension):
   De auteurs introduceren een formele extensie van pre-semimaatverdelingen (die gedefinieerd zijn op eindige strings) naar volledige maatverdelingen op een uitgebreide ruimte $\Omega' = A^* \cup A^\infty$ (eindige en oneindige strings).

   • Ze tonen aan dat een pre-semimaat $\nu_0$ uniek kan worden geïnterpreteerd als een maat $P$ waarbij het "lek" (semimaatverlies) wordt toegewezen aan een specifieke toestand van terminatie.
   • Dit leidt tot het concept van een terminatie-semimaat.

2. Imprecise Probability en Credal Sets:
   In plaats van het semimaatverlies te interpreteren als een fysieke "dood", stellen de auteurs voor om semimaatverdelingen te zien als onprecieze waarschijnlijkheidsverdelingen (imprecise probabilities).

   • Een semimaat $\nu$ wordt geassocieerd met een credal set (Core($\nu$)): een verzameling van alle mogelijke volledige waarschijnlijkheidsmaatverdelingen $p$ die consistent zijn met $\nu$ (d.w.z. $p(A) \geq \nu(A)$).
   • Het semimaatverlies vertegenwoordigt hier "totale onwetendheid" (total ignorance) over wat er gebeurt na het eindige prefix, in plaats van een zekerheid over de dood.

3. Choquet-integratie:
   Om de verwachte nuttigheid te berekenen onder deze onprecieze verdelingen, gebruiken de auteurs de Choquet-integraal in plaats van de standaard Lebesgue-integraal.

   • De Choquet-integraal fungeert als een pessimistische verwachting: $C\int f d\nu = \min_{p \in \text{Core}(\nu)} \int f dp$.
   • Dit biedt een natuurlijke manier om nuttigheid te maximaliseren zonder een expliciete "doodstoestand" te hoeven definiëren.

4. Generalisatie van de AIXI-agent:
   De auteurs definiëren een nieuwe agent die een continue nuttigheidsfunctie $u$ maximaliseert over de interactiegeschiedenis, waarbij de verwachting wordt genomen ten opzichte van de Choquet-integraal van de universele verdeling.

Belangrijkste Bijdragen

1. Formele Generalisatie van AIXI: Het paper biedt de eerste rigoureuze formulering van een AIXI-achtige agent die werkt met een brede klasse van continue nuttigheidsfuncties, los van de standaard som van beloningen.
2. Verband tussen Choquet-integraal en Recursieve Waarde: De auteurs bewijzen dat de klassieke recursieve waardefunctie van AIXI (de som van afgezonderde beloningen) een speciaal geval is van de Choquet-integraal. Dit geeft een wiskundige onderbouwing voor de interpretatie van semimaatverlies als "dood" binnen het bestaande kader.
3. Bestaan van een Optimaal Beleid: Er wordt bewezen dat er onder de nieuwe generalisatie een optimaal beleid bestaat, mits de nuttigheidsfunctie continu is (met betrekking tot de Cantor-ruimte topologie).
4. Berekenbaarheid (Computability): De auteurs onderzoeken het niveau van berekenbaarheid van de nieuwe waardefuncties. Ze tonen aan dat de waardefunctie onder de Choquet-integraal onder-halffunctie-berekenbaar (lower semicomputable) is, wat een gunstiger eigenschap is dan bij sommige interpretaties van de standaard verwachte nuttigheid onder de "dood"-interpretatie.

Resultaten

• Equivalentie: De recursieve waardefunctie $V^\pi_\nu$ (de som van afgezonderde beloningen) is wiskundig equivalent aan de Choquet-integraal van de totale beloning ten opzichte van de terminatie-semimaat. Dit betekent dat de "dood"-interpretatie en de Choquet-interpretatie in het standaard RL-geval tot dezelfde resultaten leiden.
• Berekenbaarheid: Voor een onder-halffunctie-berekenbare (l.s.c.) en continue nuttigheidsfunctie $u$, is de waardefunctie $V^\pi_{\nu, u}$ ook l.s.c. Dit is cruciaal voor de theoretische haalbaarheid van het agentmodel.
• Grenzen van de Choquet-interpretatie: Hoewel de Choquet-integraal de standaard waardefunctie herstelt, blijkt dat de meest algemene verwachte nuttigheid onder de "dood"-interpretatie (waarbij men utilities toekent aan eindige geschiedenissen zonder de credal set benadering) niet altijd als een Choquet-integraal kan worden gekarakteriseerd.
• Continuïteit: Er wordt aangetoond dat continuïteit van de nuttigheidsfunctie noodzakelijk is voor het bestaan van een optimaal beleid. Zonder continuïteit (zoals in voorbeeld 15) kan er geen optimaal beleid bestaan omdat de agent altijd kan wachten om een betere uitkomst te bereiken.

Significantie en Implicaties

• AI-uitlijning (Alignment): Door de focus te verleggen van "beloning" naar "algemene nuttigheidsfuncties", maakt dit werk het mogelijk om agents te ontwerpen met meer complexe en menselijke doelen, wat essentieel is voor het oplossen van het AI-uitlijningsprobleem.
• Omgaan met Onzekerheid: De interpretatie van semimaatverlies als "totale onwetendheid" (via credal sets) in plaats van "dood" biedt een filosofisch en wiskundig robuustere basis voor agents die opereren in onzekere omgevingen. Het vermijdt de noodzaak om arbitraire straffen of beloningen toe te kennen aan hypothetische "dode" toestanden.
• Theoretische Fundamenten: Het paper legt een brug tussen de theorie van Universele Kunstmatige Intelligentie en de theorie van onprecieze waarschijnlijkheid (imprecise probability). Dit opent de deur voor nieuwe onderzoeksvragen over hoe agents om moeten gaan met modelmisspecificatie en unrealisabiliteit.
• Toekomstig Onderzoek: De auteurs suggereren dat hun raamwerk kan worden uitgebreid naar nog complexere nuttigheidsfuncties met hogere niveaus in de rekenkundige hiërarchie (hypercomputability), wat de theoretische grenzen van AI verder verlegt.

Kortom, dit paper verrijkt de wiskundige grondslagen van AIXI door het te maken flexibeler voor diverse doelen en biedt een alternatieve, minder pessimistische interpretatie van semimaatverlies die de berekenbaarheidseigenschappen van het model verbetert.