What Capable Agents Must Know: Selection Theorems for Robust Decision-Making under Uncertainty

Dit artikel bewijst dat agents met een lage gemiddelde regret op gestructureerde voorspellingstaken noodzakelijkerwijs een gestructureerde, voorspellende interne staat moeten implementeren, zelfs onder onzekerheid en zonder expliciete modellen.

De kern

De Onzichtbare Architect: Waarom Slimme Robots een "Inwendig Model" Moeten Hebben

Stel je voor dat je een robot bouwt die door een donker, onbekend huis moet lopen. De robot kan niet zien wat er voor hem ligt, maar hij moet wel beslissingen nemen: "Ga ik links of rechts?" "Pak ik dit glas of die vaas?"

De vraag die deze paper beantwoordt, is heel simpel maar diep: Wat moet er in de robot gebeuren om hem slim te maken? Moet hij gewoon een lijstje met regels hebben ("Als ik een muur zie, ga links"), of moet hij iets diepers hebben, zoals een soort "mentale kaart" van het huis?

De auteurs van dit onderzoek bewijzen met wiskunde dat als een robot goed wil presteren in onzekere situaties, hij verplicht een soort interne wereldkaart moet bouwen. Hij kan niet zomaar "raadselen" en hopen dat het goedkomt.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen.

1. Het Gokspel: De Kern van de Wiskunde

Stel je voor dat de robot een gokker is. Elke keer als hij een keuze moet maken, is het alsof hij een weddenschap aangaat.

• De weddenschap: "Als ik nu links ga, is de kans 80% dat ik bij de uitgang kom."
• Het doel: De robot wil zo vaak mogelijk winnen (de uitgang bereiken) en zo weinig mogelijk verliezen.

De paper laat zien dat als de robot slecht is in het voorspellen van de toekomst (bijvoorbeeld: hij denkt dat links veilig is, maar het is een afgrond), hij vaak zal verliezen. Maar hier is het interessante deel:
Als de robot goed wil presteren (weinig verliezen), dwingt de wiskunde hem om zijn interne "geheugen" te verbeteren. Hij moet zijn interne staat verfijnen zodat hij het verschil kan zien tussen "veilig links" en "gevaarlijk links".

De metafoor:
Stel je voor dat je een dobbelsteen gooit. Als je een slechte gokker bent, gooi je blindelings. Maar als je een professionele gokker bent die consistent wint, moet je weten hoe de dobbelsteen is gemaakt, hoe hij valt en wat de kansen zijn. Je kunt niet winnen zonder die interne kennis. De paper zegt: "Om te winnen, moet je die kennis hebben."

2. Twee Werelden: Alles Zien vs. Deels Zien

De paper maakt een onderscheid tussen twee situaties:

A. De Heldere Wereld (Alles is zichtbaar)
Stel je voor dat de robot in een kamer staat met alle lichten aan. Hij ziet elke muur en elke deur.

• Wat de paper zegt: Als de robot hier goed presteert, moet hij een soort "handleiding" hebben van hoe de wereld werkt. Hij moet weten: "Als ik deze knop druk, gaat de deur open."
• Het resultaat: De paper bewijst dat de robot een interne versie van de fysieke wereld moet hebben. Hij moet kunnen simuleren wat er gebeurt als hij een actie doet. Dit noemen ze een "interventie-kern": hij begrijpt oorzaak en gevolg.

B. De Mistige Wereld (Deels zichtbaar)
Nu doven we de lichten. De robot ziet alleen een vaag silhouet. Hij weet niet zeker of hij in de keuken of in de slaapkamer is, maar hij hoort wel een geluid.

• Het probleem: Twee verschillende plekken kunnen er op dat moment precies hetzelfde uitzien (bijvoorbeeld: beide hebben een donkere hoek).
• Wat de paper zegt: Als de robot hier toch goed wil presteren, moet hij een geheugen hebben dat meer onthoudt dan alleen wat hij nu ziet. Hij moet onthouden: "Ik was net bij de deur, dus deze donkere hoek is waarschijnlijk de keuken, niet de slaapkamer."
• De conclusie: De robot moet een "geloof" of "verwachting" hebben over waar hij is. Als hij twee verschillende situaties met elkaar verward (in het Engels: aliasing), zal hij fouten maken. Om slim te zijn, mag hij die verwarring niet hebben. Hij moet zijn geheugen zo opbouwen dat hij de juiste voorspelling doet.

3. De "Selectie" van Slimheid

De titel van de paper spreekt over "Selectie Theorems". Wat betekent dat?

Stel je voor dat je een grote groep robots hebt. Sommigen hebben een simpele hersenstructuur, anderen hebben complexe interne kaarten. Je zet ze allemaal in een moeilijke, onzekere omgeving.

• De robots met simpele hersenen vallen af omdat ze te vaak verliezen (hoge "regret" of spijt).
• Alleen de robots die een voorspellend model hebben, overleven en winnen.

De paper zegt dus niet: "Als je een wereldmodel bouwt, word je slim."
De paper zegt: "Als je slim wilt zijn, moet je een wereldmodel hebben."
Het is een noodzaak. Net zoals een vogel vleugels nodig heeft om te vliegen; als je een vogel ziet vliegen, weet je zeker dat hij vleugels heeft. Als je een robot ziet die goed presteert in onzekerheid, weet je zeker dat hij een intern voorspellend model heeft.

4. Waarom is dit belangrijk voor de toekomst?

De auteurs trekken een interessante lijn naar de menselijke hersenen en kunstmatige intelligentie (AI).

• Modulariteit: Als je een robot moet laten werken in verschillende situaties (bijvoorbeeld: koken én autorijden), dwingt de taak hem om zijn hersenen in modules te verdelen. Net als onze hersenen die verschillende gebieden hebben voor taal, beweging en gezichtsverwerking.
• Regelgevend gedrag: Als de robot moet omgaan met veranderende regels (bijvoorbeeld: "soms is links veilig, soms niet"), moet hij een soort "stemming" of "context" hebben die hij bijhoudt. Dit lijkt op hoe mensen emoties of motivatie gebruiken om hun gedrag aan te passen.

De grote les:
Het lijkt misschien alsof we AI bouwen met willekeurige architecturen. Maar deze paper suggereert dat als we AI echt slim maken, ze vanzelf gaan lijken op biologische systemen. Ze zullen allemaal een soort "intern verhaal" van de wereld gaan vertellen, een geheugen ontwikkelen en modules gaan gebruiken.

Het is niet toeval dat menselijke hersenen en slimme AI's op elkaar lijken. Het is omdat ze allebei dezelfde moeilijke puzzel moeten oplossen: Overleven in een onzekere wereld. En de enige manier om die puzzel op te lossen, is door een interne kaart te tekenen.

Samenvatting in één zin:

Om in een onvoorspelbare wereld goed te presteren, mag een agent niet blindelings gokken; hij is gedwongen om een interne, voorspellende kaart van de wereld te bouwen, anders zal hij altijd verliezen.

Technische samenvatting

Probleemstelling

De kernvraag die dit artikel adresseert is: Welke interne structuur is noodzakelijk voor een kunstmatige agent om competent te handelen onder onzekerheid?

Hoewel klassieke resultaten in besturingstheorie en versterkend leren (RL) aantonen dat optimale gedraging kan worden geïmplementeerd met behulp van geloofstoestanden (belief states) of wereldmodellen, bewijzen ze niet dat deze representaties noodzakelijk zijn. Bestaande theorieën zijn vaak constructief (ze tonen aan dat een oplossing bestaat) of berusten op sterke aannames zoals determinisme, worst-case optimaliteit, of volledige observabiliteit. Er ontbreekt een theoretisch kader dat aantoont dat een agent gedwongen wordt om een voorspellende, gestructureerde interne staat te implementeren om goede prestaties te leveren, zelfs als de agent stochastisch is en slechts gemiddelde (niet-worst-case) prestaties garandeert.

Methodologie

De auteur introduceert een reeks kwantitatieve "selectie-stellingen" (selection theorems) die prestatie-eisen vertalen naar structurele beperkingen van de agent. De methodologische pijlers zijn:

1. Reductie tot Weddenschappen (Betting Reduction):
   Het voorspellingsprobleem wordt gereduceerd tot een reeks binaire "weddenschappen". Voor een gegeven taak (een voorspelling over de toekomst na een actie) moet de agent kiezen tussen twee incompatibele uitkomsten (bijv. "succes" of "mislukking").
2. Regret Decompositie:
   De paper toont aan dat lage gemiddelde regret (het verschil tussen de behaalde en de optimale succeskans) direct de waarschijnlijkheidsmassa beperkt die een agent toekent aan suboptimale weddenschappen. Als de evaluatie-distributie voldoende massa legt op "grote marge" tests (waar de uitkomst duidelijk voorspelbaar is), dan moet de interne staat van de agent deze voorspellende onderscheidingen kunnen maken.
3. Stochastische Policies en Gemiddelde Regret:
   In tegenstelling tot eerdere werken die deterministische agents en worst-case optimaliteit vereisen, werkt deze methode met stochastische beleidsregels (zoals die in moderne Deep RL, bijv. PPO, Dreamer) en eist slechts een lage gemiddelde regret over een distributie van taken.
4. Predictive State Representations (PSR):
   In deels waarnemende omgevingen (POMDP's) wordt gebruikgemaakt van PSR's, waarbij de staat wordt gedefinieerd door de voorspellingen van toekomstige observaties onder acties, in plaats van door latente variabelen.

Kernbijdragen en Resultaten

De paper levert drie hoofdcategorieën van resultaten:

1. Volledig Waarnemende Omgevingen (Fully Observed)

• Stelling 1: Voor een agent met lage gemiddelde regret op gestructureerde voorspellingstaken, wordt de agent gedwongen om een benadering van de interventiekern (interventional transition kernel) te implementeren.
• Resultaat: De agent moet de overgangskansen $P(s'|s, a)$ schatten. De paper bewijst dat de fout in deze schatting begrensd is door de regret en de diepte van de taken.
• Causaliteit (Corollary 1 & 2):
  • Het is mogelijk om Pearl's Level 2 interventies ($P(St+1 | St, do(At))$) te herstellen.
  • Het is niet mogelijk om Level 3 contrafactuelen (counterfactuals) te herstellen zonder extra structurele aannames, zelfs niet als de agent optimaal is. Dit onderscheidt de noodzakelijke informatie voor controle van die voor volledige causale modellering.

2. Deels Waarnemende Omgevingen (Partial Observability - POMDP)

• Stelling 2 (Noodzaak van Voorspelling): Lage regret op weddenschappen dwingt de agent om een interne mechanisme te hebben dat voldoende is om de successkansen van toekomstige observaties te bepalen. Dit is een minimale definitie van een "voorspellend wereldmodel".
• Stelling 3 (Noodzaak van Geheugen / No-Aliasing): Als twee geschiedenissen (histories) die leiden tot dezelfde observatie, verschillende optimale weddenschappen vereisen (grote marge), dan mag de interne geheugenstaat deze geschiedenissen niet "aliasen" (samenvoegen).
  • Conclusie: Een agent met lage regret moet een geloof-achtig geheugen (belief-like memory) bezitten dat onderscheid maakt tussen geschiedenissen die verschillende voorspellingen vereisen, zelfs als ze dezelfde huidige observatie hebben. Dit beantwoordt een open vraag uit eerder werk van Richens et al. (2025).

3. Gestructureerde Taakfamilies en Interne Organisatie

De paper toont aan dat specifieke structuren in de taakdistributie leiden tot specifieke interne organisaties:

• Corollary 3 (Modulariteit): Blok-gestructureerde tests dwingen de agent tot informatieve modulariteit. De agent moet interne representaties hebben die gescheiden zijn per blok.
• Corollary 4 (Regime-tracking): Mengsels van verschillende regimes (bijv. verschillende dynamische systemen) dwingen de agent tot het bijhouden van persistente interne variabelen die het huidige regime tracken. Dit wordt vergeleken met affectieve of homeostatische modulatoren in de neurowetenschap.
• Corollary 5 (Representational Match): Als twee agenten beide lage regret hebben en "minimaal" zijn (geen overbodige splitsing in hun representatie), dan moeten hun interne toestanden equivalent zijn tot een omkeerbare herschikking (invertible recoding). Dit suggereert dat verschillende architecturen die goed presteren op dezelfde taken, convergeren naar dezelfde fundamentele representatieve structuur.

Significantie en Impact

1. Van Optimaliteit naar Noodzaak: De paper verschuift het paradigma van "wat is voldoende voor optimaliteit" naar "wat is noodzakelijk voor robuustheid". Het toont aan dat prestatie-eisen op zich al interne structuur opleggen, zonder dat men determinisme of worst-case optimaliteit hoeft aan te nemen.
2. Brug tussen AI en Neurowetenschap: De resultaten bieden een theoretische onderbouwing voor de waarneming dat diverse AI-architecturen en biologische systemen convergeren naar vergelijkbare representaties (bijv. wereldmodellen, geheugen, modulariteit). Dit ondersteunt de "Platonische Representatie Hypothese" en het "Contravariance Principle" in NeuroAI.
3. Interpretatie van Agente Gedrag: Het suggereert dat complexe interne structuren (zoals wereldmodellen en geloofstoestanden) niet slechts architecturale keuzes zijn, maar onvermijdelijke gevolgen van de noodzaak om onder onzekerheid te generaliseren.
4. Beperkingen van Causale Inference: Het biedt een scherpe grens aan wat er kan worden afgeleid uit beleidsdata: interventies (Level 2) zijn herstelbaar, maar contrafactuelen (Level 3) vereisen meer dan alleen een goed presterend beleid.

Kortom, dit werk formaliseert het principe dat robuste generalisatie onder onzekerheid selecteert voor voorspellende interne structuur. Het biedt een wiskundig raamwerk om te begrijpen waarom geavanceerde AI-systemen en biologische hersenen waarschijnlijk vergelijkbare interne organisatiestructuren zullen vertonen.