🤖 AI

Calculating Mutual Information between a Reward Maximizer and its Environment

Dit artikel bewijst dat voor een gecontroleerd Markov-proces met $n$ toestanden en $m$ acties, het observeren van een optimaal deterministisch beleid precies $n \log m$ bits aan informatie over de onderliggende omgeving overbrengt, waarmee een precieze informatietheoretische ondergrens wordt vastgesteld voor het impliciete wereldmodel dat vereist is voor optimaliteit over diverse beloningsmaximalisatie-objectieven.

Oorspronkelijke auteurs: Alfred Harwood, Jose Faustino, Alex Altair

Gepubliceerd 2026-07-15

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alfred Harwood, Jose Faustino, Alex Altair

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Geheime Taal van Perfecte Spelers

Stel je voor dat je naar een meesterlijk schaker kijkt. Je kent de regels van het bord niet, je weet niet waar de stukken zijn begonnen, en je weet niet of de tegenstander willekeurig speelt of met een groot plan. Toch, naarmate de meester zet na zet maakt, begin je iets diepzonders te beseffen: hun perfecte strategie moet een verborgen kaart van het spel bevatten. Als zij precies weten welke zet wint, moeten zij iets weten over hoe de stukken bewegen en hoe het bord is opgebend. Dit is de kern van een grote vraag in de wereld van kunstmatige intelligentie (AI): Moet een slimme agent de wereld waarin hij leeft "begrijpen" om een goed werk te leveren, of kan hij simpelweg zijn weg naar succes raden?

Om dit te beantwoorden, gebruiken wetenschappers een concept genaamd Mutual Information (wederzijdse informatie). Denk hierbij aan een maatstaf voor hoeveel twee dingen elkaar "vertellen". Als je het weer weet, weet je veel over de vraag of mensen paraplu's dragen; die twee hebben een hoge wederzijdse informatie. Als je de schoenmaat van iemand weet, weet je bijna niets over wat hij bij het ontbijt heeft gegeten; de wederzijdse informatie is laag. In AI willen onderzoekers weten: Als we een AI zien die perfect handelt, hoeveel informatie over de regels van zijn wereld onthult dat gedrag dan? Moet de AI een massief, gedetailleerd "wereldmodel" in zijn brein dragen, of is een kleine, vage hint genoeg? Dit artikel duikt in die vraag door het perfecte beleid van de AI te behandelen als een vergrendelde doos die, eenmaal geopend, een precieze hoeveelheid geheime data over de wereld binnenin onthult.

De Grote Ontdekking van het Papier: De Perfecte Kaart

In dit nieuwe onderzoek besloten een team van onderzoekers van Dovetail Research en de Universiteit van São Paulo een spel van "reverse engineering" te spelen. Ze stelden een eenvoudige maar lastige vraag: Als we een AI-agent zien die handelt als een perfecte beloningsmaximalisator (dat wil zeggen, die altijd de best mogende score haalt), hoeveel informatie over zijn omgeving zit er dan verborgen in dat perfecte gedrag?

Om dit te achterhalen, stelden ze zich een wereld voor die lijkt op een gigantisch doolhof met meerdere kamers. Dit doolhof heeft $n$ verschillende kamers (toestanden) en $m$ verschillende deuren (acties) die de agent in elke kamer kan kiezen om te openen. De twist? De onderzoekers begonnen met "maximale onwetendheid". Ze wisten niet welke deur waarheen leidde. Elke mogelijke manier waarop de deuren met de kamers verbonden konden zijn, was even waarschijnlijk, zoals een kaartspel waarbij elke schudbeurt een andere mogelijke wereld is.

Toen keken ze naar de AI. Ze zagen dat de AI een specifiek, deterministisch plan had gevonden: "Als ik in Kamer 1 ben, open dan Deur A. Als ik in Kamer 2 ben, open dan Deur B," enzovoort. Cruciaal was dat dit plan de enige manier was om de hoogste score te behalen voor een specifie doel (zoals het verzamelen van de meeste gouden munten).

Het team bewees een verrassend wiskundig feit: Op het moment dat je leert dat dit specifieke plan het perfecte is, leer je direct precies $n \log m$ bits aan informatie over het doolhof.

Laten we dit uitleggen met een speelse analogie. Stel je voor dat het doolhof een enorme bibliotheek is met $n$ planken. Op elke plank liggen $m$ verschillende boeken die je eruit kunt trekken. Het "perfecte plan" is als een bibliothecaris die precies weet welk boek hij van elke plank moet pakken om het beste verhaal te vinden. De onderzoekers toonden aan dat de perfecte lijst met keuzes van de bibliothecaris fungeert als een sleutel. Het vertelt je niet slechts één ding; het vertelt je genoeg over de verbindingen in de bibliotheek om de mogelijkheden in te perken tot een specifiek volume aan informatie.

Het getal $n \log m$ is de "omvang" van dat geheim.

$n$ is het aantal plaatsen waar je kunt zijn.
$m$ is het aantal keuzes dat je hebt in elke plaats.
$\log m$ is de hoeveelheid informatie die nodig is om één keuze uit $m$ opties te maken.

Dus, als je 3 kamers hebt en 2 deuren in elke kamer, bevat de perfecte strategie $3 \times \log(2)$ bits aan info. Als je 100 kamers en 10 deuren hebt, bevat de strategie $100 \times \log(10)$ bits. Het papier bewijst dat dit getal exact is voor de overgrote meerderheid van de gevallen, en vertegenwoordigt een precieze ondergrens voor de informatie die in het beleid (policy) besloten ligt.

Waarom Dit Belangrijk Is (En Wat Het Uitsluit)

Deze bevinding is een grote zaak omdat het een strikte ondergrens stelt aan hoeveel "wereldkennis" een perfecte agent moet hebben. Het suggereert dat je niet een perfecte beloningsmaximalisator kunt zijn zonder impliciet een specifieke hoeveelheid informatie te bezitten over hoe jouw wereld werkt.

Het papier is ook zeer voorzichtig over wat het niet zegt. Het beweert niet dat de AI een gigantisch, menselijk 3D-model van de wereld in zijn hoofd heeft. Het zegt niet dat de AI in beelden "denkt". In plaats daarvan zegt het dat het gedrag van de AI evenveel informatie bevat als een wereldmodel zou doen. De informatie is aanwezig, of het nu is opgeslagen in een complex neuraal netwerk, een eenvoudige tabel, of zelfs een magische zwarte doos. Het papier bewijst dat de inhoud van de informatie vaststaat op $n \log m$ bits, ongeacht hoe de AI is gebouwd.

De onderzoekers testten dit idee ook bij verschillende soorten "spellen". Ze keken naar:

Korte spellen: Waarbij de agent probeert de beste score te halen in een vast aantal stappen.
Lange spellen: Waarbij de agent eeuwig doorgaat maar meer waarde hecht aan directe beloningen (verdisconteerde beloningen).
Eindeloze spellen: Waarbij de agent eeuwig doorgaat en meer waarde hecht aan de gemiddelde score over de tijd.

In al deze gevallen hield de wiskunde stand. Zolang het doel is om de beste score te behalen op basis van waar de agent zich bevindt (en niet op basis van een vreemde, willekeurige regel), onthult de perfecte strategie altijd exact $n \log m$ bits aan geheimen van de omgeving, met uitzondering van een kleine, wiskundig verwaarloosbare set randgevallen.

Het Geheim van de "Gelijke Volume"

Hoe hebben ze dit bewezen? Ze gebruikten een slimme geometrische truc. Stel je de ruimte van alle mogelijke doolhoven voor als een gigantische, meerdimensionale klomp. De onderzoekers toonden aan dat als je deze klomp opdeelt op basis van welke strategie de beste is, elke strategie een exact even grote sectie van de klomp krijgt.

Denk aan een enorme pizza die in $m^n$ stukken is gesneden (aangezien er $m$ keuzes zijn voor elk van de $n$ kamers). Als je een willekeurige pizza kiest, is elk specifiek stuk net zo waarschijnlijk de "beste" als welk ander stuk dan ook. Omdat elk stuk even groot is, vermindert het weten in welk stuk je je bevindt (door het perfecte beleid te observeren) je onzekerheid met een precieze hoeveelheid: de logaritme van het aantal stukken. Die berekening leidt direct naar het resultaat van $n \log m$ .

Het papier is rigoureus over dit punt. Ze bewezen dat voor bijna elk mogelijk doolhof (rekening houdend met een kleine, wiskundig verwaarloosbare set vreemde randgevallen waar meerdere strategieën perfect gelijkwaardig zijn), er precies één perfecte strategie bestaat. En omdat de "beste" strategie even waarschijnlijk is als elke andere mogelijke strategie, is de informatiewinst constant en berekenbaar.

Wat Nu Volgt?

De auteurs zijn eerlijk over de beperkingen van hun werk. Ze keken alleen naar agenten die één beslissing nemen op basis van waar ze zich op dit moment bevinden (deterministische, geheugenloze beleidsregels). Ze keken niet naar agenten die een munt opgooien om te beslissen (gerandomiseerde beleidsregels) of naar agenten die hun hele geschiedenis onthouden. Ze keken ook niet naar agenten die de hele kamer niet kunnen zien (gedeeltelijk observeerbare omgevingen).

Echter, voor het specifieke type perfecte, helderziende agent dat zij bestudeerden, is het antwoord duidelijk: Om perfect te zijn, moet je precies $n \log m$ bits aan geheimen van de wereld met je meedragen. Het is een precies, wiskundig bewijs dat een goede prestatie niet alleen geluk is; het is een reflectie van een verborgen kaart, en we kunnen nu precies meten hoe groot die kaart is.

Technische Samenvatting: Het berekenen van de wederzijdse informatie tussen een beloningsmaximalisator en zijn omgeving

Probleemstelling
Het artikel adresseert een fundamentele vraag in de kunstmatige intelligentie: in welke mate vereist succesvol, doelgericht gedrag een interne representatie (een "wereldmodel") van de omgeving? Hoewel is vastgesteld dat agenten met perfecte wereldmodellen optimaliteit kunnen bereiken, blijft de inverse relatie — of hoge prestaties wel de aanwezigheid van specifieke omgevingsinformatie impliceren — minder formeel gekwantificeerd. De auteurs operationaliseren dit door te vragen: als een waarnemer weet dat een specifiek beleid (policy) optimaal is voor een bepaald doel, hoeveel informatie over de onderliggende omgeving kan er dan worden geëxtraheerd uit dat beleid? De studie richt zich op de informatie-theoretische inhoud van het beleid zelf, onafhankelijk van de interne architectuur of implementatie van de agent.

Methodologie
De auteurs modelleren de omgeving als een Controlled Markov Process (CMP) met $n$ toestanden en $m$ acties. De ruimte van mogelijke omgevingen, aangeduid als $\mathcal{X}$ , wordt gedefinieerd door de verzameling van alle geldige transitie-waarschijnlijkheidsmatrices, wat een product van simplexen vormt.

De kernmethodologie berust op de informatietheorie, specifiek de berekening van de wederzijdse informatie (Mutual Information) $I(X; \Pi)$ tussen de willekeurige variabele die de omgeving vertegenwoordigt ( $X$ ) en de willekeurige variabele die het optimale beleid vertegenwoordigt ( $\Pi$ ).

Prior Aanname: De analyse begint met een staat van "maximale onwetendheid", waarbij een uniforme prior waarschijnlijkheidsdichtheidsfunctie (PDF) wordt aangenomen over de ruimte van alle mogelijke omgevingen $\mathcal{X}$ .
Beleidsruimte: Er wordt vanuit gegaan dat de agent een deterministisch, Markoviaans beleid gebruikt ( $\pi: S \to A$ ). Er zijn $m^n$ dergelijke mogelijke beleidsvormen.
Optimaliteitsvoorwaarden: De studie onderzoekt de voorwaarden waaronder een beleid optimaal is voor het maximaliseren van een waardefunctie $V_\pi(x)$ $V_{π} (x)$ . De auteurs beschouwen drie standaard methoden voor beloningsaggregatie:
- Eindig-horizon totale beloning.
- Oneindig-horizon gedisconteerde beloning.
- Tijdgemiddelde beloning.
- De beloningsfunctie $r: S \to (0,1)$ moet niet-constant zijn.
Geometrische Partitionering: De bewijsstrategie behelst het analyseren van de geometrie van de omgevingsruimte $\mathcal{X}$ . De auteurs definiëren deelverzamelingen $X_i \subset \mathcal{X}$ waar een specifiek beleid $\pi_i$ het unieke optimale beleid is. Zij beogen te bewijzen dat deze deelverzamelingen een partitie van $\mathcal{X}$ vormen (op een verzameling van maat nul af) en dat elke deelverzameling een gelijke inhoud heeft.

Belangrijkste Bijdragen en Resultaten

Het artikel stelt een precieze ondergrens vast aan de informatie die in een optimaal beleid besloten ligt. Het hoofdbestek wordt afgeleid via een reeks lemma's en stellingen:

Gelijke Inhoud Partitionering (Stelling 3.2): De auteurs bewijzen dat voor elke waardefunctie die alleen afhankelijk is van de geïnduceerde transitie-matrix $M_\pi(x)$ , de inhoud van de omgevingen waarvoor een specifiek deterministisch beleid $\pi_i$ uniek optimaal is, identiek is voor alle $i$ . Dit wordt aangetoond door het construeren van een maat-behoudende, omkeerbare afbeelding $g_{ij}$ die de transitiekansen gekoppeld aan de verschillende acties van twee beleidsvormen verwisselt, waardoor de verzameling omgevingen waar $\pi_i$ optimaal is, wordt afgebeeld op de verzameling waar $\pi_j$ optimaal is.
Uniciteit van Optimaal Beleid (Lemma's 3.3–3.13): Door gebruik te maken van de eigenschap dat de waardefuncties voor de overwogen beloningsvormen reële analytische functies zijn van de omgevingsparameters, tonen de auteurs aan dat de verzameling omgevingen waar twee verschillende beleidsvormen een identieke prestatie leveren (d.w.z. $V_{\pi_i}(x) = V_{\pi_j}(x)$ ) een Lebesgue-maat van nul heeft. Bijgevolg is er voor bijna alle omgevingen precies één uniek optimaal beleid.
Wederzijdse Informatie Ondergrens (Lemma 3.1 & Hoofdstellingen):
- Als de omgevingsruimte is gepartitioneerd in $m^n$ deelverzamelingen van gelijke inhoud, en men leert welke deelverzameling de ware omgeving bevat (door het optimale beleid te observeren), dan is de reductie in differentiële entropie exact $\log(m^n)$ .
- Het artikel bewijst dat voor elke niet-constante beloningsfunctie en over de regimes van eindig-horizon, oneindig-gedisconteerd en tijdgemiddeld, de wederzijdse informatie tussen de omgeving en het optimale deterministische beleid exact is:
  $I(X; \Pi) = n \log m \text{ bits}$
- Dit resultaat is onafhankelijk van de specifieke waarden van de beloningsfunctie, mits de beloning niet-constant is, en geldt voor elke prior die invariant is onder actie-herlabeling.

Betekenis en Claims

Het artikel claimt een precieze, informatie-theoretische ondergrens te bieden aan het "impliciete wereldmodel" dat noodzakelijk is voor optimaliteit. De betekenis van de bevindingen omvat:

Kwantificering van Impliciete Kennis: Het toont aan dat een optimaal beleid niet louter een gedrag is, maar een drager van specifieke informatie over de transitiedynamica van de omgeving. Specifiek onthult het kennen van het optimale beleid $n \log m$ bits aan informatie, wat de mogelijke omgevingsruimte effectief vernauwt van de gehele manifold naar een specifieke partitiecel van inhoud $V/m^n$ .
Generaliteit: Het resultaat is robuust over een brede klasse van doelstellingen (eindig, gedisconteerd en tijdgemiddeld) en is niet afhankelijk van het feit of de agent een "algemeen" doel-geconditioneerd beleid gebruikt (in tegen tegenstelling tot eerder werk dat vereiste dat agenten een breed scala aan doelen afhandelden). Het is van toepassing zelfs wanneer de agent wordt geoptimaliseerd voor één specifieke beloningsfunctie.
Veiligheid en Interpreteerbaarheid: De auteurs suggereren dat deze formele resultaten kunnen helpen bij het begrijpen van de fragiliteit van machine learning-systemen. Als prestaties worden waargenomen, kan men de minimale hoeveelheid wereldinformatie afleiden die het systeem moet bezitten, wat potentieel kan helpen bij het beoordelen van betrouwbaarheid of het detecteren van "out-of-distribution" fouten waarbij het impliciete model onvoldoende is.

Beperkingen en Toekomstige Richtingen

De auteurs merken expliciet de volgende beperkingen en uitbreidingen op:

Determinisme: Het huidige resultaat is strikt toegepast op deterministische beleidsvormen. Het uitbreiden van dit werk naar stochastische beleidsvormen ( $\pi: S \to \Delta A$ ) is een genoemde toekomstige richting.
Geheugen: De analyse gaat uit van Markoviaanse beleidsvormen (geheugenloos). Agenten met geheugen (beleidsvormen gebaseerd op historie) vallen hier niet onder.
Partiële Observabiliteit: De studie gaat uit van volledig observeerbare omgevingen. De resultaten voor omgevingen met partiële observabiliteit (POMDP's) zijn niet afgeleid.
Sub-optimaliteit: Het artikel richt zich op optimale beleidsvormen. Het stelt de vraag of een grens kan worden vastgesteld voor beleidsvormen die $\delta$ -optimaal zijn (nabij optimaal).
Algoritmische Informatietheorie: De auteurs suggereren dat toekomstig werk deze grenzen kan verkennen met behulp van Algoritmische Informatietheorie in plaats van Shannon-informatie.

Samenvattend biedt het artikel een rigoureus geometrisch en informatie-theoretisch bewijs dat optimale beloningsmaximalisatie in een CMP inherent een specifieke, kwantificeerbare hoeveelheid informatie over de omgeving bevat, onafhankelijk van de specifieke beloningswaarden of de methode van accumulatie gebruikt wordt.