State-Dependent Observation Noise Reintroduces Epistemic Value in Linear-Gaussian Active Inference

Technische Samenvatting: Toestandsafhankelijke Observatieruis Herintroduceert Epistemische Waarde in Lineair-Gaussische Actieve Inferentie

Probleemstelling
Recente literatuur (specifiek Koudahl, Kouw en de Vries [1]) heeft vastgesteld dat in lineair-Gaussische toestandsruimtemodellen onder actieve inferentie de epistemische drang — de stimulans om te handelen om informatie te vergaren — "onder alle omstandigheden" afwezig is. In deze standaardmodellen is de epistemische term van de Verwachte Vrije Energie (EFE) constant, ongeacht het gekozen beleid (policy). Als gevolg hiervan gedraagt de agent zich ononderscheidbaar van een Kalman-filter gekoppeld aan een KL-controller: de agent streeft naar voorkeursuitkomsten, maar heeft geen intrinsieke motivatie om onzekerheid te verminderen. De bekende wegen om deze drang te herstellen omvatten multiplicatieve controle (waarbij acties de transitiedynamiek veranderen) of het herformuleren van het doel via beperkte factorgrafen. Echter, de "observatiezijde" van deze grens — specifiek of het modificeren van het observatiemodel alleen de epistemische waarde zou kunnen herstellen — bleef onverkend.

Methodologie en Model
Het artikel onderzoekt een minimale afwijking van het standaard lineair-Gaussische regime: toestandsafhankelijke observatieruis. De auteurs stellen een generatief model voor waarbij:

1. Dynamica: De toestand evolueert lineair met additieve controle ($x_{k+1} = Ax_k + Bu_k + w_k$).
2. Observaties: De observatiekaart is lineair ($o_k = Cx_k + v_k$), maar de observatieruiscovariantie $R$ is een functie van de toestand, $R(x_k)$.
3. Inferentieregel: De agent hanteert een eerste-orde Gaussisch filter waarbij de ruiscovariantie wordt geëvalueerd op de voorspelde gemiddelde, $R_k = R(\mu_k^-)$.

Het kernmechanisme berust op het feit dat hoewel additieve controle het toestandsgemiddelde verschuift, dit in standaardmodellen de toestandscovariantie niet verschuift. Echter, als $R$ afhankelijk is van de toestand, verschuift de actie $u_k$ het voorspelde gemiddelde $\mu_k^-$, wat op zijn beurt de waarde van $R$ verandert die voor de update wordt gebruikt. Deze koppeling maakt de posterieure covariantie (en daarmee de Kalman-gain) afhankelijk van de ondernomen actie.

De auteurs definiëren twee concepten van "flattening" (het reduceren van de agent tot een vaste lineair-Gaussische filter):

• Fixed Linear-Gaussian Reduction: Een beleidsonafhankelijke sequentie van ruiscovarianties die de overtuigingen van de agent reproduceert voor alle observatiesequenties.
• Planning Reduction: Een beleidsonafhankelijke sequentie die de open-loop planning-covarianties van de agent reproduceert.

Belangrijkste Bijdragen

1. Niet-reduceerbaarheidstheorema: Het artikel bewijst dat het koppelen van toestandsafhankelijke ruis $R(x)$ aan een controleerbaar latent gemiddelde voorkomt dat de agent een enkele vaste lineair-Gaussische reductie toelaat. Geen vooraf gespecificeerde sequentie van ruiscovarianties kan de overtuigingen van de agent reproduceren, omdat de vereiste ruiswaarde op elk punt uniek wordt "vastgezet" door het beleidsafhankelijke voorspelde gemiddelde.
2. Herstel van Epistemische Waarde: Onder milde rang- en niet-degeneratievoorwaarden (specifiek dat $R$ niet constant is op de bereikbare verzameling van voorspelde gemiddelden en dat deze variatie zichtbaar is voor de epistemische functional), is de per stap epistemische waarde niet langer constant over verschillende beleidsregels. De agent kan onderscheid maken tussen beleidsregels op basis van de informatie die zij beloven.
3. Brug naar Duale Controle: Het resultaat wordt geframed als een minimaal constructief voorbeeld van het Bar-Shalom–Tse duale effect. Het artikel demonstreert dat toestandsafhankelijke observatieruis een afzonderlijke bron is van het duale effect (waarbij controle de conditionele foutcovariantie beïnvloedt), los van de niet-lineaire observatiemappen of multiplicatieve dynamica die gewoonlijk hiermee geassocieerd worden. Dit vestigt een equivalentie: het herintroduceren van epistemische waarde in deze Gaussische setting is wiskundig identiek aan het introduceren van een tweede-orde duaal effect.
4. Uitvoerbare Witness ($cpomdp$): De auteurs bieden een open-source bibliotheek, cpomdp, die de modelklasse implementeert. De bibliotheek bevat een structurele controle die een IncompatibleLinearizationError genereert als een gebruiker probeert een model met toestandsafhankelijke ruis en gemiddenshiftende koppelingen te "flattenen". Dit dient als een runtime-getuige van het theorema, die weigert een incorrecte vaste Kalman-filter te genereren.

Resultaten

• Theoretisch: Theorem 1 stelt vast dat onder aannames van positieve definitie, volledige observatierang en bereikbare niet-constantheid van $R$, de posterieure covariantie en de Kalman-gain beleidsafhankelijk worden. Bijgevolg varieert de epistemische term van de EFE met het beleid, waardoor nieuwsgierigheid (curiosity) kan heropkomen.
• Scalair geval: Voor scalaire observaties is de voorwaarde voor een niet-constante epistemische waarde onvoorwaardelijk; elke toestandsafhankelijkheid in $R(x)$ die bereikbaar is door de controle is voldoende.
• Tegenvoorbeeld (Voorbeeld 1): De auteurs identificeren een "knife-edge" geval in hogere dimensies waarin de posterieure covariantie weliswaar varieert met het beleid (duaal effect bestaat), maar de epistemische waarde (een scalaire determinant) constant blijft omdat de beleidsregels de covariantie langs een niveauverdeling van de determinantfunctie bewegen. Dit benadrukt dat beweging van de covariantie noodzakelijk maar niet voldoende is voor epistemische waarde; de beweging moet "zichtbaar" zijn voor de epistemische functional.
• Empirisch/Simulatie: Met behulp van een continue T-maze taak demonstreren de auteurs dat een agent met toestandsafhankelijke ruis (Agent B) ander gedrag vertoont dan een geërodeerde agent met vaste ruis (Agent A). Agent B beweegt actief naar een locatie waar de sensor het meest betrouwbaar is (de "cue") om onzekerheid op te lossen, terwijl Agent A een vaste overtuiging aanneemt zonder informatie te zoeken. De epistemische waarde voor Agent B varieert met de actie, terwijl deze voor Agent A vlak blijft.

Betekenis en Claims
Het artikel claimt een precieze, aan de observatiezijde gelegen karakterisering te bieden van nieuwsgierigheid bij Gaussische agenten. De primaire betekenis ligt in het identificeren dat nieuwsgierigheid in de lineair-Gaussische wereld een eigenschap is van bereikbare heteroscedasticiteit, en geen modificatie van de doelstelling of de dynamica.

• "Handelen is Aandacht hebben": Het artikel formaliseert de intuïtie dat handelen om de betrouwbaarheid van sensoren te verbeteren (bijv. dichterbij bewegen om een bord te lezen) het mechanisme is dat de epistemische drang herstelt.
• Minimale Afwijking: Het toont aan dat de "instorting" van actieve inferentie naar KL-controle fragiel is; het breekt met de minimale toevoeging van toestandsafhankelijke ruis, zonder dat hiervoor multiplicatieve controle of complexe doelstellingen nodig zijn.
• Bescheidenheid: De auteurs zijn expliciet over de beperkingen. Het theorema is van toepassing op einddimensionale, enkelvoudige ketenmodellen (hoewel de demonstratie gekoppelde bomen gebruikt). De claim betreffende de epistemische waarde vereist de sterkere voorwaarde (H3') dat de ruisvariatie zichtbaar is voor de determinant; hoewel dit automatisch is voor scalaire observaties, is het niet gegarandeerd voor alle hoogdimensionale gevallen. Bovendien is de inferentieregel een eerste-orde benadering (evalueren van $R$ op het gemiddelde), en kwantificeert het artikel niet de afstand tot de exacte niet-Gaussische posterior.

Samenvattend betogen de auteurs dat de "epistemische term" in actieve inferentie niet inherent defect is in lineair-Gaussische modellen, maar dat deze inert wordt gemaakt door de aanname van constante observatieruis. Door toe te staan dat de ruiscovariantie afhankelijk is van de toestand, krijgt de agent de mogelijkheid om de kwaliteit van zijn toekomstige schattingen te beïnvloeden, waardoor de duale effect wordt hergeïntroduceerd en de drang naar nieuwsgierigheid weer ontstaat.