Technische Samenvatting: Distributionele Actieve Inferentie

Probleemstelling

Optimale controle in complexe robotische omgevingen staat voor twee verweven uitdagingen: de efficiënte organisatie van sensorische staatsinformatie en vooruitziende actieplanning. Terwijl Reinforcement Learning (RL) zich richt op planning, lijdt het vaak aan een lage steekproefefficiëntie omdat het typisch alleen op dat laatste focust. Actieve Inferentie (AIF), een proces-theorie die biologische intelligentie verklaart, adresseert beide door het minimaliseren van Verwachte Vrije Energie (EFE) via een actie-perceptiecyclus. De huidige AIF-toepassingen in kunstmatige intelligentie zijn echter grotendeels beperkt tot model-gebaseerde benaderingen die het leren van expliciete transitiedynamiek vereisen, wat computationeel duur is en vaak onhaalbaar is voor hoogwaardige forward simulatie.

Het kernprobleem dat dit artikel aanpakt, is hoe de prestatievoordelen van Actieve Inferentie geïntegreerd kunnen worden in een framework dat geen expliciet transitiemodel vereist, waardoor AIF toegankelijk wordt voor model-vrije en distributionele settings.

Methodologie

De auteurs stellen een driestaps theoretisch en algoritmisch framework voor om Actieve Inferentie en Distributionele RL te overbruggen:

1. Rigoureuze Formulering van Actieve Inferentie

De auteurs herleiden het AIF-doelstelling vanuit de eerste beginselen van Bayesiaanse en causale inferentie. Door do-calculus toe te passen op de standaard variationele inferentie-opstelling, tonen zij aan dat de standaard AIF-doelstelling een eenvoudigere equivalente vorm toelaat.

• Zij tonen aan dat het interveniëren op de observeerbare staat $X$ met een gewenste distributie $P_R(X)$ (als beloning fungerend) de observeerbare variabele loskoppelt van de latente variabelen $(Y, S)$ onder de productregel.
• Dit leidt tot een vereenvoudigde ELBO (Evidence Lower Bound) waarbij de doelstelling bestaat uit een reconstructieterm, een policy-entropieterm en een term die de log-waarschijnlijkheid van de gewenste staatdistributie maximaliseert onder de voorspelde trajectorie.
• Cruciaal is dat deze formulering onthult dat AIF kan worden beschouwd als een vorm van predictieve codering waarbij de agent een wereldmodel optimaliseert om gewenste uitkomsten te fitten, zonder noodzakelijkerwijs een complexe inferentie van posteriore latente variabelen voor elke stap te vereisen.

2. Push-Forward Reinforcement Learning

Om AIF te integreren zonder expliciete transitiemodellering, introduceren de auteurs Push-Forward RL, een theoretisch framework dat Distributionele RL generaliseert.

• Trajectoriematen: Zij definiëren de return-distributie niet enkel als een verwachting, maar als een "push-forward" van de trajectiemaat geïnduceerd door een policy via een return-functional.
• Staat-abstractie: Zij formaliseren de relatie tussen staat-abstracties (latente ruimtes) en distributionele RL. Door een encoder $S$ en een decoder $P_D$ te definiëren, tonen zij aan dat het uitvoeren van distributionele RL op een latente ruimte equivalent is aan het toepassen van een samengestelde kerneloperator.
• Contractiemodule: Een sleutelresultaat (Theorem 3.5) stelt vast dat de contractiemodule van de distributionele Bellman-operator in een latente ruimte geschaald wordt door het product van de Lipschitz-constanten van de encoder ($L_E$) en de decoder ($L_D$). Als de latente ruimte zorgt voor efficiënte compressie (kleine $L_E$) en relevante structuur voor de beloning bevat (kleine $L_D$), wordt de convergentie van de Bellman-backups versneld.
• Algoritme Template: Zij stellen Push-Forward Policy Iteration (PPI) voor, die de Bellman-residuele minimaliseert op de ruimte van encoding-maten in plaats van ruwe staten, waardoor de model-gebaseerde en model-vrije visies effectief worden verenigd.

3. Distributionele Actieve Inferentie (DAIF)

De auteurs implementeren de bovenstaande theorie in een praktisch algoritme genaamd Distributionele Actieve Inferentie (DAIF).

• Mechanisme: DAIF leert een state-action geamortiseerde parametrische distributie (een encoder) die observaties naar een latente ruimte mapt. Vervolgens voert het temporal-difference quantile matching uit op deze latente ruimte.
• Implementatiedetails:
  • Het quantile regressieprobleem wordt geframed als Maximum Likelihood Estimation (MLE) van een Asymmetrische Laplace Distributie (ALD).
  • De onzekerheid rond de quantile-schattingen wordt gemodelleerd met een Inverse-Gamma prior op de schaalparameter ($\sigma_\tau$). Deze posteriore variantie fungeert als een impliciete epistemische onzekerheid, wat exploratie induceert vergelijkbaar met Thompson sampling zonder expliciete exploratie-bonussen.
  • Het algoritme maakt gebruik van een diepe actor-critic architectuur met twin critics, min-clipping voor Bellman-targets en vertraagde actor-updates (vergelijkbaar met TD3), maar vervangt standaard waarde-targets door de distributionele returns afgeleid van de AIF-doelstelling.
• Belangrijkste onderscheid: In tegenstelling tot traditionele AIF leert DAIF geen forward transitiemodel ($P(X'|X, A)$). In plaats daarvan leert het de return-distributie direct van gesamplede transities in de latente ruimte, waarbij het profiteert van de staat-abstractie van AIF terwijl het de kosten van het modelleren van de volledige transitiedynamiek vermijdt.

Belangrijkste Bijdragen

1. Theoretische Unificatie: Het artikel biedt een formele abstractie die model-gebaseerde, distributionele en model-vrije RL overspant, en toont aan hoe AIF naadloos geïntegreerd kan worden in het distributionele framework.
2. Vereenvoudigde AIF-doelstelling: Door gebruik te maken van do-calculus leiden de auteurs een vereenvoudigde AIF-doelstelling af die de noodzaak voor complexe inferentie van posteriore latente variabelen elimineert, wat beter aansluit bij de variational inference-machinerie die in moderne RL wordt gebruikt.
3. Push-Forward Framework: De introductie van "Push-Forward RL" biedt een rigoureuze wiskundige link tussen staat-abstracties en distributionele Bellman-operators, waarbij wordt aangetoond hoe compressie in de latente ruimte de convergentiesnelheid beïnvloedt.
4. DAIF Algoritme: De voorstel van DAIF, een praktisch algoritme dat AIF-achtige prestatievoordelen bereikt (efficiënte planning via staat-abstractie) zonder de computationele overhead van het leren van expliciete forward modellen.

Experimentele Resultaten

De auteurs evalueren DAIF over tabular en continue controle-taken:

• Tabulaire Experimenten (Latent RiverSwim): In een grid world waar beloningsrelevante dynamiek op een 1D-latent manifold ligt, presteert DAIF significant beter dan zowel model-gebaseerde (PSRL-PI) als distributionele (IQQL) baselines naarmate de planning-horizon toeneemt. Wanneer staat-abstractie geen voordeel biedt (plain RiverSwim), presteert DAIF vergelijkbaar met distributionele RL.
• Continue Controle: DAIF werd getest op drie benchmark-suites:
  • EvoGym: Soft robot locomotie en manipulatie.
  • DeepMind Control Suite (DMC): Continue controle met variërende morfologie.
  • DMC Vision: Controle vanaf ruwe pixel-observaties.
• Prestaties: DAIF behaalde consistent state-of-the-art prestaties over alle suites, met name in omgevingen met complexe dynamiek of hoog-dimensionale staatruimtes (bijv. "Catcher-v0", "Dog Run", "Quadruped Run").
• Efficiëntie: Hoewel DAIF ongeveer 12% meer wall-clock tijd vereist dan standaard distributionele actor-critics, is deze overhead lager dan die van andere model-gebaseerde of exploratie-zware methoden zoals DSAC (26%) en DRND (37%).

Betekenis en Claims

Het artikel claimt dat Actieve Inferentie bijzonder krachtig is wanneer een agent over beperkte computationele capaciteiten beschikt, wat de condities van biologische hersenen weerspiegelt. Door AIF te presenteren als een eenvoudige uitbreiding van distributionele RL, argumenteren de auteurs dat de prestatievoordelen van AIF (efficiënte organisatie van sensorische informatie voor planning) gerealiseerd kunnen worden zonder de prohibitieve kosten van het leren van expliciete forward modellen.

Het werk suggereert dat het "duale probleem" van sensorische organisatie en planning het best wordt opgelost door een latente representatie te leren waarin de return-distributie gecomprimeerd en gestructureerd is, in plaats van de volledige transitiedynamiek van de omgeving te modelleren. De auteurs positioneren DAIF niet als een vervanging voor alle RL, maar als een robuuste methode voor het controleren van uitdagende omgevingen waar sample-efficiëntie en computationele beperkingen cruciaal zijn. Zij erkennen beperkingen, waarbij zij opmerken dat DAIF niet expliciet epistemische en instrumentele waardetermen scheidt (door te vertroueren op impliciete onzekerheid) en dat de grootte van de latente bottleneck momenteel architectuur-afhankelijk is in plaats van adaptief geleerd.