CIG: Exploration via Conditional Information Gain

Technische Samenvatting: CIG: Exploratie via Conditionele Informatiewinst

Probleemstelling
Bij versterkingsleren (RL) met schaarse of vertraagde extrinsieke beloningen moeten agenten vertrouwen op intrinsieke motivatie voor exploratie. Effectieve exploratie vereist het identificeren van overgangen die informatief zijn over de dynamiek van de omgeving. Echter, bestaande methoden voor intrinsieke beloning staan voor een fundamentele afweging in hoe ze context benutten:

• Levenslange beloningen (bijv. ensemble-onenigheid, voorspelfout) conditioneren op de opgebouwde replay-buffer. Ze schrijven krediet toe aan elke overgang die een modelkloof verkent, ongeacht of de huidige trajectoort die kloof al heeft verkend. Dit leidt tot redundantie binnen een enkele rollout (bijv. herhaaldelijk bezoeken van dezelfde onzekere gang in een doolhof).
• Episodische beloningen (bijv. op telling gebaseerd, bereikbaarheidsbonussen) conditioneren op het huidige rollout-prefix. Ze straffen herhaling binnen een trajectoort af, maar negeren levenslange vooruitgang. Bij modelgebaseerd RL, waar beleidsregels optimaliseren over korte "verbeelde" rollouts ($T \approx 15$), is het prefix vaak te kort om een rijk signaal te bieden voor correctie van redundantie.
• Hybride methoden proberen deze signalen te combineren via heuristische gewichten of vertrouwen op Gaussian Process (GP)-dynamica, wat niet schaalbaar is naar hoogdimensionale ruimtes.
• Trajectoort-level Informatiewinst (IG) biedt een principiële doelstelling die gelijktijdig conditioneert op zowel de buffer als het prefix. Het berekenen van de exacte IG vereist echter marginalisatie over een posteriorverdeling van modelparameters, wat onuitvoerbaar is voor diepe neurale netwerken.

Methodologie: Conditionele Informatiewinst (CIG)
De auteurs leiden Conditionele Informatiewinst (CIG) af, een uitvoerbare surrogaat voor trajectoort-level informatiewinst die schaalbaar is naar hoogdimensionale latente ruimtes, terwijl het gelijktijdig conditioneert op zowel de replay-buffer als het rollout-prefix.

1. Formulering: Het doel is om de wederzijdse informatie tussen de modelparameters $w$ en een trajectoort $s_{1:T}$ gegeven de replay-buffer $D$ te maximaliseren: $I(w; s_{1:T} | D)$. Met behulp van de kettingregel decomposeert dit tot per-stap termen $I(w; s_t | s_{<t}, D)$.
2. Benaderingen:
   • Ensemble-posterior (A1): De posterior $p(w|D)$ wordt benaderd door een uniforme verdeling over $M$ onafhankelijk getrainde ensembleleden.
   • Markov-Gaussische dynamica (A2): Elk ensemblelid voorspelt de volgende latente toestand als een Gaussische verdeling met een gedeelde isotrope aleatorische covariantie $\sigma^2 I_d$.
   • Moment-gelijkgestelde Gaussische verdeling (A3): De mengselentropie van de ensemblevoorspellingen wordt bovenaf begrensd door de entropie van een Gaussische verdeling met overeenkomstig gemiddelde en covariantie.
3. De Rank-Saturatie Bottleneck: Het maximaliseren van de log-determinant van de volledige epistemische covariantiematrix $\Sigma$ (grootte $Td \times Td$) faalt in hoge dimensies omdat de rang van de covariantie beperkt is door de ensemblegrootte ($M-1$). Voor typische waarden ($M=5, d=200$) kan een enkele observatie het beloningssignaal verzadigen, waardoor er geen krediet overblijft voor daaropvolgende stappen.
4. Trace-reductie (Ontwerpkeuze D1): Om de capaciteitsbottleneck op te lossen, brengen de auteurs elk $d \times d$ blok van de epistemische covariantie samen tot zijn trace. Dit levert een kernel $K \in \mathbb{R}^{T \times T}$ op waarbij $K_{jt} = \frac{1}{M} \sum_k (\delta^{(j)}_k)^\top \delta^{(t)}_k$, met $\delta$ die de afwijking van ensembleleden van het gemiddelde voorstelt. Dit verhoogt de effectieve capaciteit van $M-1$ naar $\min(T, (M-1)d)$.
5. Per-stap decompositie: De trajectoortdoelstelling $\tilde{J} = \log \det(K + \sigma^2 d I_T)$ wordt gedecomposeerd in causale per-stap beloningen met behulp van Cholesky-factorisatie ($L L^\top = \tilde{K}$). De beloning voor stap $t$ is:
   $$r_t = \log \left( K_{tt} + \sigma^2 d - k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t} \right)$$
   • Levenslange term ($K_{tt}$): De standaard ensemble-onenigheid (buffer-conditionering).
   • Prefix-redundanceterm ($k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t}$): Een kwadratische vorm die het deel van de onenigheid op stap $t$ aftrekt dat al wordt verklaard door de voorgaande stappen in de rollout.
   • Aleatorische ridge ($\sigma^2 d$): Een vloer die post-hoc wordt geschat op basis van trainingsresiduen, waardoor beloningen niet verdwijnen door onreduceerbare ruis.

Belangrijkste Bijdragen

• CIG-beloning: Een uitvoerbare, per-stap intrinsieke beloning afgeleid van een log-determinant-surrogaat van trajectoort-level informatiewinst. Het conditioneert gelijktijdig op de replay-buffer (via het getrainde ensemble) en het rollout-prefix (via Cholesky-decompositie).
• Rank-saturatie-analyse: Identificatie van de capaciteitsbottleneck in surrogaatmethoden met eindige ensembles en de afleiding van de trace-reductietechniek om de effectieve capaciteit te herstellen zonder volledige covariantieschatting.
• Robuustheid tegen stochastische afleiders: De methode filtert actie-afhankelijke stochastische ruis (Noisy-TV) op natuurlijke wijze via de aleatorische schaal van het ensemble, in tegenstelling tot op telling gebaseerde methoden of methoden met ruwe voorspelfouten.

Experimentele Resultaten
De auteurs evalueerden CIG op 12 taken in discrete (MiniGrid) en continue besturingsdomeinen (OGBench), inclusief schone en varianten met stochastische afleiders (Noisy-TV). De evaluatie gebruikte een beloningsvrij protocol om de exploratiekwaliteit te isoleren.

• Prestatie: CIG presteerde beter dan of gelijk aan alle baselines (waaronder Plan2Explore, RND, ICM, APT, E3B, en E3B $\times$ P2E) bij de meerderheid van de taken. In geaggregeerde statistieken (Inter-Quartile Mean) behaalde CIG de hoogste score met niet-overlappende betrouwbaarheidsintervallen tegenover alle andere methoden.
• Robuustheid tegen Noisy-TV: In omgevingen met actie-afhankelijke stochastische afleiders stortten methoden die vertrouwen op ruwe voorspelfouten (ICM, RND, APT) in tot succespercentages dicht bij nul. CIG en Plan2Explore (P2E) bleven robuust dankzij ensemblefiltering, maar CIG sloeg P2E consistent bij, wat aantoont dat de prefix-redundantiecorrectie extra waarde biedt boven eenvoudige onenigheid.
• Ablaties: Het verwijderen van de trace-reductie veroorzaakte dat de beloning direct verzadigde, waardoor exploratie stopte. Het verwijderen van de prefix-redundantieterm verminderde de sample-efficiëntie, wat bevestigt dat de correctie voorkomt dat gecorreleerde stappen binnen een rollout dubbel worden geteld.
• Entropie versus succes: Hoewel methoden zoals APT en E3B een hogere entropie van staatsbezoek bereikten, correleerde dit niet met taaksucces. CIG behaalde hoog succes met lagere entropie, wat aangeeft dat gerichte onzekerheidsreductie (het verkennen van informatieve frontieren) effectiever is dan uniforme dekking.

Betekenis en Claims
Het artikel claimt dat CIG aantoont dat levenslange en episodische exploratiesignalen niet heuristisch hoeven te worden gecombineerd. In plaats daarvan ontstaan ze gezamenlijk uit een enkele informatie-theoretische doelstelling. De Cholesky-factorisatie van het log-determinant-surrogaat produceert op natuurlijke wijze causale, per-stap beloningen die beide conditioneringssets behouden.

De auteurs benadrukken dat CIG robuust is over probleemstructuren heen: het filtert onreduceerbare ruis in stochastische omgevingen en biedt gestructureerde beloningen in deterministische omgevingen. Hoewel CIG niet elke enkele taak domineert (bijv. presteerde APT beter op schone ObstructedMaze), is het de enige methode die degradatie vermijdt onder alle geteste condities. Het werk is beperkt tot modelgebaseerd RL met korte verbeelde rollouts; de auteurs merken op dat de $O(T^3)$ Cholesky-kost en de $T \times T$ kernelopslag prohibitief kunnen worden voor lang-horizon model-vrije episodes, wat glijdende vensters of laag-rang benaderingen suggereert als toekomstig werk.