CIG: Exploration via Conditional Information Gain

Résumé Technique : CIG : Exploration via Gain d'Information Conditionnel

Énoncé du Problème
Dans l'apprentissage par renforcement (RL) avec des récompenses extrinsèques rares ou différées, les agents doivent s'appuyer sur une motivation intrinsèque pour explorer. Une exploration efficace nécessite d'identifier les transitions qui sont informatives sur la dynamique de l'environnement. Cependant, les méthodes de récompense intrinsèque existantes font face à un compromis fondamental dans la manière dont elles exploitent le contexte :

• Récompenses à vie (par exemple, désaccord d'ensemble, erreur de prédiction) conditionnent sur le tampon de rejeu accumulé. Elles attribuent du crédit à chaque transition sondant un écart de modèle, indépendamment du fait que la trajectoire actuelle ait déjà exploré cet écart. Cela entraîne une redondance au sein d'une seule simulation (rollout) (par exemple, visiter à plusieurs reprises le même couloir incertain dans un labyrinthe).
• Récompenses épisodiques (par exemple, basées sur le comptage, bonus de reachability) conditionnent sur le préfixe de la simulation en cours. Elles pénalisent la répétition au sein d'une trajectoire mais ignorent les progrès à vie. Dans le RL basé sur un modèle, où les politiques optimisent des simulations « imaginées » courtes ($T \approx 15$), le préfixe est souvent trop court pour fournir un signal riche de correction de redondance.
• Méthodes hybrides tentent de combiner ces signaux via des poids heuristiques ou s'appuient sur des dynamiques de Processus Gaussien (GP), qui ne sont pas évolutives vers des espaces d'état de haute dimension.
• Gain d'Information (IG) au niveau de la trajectoire offre un objectif principiel conditionnant simultanément sur le tampon et le préfixe. Cependant, le calcul de l'IG exact nécessite de marginaliser sur une distribution a posteriori des paramètres du modèle, ce qui est intraitable pour les réseaux de neurones profonds.

Méthodologie : Gain d'Information Conditionnel (CIG)
Les auteurs dérivent le Gain d'Information Conditionnel (CIG), un substitut traitable pour le gain d'information au niveau de la trajectoire, qui est évolutif vers des espaces latents de haute dimension tout en conditionnant à la fois sur le tampon de rejeu et le préfixe de la simulation.

1. Formulation : L'objectif est de maximiser l'information mutuelle entre les paramètres du modèle $w$ et une trajectoire $s_{1:T}$ étant donné le tampon de rejeu $D$ : $I(w; s_{1:T} | D)$. En utilisant la règle de la chaîne, cela se décompose en termes par étape $I(w; s_t | s_{<t}, D)$.
2. Approximations :
   • Postérieur d'Ensemble (A1) : Le postérieur $p(w|D)$ est approximé par une distribution uniforme sur $M$ membres d'ensemble entraînés indépendamment.
   • Dynamiques Markoviennes-Gaussiennes (A2) : Chaque membre de l'ensemble prédit l'état latent suivant comme une Gaussienne avec une covariance aléatoire isotrope partagée $\sigma^2 I_d$.
   • Gaussienne Appariée aux Moments (A3) : L'entropie du mélange des prédictions de l'ensemble est majorée par l'entropie d'une Gaussienne ayant la même moyenne et la même covariance.
3. Le Goulot d'Étranglement de Saturation du Rang : La maximisation du déterminant-logarithme de la matrice de covariance épistémique complète $\Sigma$ (taille $Td \times Td$) échoue dans les hautes dimensions car le rang de la covariance est limité par la taille de l'ensemble ($M-1$). Pour des valeurs typiques ($M=5, d=200$), une seule observation peut saturer le signal de récompense, ne laissant aucun crédit pour les étapes suivantes.
4. Réduction de la Trace (Choix de Conception D1) : Pour résoudre le goulot d'étranglement de capacité, les auteurs effondrent chaque bloc $d \times d$ de la covariance épistémique en sa trace. Cela génère un noyau $K \in \mathbb{R}^{T \times T}$ où $K_{jt} = \frac{1}{M} \sum_k (\delta^{(j)}_k)^\top \delta^{(t)}_k$, avec $\delta$ représentant l'écart des membres de l'ensemble par rapport à la moyenne. Cela élève la capacité effective de $M-1$ à $\min(T, (M-1)d)$.
5. Décomposition par Étape : L'objectif de trajectoire $\tilde{J} = \log \det(K + \sigma^2 d I_T)$ est décomposé en récompenses causales par étape en utilisant la factorisation de Cholesky ($L L^\top = \tilde{K}$). La récompense pour l'étape $t$ est :
   $$r_t = \log \left( K_{tt} + \sigma^2 d - k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t} \right)$$
   • Terme à Vie ($K_{tt}$) : Le désaccord standard d'ensemble (conditionnement sur le tampon).
   • Terme de Redondance du Préfixe ($k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t}$) : Une forme quadratique qui soustrait la portion du désaccord à l'étape $t$ déjà expliquée par les étapes précédentes dans la simulation.
   • Rideau Aléatoire ($\sigma^2 d$) : Un plancher estimé a posteriori à partir des résidus d'entraînement, empêchant les récompenses de disparaître en raison du bruit irréductible.

Contributions Clés

• Récompense CIG : Une récompense intrinsèque par étape, traitable, dérivée d'un substitut de déterminant-logarithme du gain d'information au niveau de la trajectoire. Elle conditionne simultanément sur le tampon de rejeu (via l'ensemble entraîné) et le préfixe de la simulation (via la décomposition de Cholesky).
• Analyse de Saturation du Rang : Identification du goulot d'étranglement de capacité dans les substituts d'ensemble fini et dérivation de la technique de réduction de trace pour restaurer la capacité effective sans nécessiter une estimation complète de la covariance.
• Robustesse aux Distracteurs Stochastiques : La méthode filtre naturellement le bruit stochastique dépendant de l'action (Noisy-TV) via l'échelle aléatoire de l'ensemble, contrairement aux méthodes basées sur le comptage ou sur l'erreur de prédiction brute.

Résultats Expérimentaux
Les auteurs ont évalué CIG sur 12 tâches couvrant des domaines de contrôle discret (MiniGrid) et continu (OGBench), incluant des variantes propres et à distracteurs stochastiques (Noisy-TV). L'évaluation a utilisé un protocole sans récompense pour isoler la qualité de l'exploration.

• Performance : CIG a surpassé ou égalé toutes les lignes de base (y compris Plan2Explore, RND, ICM, APT, E3B, et E3B $\times$ P2E) sur la majorité des tâches. Dans les statistiques agrégées (Moyenne Inter-Quartile), CIG a obtenu le score le plus élevé avec des intervalles de confiance non chevauchants par rapport à toutes les autres méthodes.
• Robustesse Noisy-TV : Dans les environnements avec des distracteurs stochastiques dépendant de l'action, les méthodes reposant sur l'erreur de prédiction brute (ICM, RND, APT) se sont effondrées vers des taux de réussite proches de zéro. CIG et Plan2Explore (P2E) sont restés robustes grâce au filtrage par ensemble, mais CIG a constamment dépassé P2E, démontrant que la correction de redondance du préfixe apporte une valeur supplémentaire au-delà du simple désaccord.
• Ablations : Le retrait de la réduction de trace a provoqué une saturation immédiate de la récompense, arrêtant l'exploration. Le retrait du terme de redondance du préfixe a réduit l'efficacité de l'échantillonnage, confirmant que la correction empêche la sur-comptabilisation des étapes corrélées au sein d'une simulation.
• Entropie vs Succès : Alors que des méthodes comme APT et E3B ont atteint une entropie de visite d'état plus élevée, cela ne s'est pas corrélé avec le succès de la tâche. CIG a atteint un haut taux de succès avec une entropie plus faible, indiquant que la réduction ciblée de l'incertitude (explorer des frontières informatives) est plus efficace qu'une couverture uniforme.

Signification et Revendications
L'article revendique que CIG démontre que les signaux d'exploration à vie et épisodiques n'ont pas besoin d'être combinés de manière heuristique. Au lieu de cela, ils émergent conjointement d'un seul objectif informationnel. La factorisation de Cholesky du substitut de déterminant-logarithme produit naturellement des récompenses causales par étape qui conservent les deux ensembles de conditionnement.

Les auteurs soulignent que CIG est robuste à travers les structures de problèmes : il filtre le bruit irréductible dans les environnements stochastiques et fournit des récompenses structurées dans les environnements déterministes. Bien que CIG ne domine pas chaque tâche individuelle (par exemple, APT a mieux performé sur ObstructedMaze propre), c'est la seule méthode qui évite la dégradation à travers toutes les conditions testées. Le travail est limité au RL basé sur un modèle avec des simulations imaginées courtes ; les auteurs notent que le coût de Cholesky $O(T^3)$ et le stockage du noyau $T \times T$ peuvent devenir prohibitifs pour les épisodes sans modèle à long horizon, suggérant des approximations par fenêtre glissante ou de faible rang comme travail futur.