CIG: Exploration via Conditional Information Gain

Resumen Técnico: CIG: Exploración mediante Ganancia de Información Condicional

Enunciado del Problema
En el aprendizaje por refuerzo (RL) con recompensas extrínsecas escasas o retrasadas, los agentes deben depender de la motivación intrínseca para explorar. Una exploración efectiva requiere identificar transiciones que sean informativas sobre la dinámica del entorno. Sin embargo, los métodos existentes de recompensa intrínseca enfrentan un compromiso fundamental en cómo utilizan el contexto:

• Recompensas de por vida (por ejemplo, desacuerdo del conjunto, error de predicción) condicionan sobre el búfer de repetición acumulado. Asignan crédito a cada transición que sondea una brecha del modelo, independientemente de si la trayectoria actual ya ha explorado esa brecha. Esto conduce a redundancia dentro de una sola ejecución (por ejemplo, visitar repetidamente el mismo pasillo incierto en un laberinto).
• Recompensas episódicas (por ejemplo, basadas en conteos, bonos de alcanzabilidad) condicionan sobre el prefijo de la ejecución actual. Penalizan la repetición dentro de una trayectoria pero ignoran el progreso de por vida. En el RL basado en modelos, donde las políticas optimizan sobre ejecuciones "imaginadas" cortas ($T \approx 15$), el prefijo suele ser demasiado corto para proporcionar una señal rica para la corrección de redundancia.
• Métodos híbridos intentan combinar estas señales mediante pesos heurísticos o dependen de dinámicas de Procesos Gaussianos (GP), que no escalan a espacios de estado de alta dimensión.
• Ganancia de Información a Nivel de Trayectoria (IG) ofrece un objetivo principista que condiciona simultáneamente tanto al búfer como al prefijo. Sin embargo, calcular la IG exacta requiere marginalizar sobre una distribución posterior de parámetros del modelo, lo cual es intratable para redes neuronales profundas.

Metodología: Ganancia de Información Condicional (CIG)
Los autores derivan la Ganancia de Información Condicional (CIG), un sustituto tratable para la ganancia de información a nivel de trayectoria que escala a espacios latentes de alta dimensión mientras condiciona tanto al búfer de repetición como al prefijo de la ejecución.

1. Formulación: El objetivo es maximizar la información mutua entre los parámetros del modelo $w$ y una trayectoria $s_{1:T}$ dado el búfer de repetición $D$: $I(w; s_{1:T} | D)$. Usando la regla de la cadena, esto se descompone en términos por paso $I(w; s_t | s_{<t}, D)$.
2. Aproximaciones:
   • Posterior del Conjunto (A1): La posterior $p(w|D)$ se aproxima mediante una distribución uniforme sobre $M$ miembros del conjunto entrenados independientemente.
   • Dinámicas Markov-Gaussianas (A2): Cada miembro del conjunto predice el siguiente estado latente como una Gaussiana con una covarianza aleatoria isotrópica compartida $\sigma^2 I_d$.
   • Gaussiana con Momentos Coincidentes (A3): La entropía de la mezcla de las predicciones del conjunto está acotada superiormente por la entropía de una Gaussiana con media y covarianza coincidentes.
3. El Cuello de Botella de Saturación de Rango: Maximizar el logaritmo del determinante de la matriz de covarianza epistémica completa $\Sigma$ (tamaño $Td \times Td$) falla en altas dimensiones porque el rango de la covarianza está limitado por el tamaño del conjunto ($M-1$). Para valores típicos ($M=5, d=200$), una sola observación puede saturar la señal de recompensa, dejando sin crédito los pasos subsiguientes.
4. Reducción de la Trazas (Elección de Diseño D1): Para resolver el cuello de botella de capacidad, los autores colapsan cada bloque $d \times d$ de la covarianza epistémica en su traza. Esto produce un kernel $K \in \mathbb{R}^{T \times T}$ donde $K_{jt} = \frac{1}{M} \sum_k (\delta^{(j)}_k)^\top \delta^{(t)}_k$, con $\delta$ representando la desviación de los miembros del conjunto respecto a la media. Esto eleva la capacidad efectiva de $M-1$ a $\min(T, (M-1)d)$.
5. Descomposición por Paso: El objetivo de trayectoria $\tilde{J} = \log \det(K + \sigma^2 d I_T)$ se descompone en recompensas causales por paso utilizando la factorización de Cholesky ($L L^\top = \tilde{K}$). La recompensa para el paso $t$ es:
   $$r_t = \log \left( K_{tt} + \sigma^2 d - k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t} \right)$$
   • Término de Por Vida ($K_{tt}$): El desacuerdo estándar del conjunto (condicionamiento al búfer).
   • Término de Redundancia del Prefijo ($k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t}$): Una forma cuadrática que resta la porción del desacuerdo en el paso $t$ ya explicada por los pasos precedentes en la ejecución.
   • Ridge Aleatorio ($\sigma^2 d$): Un suelo estimado post-hoc a partir de los residuos de entrenamiento, que evita que las recompensas desaparezcan debido al ruido irreducible.

Contribuciones Clave

• Recompensa CIG: Una recompensa intrínseca tratable y por paso derivada de un sustituto del logaritmo del determinante de la ganancia de información a nivel de trayectoria. Condiciona simultáneamente al búfer de repetición (a través del conjunto entrenado) y al prefijo de la ejecución (a través de la descomposición de Cholesky).
• Análisis de Saturación de Rango: Identificación del cuello de botella de capacidad en sustitutos de conjuntos finitos y la derivación de la técnica de reducción de traza para restaurar la capacidad efectiva sin requerir la estimación de covarianza completa.
• Robustez ante Distractores Estocásticos: El método filtra naturalmente el ruido estocástico dependiente de la acción (Noisy-TV) a través de la escala aleatoria del conjunto, a diferencia de los métodos basados en conteos o error de predicción crudo.

Resultados Experimentales
Los autores evaluaron CIG en 12 tareas a través de dominios de control discreto (MiniGrid) y continuo (OGBench), incluyendo variantes limpias y con distractores estocásticos (Noisy-TV). La evaluación utilizó un protocolo libre de recompensas para aislar la calidad de la exploración.

• Rendimiento: CIG superó o igualó a todos los puntos de referencia (incluyendo Plan2Explore, RND, ICM, APT, E3B y E3B $\times$ P2E) en la mayoría de las tareas. En estadísticas agregadas (Media Inter-Cuartil), CIG logró la puntuación más alta con intervalos de confianza no superpuestos frente a todos los demás métodos.
• Robustez ante Noisy-TV: En entornos con distractores estocásticos dependientes de la acción, los métodos que dependen del error de predicción crudo (ICM, RND, APT) colapsaron a tasas de éxito cercanas a cero. CIG y Plan2Explore (P2E) permanecieron robustos debido al filtrado del conjunto, pero CIG superó consistentemente a P2E, demostrando que la corrección de redundancia del prefijo proporciona un valor adicional más allá del simple desacuerdo.
• Ablaciones: Eliminar la reducción de traza causó que la recompensa se saturara inmediatamente, deteniendo la exploración. Eliminar el término de redundancia del prefijo redujo la eficiencia de la muestra, confirmando que la corrección evita la sobrecontabilización de pasos correlacionados dentro de una ejecución.
• Entropía vs. Éxito: Mientras que métodos como APT y E3B lograron mayor entropía de visitas a estados, esto no se correlacionó con el éxito de la tarea. CIG logró un alto éxito con menor entropía, indicando que la reducción de incertidumbre dirigida (explorar fronteras informativas) es más efectiva que la cobertura uniforme.

Significado y Afirmaciones
El artículo afirma que CIG demuestra que las señales de exploración de por vida y episódicas no necesitan combinarse heurísticamente. En cambio, surgen conjuntamente de un único objetivo teórico de la información. La factorización de Cholesky del sustituto del logaritmo del determinante produce naturalmente recompensas causales y por paso que retienen ambos conjuntos de condicionamiento.

Los autores enfatizan que CIG es robusto a través de estructuras de problemas: filtra el ruido irreducible en entornos estocásticos y proporciona recompensas estructuradas en entornos deterministas. Aunque CIG no domina cada tarea individual (por ejemplo, APT tuvo un mejor rendimiento en ObstructedMaze limpio), es el único método que evita la degradación en todas las condiciones probadas. El trabajo se limita al RL basado en modelos con ejecuciones imaginadas cortas; los autores señalan que el costo de Cholesky de $O(T^3)$ y el almacenamiento del kernel $T \times T$ pueden volverse prohibitivos para episodios sin modelo de largo horizonte, sugiriendo ventanas deslizantes o aproximaciones de bajo rango como trabajo futuro.