CIG: Exploration via Conditional Information Gain

Resumo Técnico: CIG: Exploração via Ganho de Informação Condicional

Enunciado do Problema
No aprendizado por reforço (RL) com recompensas extrínsecas esparsas ou atrasadas, os agentes devem recorrer à motivação intrínseca para explorar. A exploração eficaz requer a identificação de transições que sejam informativas sobre a dinâmica do ambiente. No entanto, os métodos existentes de recompensa intrínseca enfrentam um compromisso fundamental na forma como utilizam o contexto:

• Recompensas de longo prazo (e.g., desacordo de ensemble, erro de previsão) condicionam-se ao buffer de replay acumulado. Elas atribuem crédito a cada transição que testa uma lacuna no modelo, independentemente de a trajetória atual já ter explorado essa lacuna. Isso leva a redundância dentro de uma única execução (e.g., visitar repetidamente o mesmo corredor incerto em um labirinto).
• Recompensas episódicas (e.g., baseadas em contagem, bônus de alcançabilidade) condicionam-se ao prefixo da execução atual. Elas penalizam a repetição dentro de uma trajetória, mas ignoram o progresso ao longo da vida. No RL baseado em modelo, onde as políticas otimizam execuções "imaginadas" curtas ($T \approx 15$), o prefixo é frequentemente muito curto para fornecer um sinal rico para correção de redundância.
• Métodos híbridos tentam combinar esses sinais através de pesos heurísticos ou dependem de dinâmicas de Processo Gaussiano (GP), que não escalam para espaços de estado de alta dimensão.
• Ganho de Informação (IG) ao nível da trajetória oferece um objetivo principista que condiciona simultaneamente o buffer e o prefixo. No entanto, calcular o IG exato requer marginalizar sobre uma distribuição posterior de parâmetros do modelo, o que é intratável para redes neurais profundas.

Metodologia: Ganho de Informação Condicional (CIG)
Os autores derivam o Ganho de Informação Condicional (CIG), um substituto tratável para o ganho de informação ao nível da trajetória que escala para espaços latentes de alta dimensão enquanto condiciona simultaneamente o buffer de replay e o prefixo da execução.

1. Formulação: O objetivo é maximizar a informação mútua entre os parâmetros do modelo $w$ e uma trajetória $s_{1:T}$ dado o buffer de replay $D$: $I(w; s_{1:T} | D)$. Usando a regra da cadeia, isso se decompõe em termos por passo $I(w; s_t | s_{<t}, D)$.
2. Aproximações:
   • Posterior de Ensemble (A1): A posterior $p(w|D)$ é aproximada por uma distribuição uniforme sobre $M$ membros de ensemble treinados independentemente.
   • Dinâmicas Markov-Gaussianas (A2): Cada membro do ensemble prevê o próximo estado latente como uma Gaussiana com uma covariância aleatória isotrópica compartilhada $\sigma^2 I_d$.
   • Gaussiana com Momentos Correspondentes (A3): A entropia da mistura das previsões do ensemble é limitada superiormente pela entropia de uma Gaussiana com média e covariância correspondentes.
3. O Gargalo de Saturação de Rank: Maximizar o log-determinante da matriz de covariância epistêmica completa $\Sigma$ (tamanho $Td \times Td$) falha em altas dimensões porque o rank da covariância é limitado pelo tamanho do ensemble ($M-1$). Para valores típicos ($M=5, d=200$), uma única observação pode saturar o sinal de recompensa, deixando nenhum crédito para os passos subsequentes.
4. Redução de Rastros (Escolha de Design D1): Para resolver o gargalo de capacidade, os autores colapsam cada bloco $d \times d$ da covariância epistêmica em seu traço. Isso gera um kernel $K \in \mathbb{R}^{T \times T}$ onde $K_{jt} = \frac{1}{M} \sum_k (\delta^{(j)}_k)^\top \delta^{(t)}_k$, com $\delta$ representando o desvio dos membros do ensemble em relação à média. Isso eleva a capacidade efetiva de $M-1$ para $\min(T, (M-1)d)$.
5. Decomposição por Passo: O objetivo da trajetória $\tilde{J} = \log \det(K + \sigma^2 d I_T)$ é decomposto em recompensas causais por passo usando fatoração de Cholesky ($L L^\top = \tilde{K}$). A recompensa para o passo $t$ é:
   $$r_t = \log \left( K_{tt} + \sigma^2 d - k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t} \right)$$
   • Termo de Longo Prazo ($K_{tt}$): O desacordo padrão do ensemble (condicionamento ao buffer).
   • Termo de Redundância de Prefixo ($k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t}$): Uma forma quadrática que subtrai a porção do desacordo no passo $t$ já explicada pelos passos precedentes na execução.
   • Ridge Aleatório ($\sigma^2 d$): Um piso estimado post-hoc a partir de resíduos de treinamento, prevenindo que as recompensas desapareçam devido a ruído irreduzível.

Contribuições Principais

• Recompensa CIG: Uma recompensa intrínseca tratável e por passo derivada de um substituto de log-determinante do ganho de informação ao nível da trajetória. Ela condiciona simultaneamente o buffer de replay (via o ensemble treinado) e o prefixo da execução (via decomposição de Cholesky).
• Análise de Saturação de Rank: Identificação do gargalo de capacidade em substitutos de ensemble finito e derivação da técnica de redução de traço para restaurar a capacidade efetiva sem exigir estimativa de covariância completa.
• Robustez a Distratores Estocásticos: O método filtra naturalmente ruído estocástico dependente da ação (Noisy-TV) através da escala aleatória do ensemble, ao contrário de métodos baseados em contagem ou erro de previsão bruto.

Resultados Experimentais
Os autores avaliaram o CIG em 12 tarefas através de domínios de controle discreto (MiniGrid) e contínuo (OGBench), incluindo variantes limpas e com distratores estocásticos (Noisy-TV). A avaliação utilizou um protocolo sem recompensa para isolar a qualidade da exploração.

• Desempenho: O CIG superou ou igualou todas as linhas de base (incluindo Plan2Explore, RND, ICM, APT, E3B e E3B $\times$ P2E) na maioria das tarefas. Nas estatísticas agregadas (Média Interquartil), o CIG alcançou a pontuação mais alta com intervalos de confiança não sobrepostos contra todos os outros métodos.
• Robustez ao Noisy-TV: Em ambientes com distratores estocásticos dependentes da ação, métodos que dependem de erro de previsão bruto (ICM, RND, APT) colapsaram para taxas de sucesso próximas de zero. O CIG e o Plan2Explore (P2E) permaneceram robustos devido ao filtragem do ensemble, mas o CIG consistentemente superou o P2E, demonstrando que a correção de redundância de prefixo fornece valor adicional além do simples desacordo.
• Ablações: Remover a redução de traço causou a saturação imediata da recompensa, parando a exploração. Remover o termo de redundância de prefixo reduziu a eficiência de amostragem, confirmando que a correção previne a supercontagem de passos correlacionados dentro de uma execução.
• Entropia vs. Sucesso: Enquanto métodos como APT e E3B alcançaram maior entropia de visita a estados, isso não correlacionou com sucesso na tarefa. O CIG alcançou alto sucesso com menor entropia, indicando que a redução de incerteza direcionada (explorar fronteiras informativas) é mais eficaz do que a cobertura uniforme.

Significado e Alegações
O artigo alega que o CIG demonstra que sinais de exploração de longo prazo e episódicos não precisam ser combinados heuristicamente. Em vez disso, eles emergem conjuntamente de um único objetivo teórico da informação. A fatoração de Cholesky do substituto de log-determinante produz naturalmente recompensas causais e por passo que retêm ambos os conjuntos de condicionamento.

Os autores enfatizam que o CIG é robusto através de estruturas de problemas: ele filtra ruído irreduzível em ambientes estocásticos e fornece recompensas estruturadas em ambientes determinísticos. Embora o CIG não domine cada tarefa individual (e.g., o APT teve melhor desempenho no ObstructedMaze limpo), é o único método que evita degradação através de todas as condições testadas. O trabalho é limitado ao RL baseado em modelo com execuções imaginadas curtas; os autores notam que o custo de Cholesky $O(T^3)$ e o armazenamento de kernel $T \times T$ podem se tornar proibitivos para episódios sem modelo de longo horizonte, sugerindo janelas deslizantes ou aproximações de baixo rank como trabalho futuro.