Resumo Técnico: Pré-treinamento Livre de Recompensa para Aprendizado por Reforço via Maximização de Cobertura de Ocupação

Declaração do Problema

Recompensas esparsas apresentam um desafio fundamental para o Aprendizado por Reforço (RL), onde os agentes não recebem feedback informativo até alcançarem um objetivo específico. Métodos de recompensa intrínseca (ex: novidade, erro de predição, diversidade de habilidades) tentam injetar sinais de supervisão, mas frequentemente dependem da capacidade de avaliar recompensas extrínsecas, seja online ou via relabeling offline de transições armazenadas. Essa premissa falha em configurações de aprendizado multi-tarefa, meta-aprendizado e aprendizado contínuo, onde as interações são estritamente livres de recompensa e a função de recompensa a jusante está indisponível até que o agente realmente alcance um objetivo dependente da tarefa.

Objetivos livres de recompensa existentes sofrem de não-estacionaridade. Métodos que otimizam o ajuste de marginais de estado, erro de predição ou diversidade de habilidades podem descobrir estados diversos durante o pré-treinamento, mas falham em manter uma política cuja ocupação de estado descontada seja amplamente distribuída. Em vez disso, a política final tende a se concentrar em pequenas regiões ou exibe um comportamento oscilatório de "expansão-colapso", falhando em fornecer uma inicialização robusta para tarefas de recompensa esparsa a jusante.

Metodologia: ROVER

Os autores propõem o ROVER (Reward-free pretraining via Occupancy coVERage maximization), um algoritmo projetado para pré-treinar políticas de exploração transferíveis que maximizam a cobertura do espaço de estados sem exigir uma distribuição alvo ou avaliação de recompensa offline.

1. Objetivo: Maximização de Cobertura de Ocupação

O ROVER formula o objetivo de pré-treinamento como a minimização da autossimilaridade da medida de ocupação de estado descontada $d^\pi$ dentro de um Espaço de Hilbert de Núcleo Reproduzível (RKHS).

• Formulação: O objetivo é definido como $J(\pi) = \|\mu_{d^\pi}\|_H^2$, onde $\mu_{d^\pi}$ é o embedding de média de kernel da medida de ocupação.
• Equivalência Teórica:
  • Minimizar esta norma é equivalente a maximizar a entropia de Rényi métrica de ordem 2.
  • No cenário tabular com um kernel Dirac, é equivalente a minimizar a distância de Maximum Mean Discrepancy (MMD) para uma distribuição uniforme, efetivamente promovendo a cobertura uniforme sem definir explicitamente um alvo uniforme.
  • Em espaços de representação aprendidos, promove a diversidade na geometria induzida pela representação.

2. Implementação Algorítmica

O ROVER utiliza a formulação operacional de RL para tornar o objetivo computável e diferenciável de forma fechada. O algoritmo alterna entre coleta de dados e três etapas:

• Aprendizado de Representação: Um mapa de características $\phi_\theta$ é aprendido a partir de dados de transição usando uma perda contrastiva InfoNCE para alinhar as representações de próximo estado previsto com os próximos estados reais. Isso define a geometria para o objetivo de cobertura.
• Estimativa do Modelo de Mundo (Operador de Transição): O algoritmo estima um operador de transição elevado $\hat{T}_n$ usando Regressão de Ridge com Kernel (KRR) nas representações aprendidas. Este operador mapeia características de estado-ação para embeddings de próximo estado de forma fechada.
• Descida de Espelho de Política (PMD): A política é atualizada para minimizar o objetivo $J(\pi)$ usando Descida de Espelho de Política. O gradiente do objetivo é derivado de forma fechada usando o resolvente do operador de transição, permitindo atualizações eficientes sem estimativa de gradiente baseada em amostragem.

3. Aumentação de Estado-Sumidouro (Sink-State)

Um componente crítico do ROVER é a introdução de um estado "sumidouro" virtual ($s_{S_\epsilon}$) para lidar com regiões do espaço de estados não suportadas pelos dados atuais.

• Mecanismo: O espaço de estados é aumentado com um estado sumidouro absorvente. O operador de transição é estimado usando um problema de ridge deslocado que roteia resíduos não explicados (predições para pares estado-ação não vistos) para este estado sumidouro, em vez de para um vetor zero.
• Estabilização: Isso evita o comportamento de "expansão-colapso" onde uma política oscila entre descobrir novas regiões e esquecer regiões previamente cobertas. O estado sumidouro impõe um custo à atribuição de ocupação a regiões não suportadas, equilibrando exploração com a retenção da cobertura conhecida.
• Decomposição do Objetivo: O objetivo total se decompõe no termo da norma da ocupação no espaço original mais um termo de penalidade proporcional à massa atribuída ao estado sumidouro, controlado por um hiperparâmetro $\epsilon$.

Principais Contribuições

1. Formulação Sem Alvo: O artigo formaliza a cobertura de ocupação como um objetivo de RKHS livre de alvo para transferência de comportamento de recompensa esparsa, ligando-o ao ajuste de MMD, diversidade de Rényi-2 e minimização de energia de teoria de potencial.
2. Atualização de Política Baseada em Operadores: Os autores derivam uma atualização de política baseada em operadores e de forma fechada para minimizar este objetivo usando um modelo de mundo de resolvente aprendido, evitando os problemas de não-estacionaridade de métodos baseados em proxies.
3. Aumentação de Estado-Sumidouro: A introdução de um estado sumidouro virtual estabiliza a cobertura sob dados parciais, prevenindo o comportamento cíclico de expansão-colapso e garantindo que a política retenha a cobertura das regiões visitadas anteriormente.

Resultados Experimentais

Os autores avaliam o ROVER em ambientes de navegação esparsa controlados e totalmente observáveis (baseados em tabelas e pixels) projetados para isolar gargalos topológicos (ex: Middle-Room, Multi-Rooms, Maze).

• Eficiência de Cobertura: O ROVER atinge a cobertura total do espaço de estados significativamente mais rápido que os baselines (RND, SMM, APT, MAXENT, CIC) quando treinado do zero.
• Estabilidade e Transferência: Diferente dos baselines que podem descobrir estados transitoriamente, mas colapsam para ocupação localizada, o ROVER produz políticas com ocupação descontada amplamente distribuída. Isso resulta em inicializações mais fortes para RL de modelo livre a jusante (DDPG, SAC), exigindo menos amostras para alcançar objetivos.
• Transferência Offline: Em cenários de RL offline (CQL, DDPG), os buffers de replay gerados pelo ROVER suportam o aprendizado a jusante efetivamente. Embora a distribuição difira de outros métodos (ex: CIC produz dados mais homogêneos, enquanto o ROVER retém maior densidade perto de estados iniciais e gargalos), a estrutura de dados do ROVER é particularmente eficaz para algoritos conservadores como o CQL.
• Robustez: O método demonstra robustez a hiperparâmetros, embora valores extremos para a norma do estado-sumidouro $\epsilon$ possam dificultar a exploração.

Significância e Alegações

O artigo posiciona o ROVER como um passo principiado para estabelecer a cobertura de ocupação como um objetivo padrão para transferência de comportamento livre de recompensa.

• Escopo Modesto: Os autores declaram explicitamente que o estudo é limitado a espaços de ação discretos e ambientes simples para isolar o objetivo de cobertura e analisar seu comportamento diretamente, em vez de apresentar o ROVER como um algoritmo de exploração totalmente escalável para domínios de alta dimensão imediatamente.
• Insight Central: A principal contribuição é a demonstração de que maximizar a cobertura de ocupação via uma abordagem de operador estável e de forma fechada produz políticas que são inerentemente melhores para transferência de recompensa esparsa a jusante do que aquelas otimizadas para novidade transitória ou diversidade de habilidades.
• Direções Futuras: Os autores identificam trabalhos futuros no desenvolvimento de representações escaláveis para domínios de alta dimensão, implementações aproximadas do objetivo de resolvente, e extensões para ações contínuas e observabilidade parcial.