Resumo Técnico: Representação de Sucessor Hierárquica para Transferência Robusta

Definição do Problema

A Representação de Sucessor (SR - Successor Representation) oferece um arcabouço para desacoplar a dinâmica preditiva das recompensas, permitindo uma generalização rápida entre configurações de recompensa. No entanto, a SR clássica enfrenta duas limitações críticas em regimes orientados à transferência:

1. Dependência de Política: As SRs são inerentemente ligadas à política utilizada para gerá-las. À medida que os agentes aprendem, encontram não-estacionariedades ou enfrentam novas demandas de tarefas, a política subjacente muda, tornando as representações preditivas estabelecidas obsoletas e exigindo um reaprendizado dispendioso.
2. Difusão Espectral e Escalabilidade: Em ambientes topologicamente complexos (ex: espaços multicompartimentais), as características da SR clássica sofrem de "difusão espectral". Isso resulta em características densas, com suporte global e sobrepostas, que carecem de interpretabilidade e escalam mal. Métodos de decomposição espectral padrão (como SVD) aplicados às SRs frequentemente produzem componentes que são indefinidos em sinal e falham em capturar estruturas de transição locais de forma eficaz.

Metodologia

Os autores propõem a Representação de Sucessor Hierárquica (HSR) para abordar essas limitações, incorporando abstrações temporais nas representações preditivas.

1. Representação de Sucessor Hierárquica (HSR)

A inovação central é estender a formulação clássica de SR utilizando o arcabouço de "opções" (options framework) (Sutton et al., 1999).

• Abstração Temporal: Em vez de prever a ocupação de estados com base em ações de passo único, a HSR agrega a dinâmica sobre segmentos comportamentais temporalmente estendidos e interpretáveis (opções).
• Definição: A matriz HSR $M_\mu$ é definida como a distribuição de ocupação de estado preditivo com relação a uma política de alto nível $\mu$. Ela combina recursivamente as matrizes de SR específicas de ação ($M_{\bar{a}}$) e a duração esperada das opções ($\tau$).
• Operador de Bellman: Os autores derivam um operador de Bellman hierárquico $T$ que atua como um mapeamento de contração, permitindo o aprendizado online via atualizações de Diferença Temporal (TD) semelhantes à SR padrão, mas com um erro TD que considera a duração das opções.
• HSR Esperada (eHSR): Para relaxar ainda mais a dependência de política, os autores defendem uma construção offline onde a HSR é calculada pela média sobre políticas ótimas de uma distribuição de tarefas de pré-treinamento, resultando em uma base generalizada e agnóstica à tarefa.

2. Decomposição de Baixo Rank via NMF

Para alcançar esparsidade e interpretabilidade, os autores aplicam a Fatoração de Matriz Não Negativa (NMF) à matriz HSR, em vez da Decomposição de Valor Singular (SVD) tipicamente usada em métodos espectrais.

• Racional: As SRs clássicas exibem "colapso topológico", onde estados intra-compartimentais se agrupam rigidamente, tornando a NMF mal posta devido à falta de variância intra-compartimental. Em contraste, as dinâmicas da HSR são "segmentadas por partes" (piecewise-smooth), preservando as diferenças inter-compartimentais enquanto permitem a dispersão intra-compartimental.
• Resultado: Essa estrutura permite que a NMF descubra vetores de base esparsos, localizados e interpretáveis que se alinham com características topológicas (ex: estados de gargalo), evitando os "artefatos de ringing" e o espalhamento global associados às bases ortogonais da SVD.

Principais Contribuições

1. Representações de Estado Robustas: O arcabouço HSR produz características de estado que são robustas a mudanças de política induzidas pela tarefa. Ao raciocinar em um nível superior de abstração temporal, a representação permanece estável mesmo quando as políticas de controle de baixo nível mudam.
2. Estruturas Topológicas Interpretáveis: A aplicação de NMF à HSR gera uma representação de baixo rank e esparsa que identifica naturalmente gargalos topológicos e estruturas compartimentais, fornecendo um mapa hierárquico agnóstico à política.
3. Transferência com Eficiência de Amostragem: O método proposto facilita a transferência altamente eficiente de amostras para novas tarefas em ambientes multicompartimentais sem exigir o reaprendizado dispendioso de mapas de características de estado.
4. Exploração Escalável: A estrutura preditiva temporalmente estendida da HSR impulsiona uma exploração motivada intrinsecamente eficiente, permitindo que agentes superem barreiras de difusão local em ambientes grandes e gerados proceduralmente onde métodos de passo único falham.

Resultados Experimentais

Os autores avaliaram a HSR em ambientes tabulares discretos (especificamente salas de quatro cômodos e labirintos gerados proceduralmente) usando Q-learning com aproximação de função linear.

• Eficiência de Transferência: Em um ambiente de quatro cômodos, agentes usando características de linha HSR demonstraram uma eficiência de transferência significativamente maior ao alternar localizações de objetivos em comparação com agentes usando SR padrão (RW-SR) ou codificações one-hot. Enquanto agentes de SR padrão sofreram degradação de desempenho após a reotimização da política, agentes HSR adaptaram-se rapidamente com menos episódios.
• Estabilidade da Representação: A análise quantitativa mostrou que as matrizes HSR passaram por significativamente menos reorganização (menor mudança relativa na norma de Frobenius) após mudanças de política em comparação com matrizes SR padrão.
• NMF vs. SVD: Em experimentos de base de baixa dimensão, as características HSR decompostas via NMF superaram tanto HSR-SVD quanto todas as linhas de base de SR (incluindo SR-SVD e SR-NMF). A SR-NMF falhou devido ao colapso de características, enquanto a HSR-NMF forneceu um código esparso que pavimentou uniformemente o espaço de estados.
• Reconstrução de Valor: As bases HSR consistentemente produziram reconstruções mais precisas de funções de valor ótimas para tarefas não vistas (diferentes localizações de objetivo) em comparação com bases SR, sugerindo um melhor alinhamento com o manifold de potenciais funções de valor.
• Exploração: Em tarefas de navegação com recompensa esparsa em labirintos grandes, as recompensas intrínsecas aumentadas por HSR (especificamente HSR-SPIE) mantiveram alta cobertura de estado e taxas de descoberta de objetivos conforme o tamanho do ambiente aumentava, enquanto estratégias de exploração baseadas em SR padrão degradaram significativamente.

Significância e Alegações

O artigo afirma que integrar abstração temporal em representações preditivas cria uma representação de estado robusta e interpretável que preenche a lacuna entre a eficiência model-free e a flexibilidade model-based.

• Mapeamento Agnóstico à Política: A HSR fornece um mapa hierárquico que é menos sensível a configurações de recompensa específicas, efetivamente desacoplando a estrutura preditiva do ambiente das demandas imediatas da tarefa.
• Complementaridade: Os autores posicionam a HSR como complementar aos algoritmos de Melhoria de Política Generalizada (GPI). Enquanto o GPI foca na composição de políticas pré-treinadas, a HSR foca no aprendizado de uma representação generalizável; combinar ambos resulta em uma eficiência de transferência superior.
• Escalabilidade: O arcaboxo escala para ambientes grandes e gerados proceduralmente ao permitir que agentes "escapem" de barreiras de difusão local através de previsões temporalmente estendidas, abordando um gargalo fundamental na exploração para tarefas de recompensa esparsa.

Os autores observam que suas avaliações empíricas são atualmente limitadas a ambientes tabulares discretos para isolar propriedades topológicas. Eles sugerem que trabalhos futuros integrem a HSR em sistemas de RL profundo para domínios contínuos e explorem a descoberta de opções em ambientes não-estacionários.