Saliency-Guided Representation with Consistency Policy Learning for Visual Unsupervised Reinforcement Learning

---

1. Problema e Motivação

O Aprendizado por Reforço Não Supervisionado (URL) visa pré-treinar agentes em dados sem recompensa para adquirirem políticas generalizáveis que possam ser aplicadas a novas tarefas sem treinamento adicional (zero-shot generalization). Entre as abordagens existentes, as Representações de Sucessor (SR) destacam-se por desacoplar a dinâmica do ambiente da especificação da recompensa, permitindo inferir políticas ótimas para novas funções de recompensa a partir de poucos dados.

No entanto, o artigo identifica que os métodos SR tradicionais enfrentam dificuldades significativas ao serem escalados para ambientes visuais de alta dimensão (baseados em pixels), embora funcionem bem em espaços de estado estruturados e de baixa dimensão. A análise empírica revela duas limitações críticas:

1. Representações Subótimas: Os objetivos padrão de SR tendem a levar o encoder a focar em regiões da observação visual irrelevantes para a dinâmica do ambiente (ex: fundo estático). Isso resulta em estimativas imprecisas das medidas de sucessor, degradando a generalização.
2. Dificuldade de Controle de Habilidades: Em ambientes visuais, aprender políticas condicionadas a habilidades (skill-conditioned policies) que sejam ao mesmo tempo expressivas (multimodais) e controláveis é desafiador. Redes de políticas tradicionais lutam com esse trade-off, enquanto modelos de difusão, embora expressivos, sofrem de alta latência de inferência.

2. Metodologia: Framework SRCP

Os autores propõem o SRCP (Saliency-Guided Representation with Consistency Policy Learning), um framework unificado que aborda as limitações acima através de duas inovações principais:

A. Aprendizado de Representação Dinâmica Guiada por Saliência

Para resolver o problema de representações subótimas, o SRCP desacopla o aprendizado da representação da otimização direta do objetivo de SR.

• Geração de Mapas de Saliência: O método calcula mapas de saliência baseados nos gradientes da função de valor derivada das características de sucessor. Esses mapas destacam os pixels relevantes para a dinâmica.
• Tarefa de Dinâmica Guiada: Um encoder é treinado para prever a dinâmica do ambiente (modelos de dinâmica direta e inversa) utilizando apenas as regiões salientes do observação (máscara de saliência).
• Objetivo: Isso força o encoder a aprender características focadas em regiões dinamicamente relevantes, melhorando a qualidade das características básicas e, consequentemente, das medidas de sucessor.

B. Aprendizado de Política de Consistência com Guia Livre de Classificador

Para modelar distribuições de ação multimodais com controle eficiente de habilidades:

• Modelo de Consistência: Em vez de usar modelos de difusão (que exigem múltiplos passos de inferência), o SRCP utiliza Modelos de Consistência, que são aproximações de um passo, oferecendo baixa latência e alta eficiência.
• Guia Livre de Classificador (Classifier-Free Guidance): Uma estratégia específica para URL é integrada para balancear a diversidade de comportamentos e o controle da habilidade. A ação final é calculada combinando a saída condicionada à habilidade e a saída incondicional, controlada por um peso de orientação ($\omega$).
• Objetivos de Treinamento: A política é otimizada para maximizar o retorno esperado da habilidade (via formulação de características de sucessor) e manter consistência comportamental em diferentes níveis de ruído, garantindo estabilidade e expressividade.

3. Contribuições Principais

1. Diagnóstico de Falhas: O trabalho identifica e valida empiricamente que o acoplamento entre o encoder e o treinamento de SR em ambientes visuais leva a representações que ignoram a dinâmica relevante, prejudicando a generalização.
2. Framework SRCP: Propõe uma arquitetura unificada que desacopla o aprendizado de representação (via tarefa de dinâmica guiada por saliência) do treinamento de SR, permitindo a extração de características dinamicamente relevantes.
3. Política de Consistência Eficiente: Introduz uma política baseada em modelos de consistência com guia livre de classificador, superando o trade-off entre diversidade de habilidades e latência de inferência em comparação com modelos de difusão.
4. Validação Abrangente: O método é compatível com diversos métodos de SR existentes (como HILP e FB), atuando como um aprimorador genérico.

4. Resultados Experimentais

O SRCP foi avaliado no benchmark ExORL, cobrindo 16 tarefas de controle contínuo visual em 4 domínios (Walker, Quadruped, Cheetah e Jaco) e 4 conjuntos de dados de pré-treinamento (RND, PROTO, APS, APT).

• Desempenho SOTA: O SRCP alcançou o estado da arte em generalização zero-shot, superando os métodos atuais (como HILP e FB) em 13% a 33% de desempenho médio nos domínios de Walker, Quadruped e Cheetah.
• Ablação: Estudos de ablação confirmaram que tanto o componente de representação guiada por saliência quanto a política de consistência são essenciais. A remoção de qualquer um deles resultou em queda de desempenho, mas ainda superior à linha de base HILP.
• Análise de Atenção: Mapas de calor mostraram que, enquanto métodos anteriores focavam em regiões de fundo ou irrelevantes, o SRCP foca consistentemente nas partes do corpo do agente e em regiões críticas para a dinâmica.
• Eficiência Computacional: O SRCP mantém um tempo de treinamento e uso de memória comparáveis aos métodos de base, sendo significativamente mais rápido na inferência do que políticas baseadas em difusão (que requerem 40 passos de denoising).

5. Significado e Impacto

Este trabalho representa um avanço significativo na aplicação de métodos de Representação de Sucessor a ambientes visuais complexos. Ao demonstrar que a qualidade da representação visual (focada em dinâmica) é tão crucial quanto a formulação teórica do SR, o artigo oferece um caminho prático para construir agentes generalistas.

A introdução de políticas de consistência no contexto de URL não supervisionado resolve o gargalo de latência das políticas de difusão, tornando a abordagem viável para aplicações em tempo real, como robótica e controle autônomo. O framework SRCP estabelece um novo padrão para a generalização zero-shot em tarefas visuais, provando que é possível aprender habilidades robustas e controláveis sem recompensas supervisionadas.