Resumo Técnico: Alinhamento de Representação Latente para Aprendizado por Reforço Condicionado a Objetivos Offline

1. Declaração do Problema

O Aprendizado por Reforço Condicionado a Objetivos (GCRL) Offline visa aprender políticas que alcancem objetivos arbitrários utilizando conjuntos de dados fixos e pré-coletados, sem interação adicional com o ambiente. Embora promissor, aprender funções de valor condicionadas a objetivos confiáveis em tarefas de longo horizonte permanece um desafio significativo. O principal gargalo identificado neste trabalho é a generalização errônea em funções de valor condicionadas a objetivos.

Funções de valor padrão, particularmente aquelas parametrizadas por Perceptrons Multicamada (MLPs), tendem a generalizar com base na proximidade Euclidiana no espaço de estados, em vez da distância temporal. Em ambientes com obstáculos (por exemplo, labirintos) ou recompensas esparsas, isso leva ao "vazamento de valor", onde estados fisicamente próximos a um objetivo, mas temporalmente distantes (separados por paredes ou dinâmicas complexas), recebem valores erroneamente altos. Isso resulta em estimativas de valor ruidosas e políticas de controle frágeis. Além disso, métodos existentes que tentam abordar isso por meio de arquiteturas de quasimétrica (por exemplo, IQE, MRN) frequentemente sofrem com desempenho inconsistente em diferentes domínios (por exemplo, desempenho adequado em navegação em labirintos, mas falha em manipulação robótica) ou introduzem instabilidade no treinamento.

2. Metodologia: Aprendizado de Valor Alinhado Latente (LAVL)

Os autores propõem o Aprendizado de Valor Alinhado Latente (LAVL), um algoritmo de GCRL offline que integra uma arquitetura de função de valor inovadora com um framework de planejamento hierárquico.

2.1. Rede de Alinhamento Latente (LAN)

A inovação central é a Rede de Alinhamento Latente (LAN), uma arquitetura de função de valor projetada para impor um viés indutivo apropriado para a generalização de valores.

• Arquitetura: Diferentemente de MLPs padrão ou modelos de quasimétrica estrita, a LAN parametriza o valor condicionado ao objetivo $V(s, g)$ como a distância Euclidiana negativa entre representações latentes aprendidas do estado e do objetivo:
  $$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$$
  onde $\phi_S: \mathcal{S} \to \mathbb{R}^d$ e $\phi_G: \mathcal{G} \to \mathbb{R}^d$ são redes de representação de estado e objetivo assimétricas.
• Mecanismo: Ao quebrar a estrutura métrica estrita (permitindo $\phi_S \neq \phi_G$), a LAN introduz flexibilidade que permite que a função de valor generalize com base na geometria do espaço latente aprendido, em vez da proximidade de estado Euclidiana bruta. Isso mitiga o problema de "supergeneralização" onde o valor se propaga através de obstáculos.
• Vantagens: A LAN evita a instabilidade no treinamento e as quedas de desempenho específicas de domínio associadas a restrições de quasimétrica estrita (como IQE), mantendo o viés estrutural necessário para estimativas precisas de distância temporal.

2.2. Aprendizado de Valor com Regularização de Continuidade

Para estabilizar o aprendizado em configurações de longo horizonte, o LAVL amplia o objetivo padrão de Aprendizado de Valor Implícito (IVL) com um termo de regularização de continuidade local.

• Objetivo: A perda total combina o objetivo TD ($L_{TD}$) com um termo de regularização ($L_{Reg}$) que penaliza flutuações locais abruptas na função de valor entre estados vizinhos:
  $$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$$
• Função: $L_{Reg}$ suprime ruído de alta frequência na paisagem de valor sem comprometer a consistência global de Bellman, garantindo a propagação estável de recompensas esparsas ao longo de horizontes longos.

2.3. Framework de Política Hierárquica

O LAVL adota um framework de política hierárquico semelhante ao HIQL, consistindo em:

• Política de alto nível ($\pi_h$): Gera uma representação de subobjetivo $w$ condicionada ao estado atual $s$ e ao objetivo final $g$. No LAVL, o subobjetivo é definido como um mapeamento apenas de objetivo $w = \phi(g)$, alinhando-se naturalmente à parametrização da LAN.
• Política de baixo nível ($\pi_l$): Produz ações condicionadas ao estado $s$ e ao subobjetivo $w$.
• Treinamento: Ambas as políticas são treinadas usando Regressão Ponderada por Vantagem (AWR), aproveitando as estimativas de valor estáveis fornecidas pela LAN.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Identificação da Generalização Errônea: Os autores identificam que a falha do GCRL offline em tarefas de longo horizonte é fundamentalmente impulsionada por funções de valor que generalizam via proximidade Euclidiana em vez de distância temporal. Eles demonstram que o viés indutivo na arquitetura da função de valor é o fator crítico para resolver isso, e não apenas o objetivo de aprendizado.
2. Proposta do LAVL: Eles introduzem o LAVL, um framework unificado que combina a Rede de Alinhamento Latente (LAN) para generalização de valor confiável, regularização de continuidade para aprendizado estável e uma política hierárquica para planejamento de longo horizonte.
3. Superioridade Empírica: Experimentos extensivos no benchmark OGBench demonstram que o LAVL supera consistentemente os métodos existentes de GCRL offline mais avançados.

4. Resultados Experimentais

Os autores avaliaram o LAVL em 22 conjuntos de dados do OGBench, cobrindo navegação em labirintos (Point, Ant, Humanoid) e tarefas de manipulação robótica (Cube, Scene) com horizontes variados e estratégias de coleta de dados (navegar vs. costurar).

• Desempenho Geral: O LAVL alcançou o maior desempenho em 20 dos 22 conjuntos de dados, superando significativamente baselines como GCIVL, QRL, HIQL e CGCIVL.
• Estabilidade de Longo Horizonte: Em ambientes de labirinto "gigantes", o LAVL manteve uma taxa de sucesso de 85% com uma queda relativa de apenas 9,6% em comparação com labirintos de tamanho médio. Em contraste, baselines como HIQL e QRL sofreram quedas catastróficas de desempenho (quedas relativas de 75,4% e 61,7%, respectivamente).
• Costura de Trajetórias: Em conjuntos de dados "costura" (compostos por trajetórias curtas e fragmentadas), o LAVL mostrou uma queda mínima de desempenho (1,1%) em comparação com conjuntos de dados de navegação, enquanto outros métodos degradaram-se significativamente (por exemplo, queda de 36,9% para o HIQL).
• Manipulação Robótica: Diferentemente de métodos de quasimétrica (por exemplo, QRL) que falharam em tarefas de manipulação, o LAVL alcançou altas taxas de sucesso (por exemplo, 88% em Scene-play), demonstrando a robustez da LAN em diversos domínios.
• Estudos de Ablação: Experimentos confirmaram que:
  • A LAN supera arquiteturas de quasimétrica (IQE, MRN) e abordagens baseadas em métrica (Hilbert) dentro do mesmo framework hierárquico.
  • A combinação de LAN e políticas hierárquicas produz resultados superiores em comparação com políticas planas ou o uso de LAN com políticas planas isoladamente.
  • A regularização de continuidade proporciona ganhos significativos em tarefas desafiadoras (por exemplo, aumentando a taxa de sucesso em Pointmaze-giant-stitch de 35% para 95% em algumas configurações).

5. Significado e Alegações

O artigo afirma que o LAVL representa um avanço significativo no GCRL offline ao abordar o gargalo fundamental da generalização de valor.

• Insight Arquitetural: O trabalho destaca que a escolha da arquitetura da função de valor é mais crítica do que o objetivo de aprendizado para alcançar generalização confiável. Argumenta-se que, embora funções de valor ótimas sejam quasimétricas, impor restrições de quasimétrica estrita durante o treinamento pode ser excessivamente restritivo; em vez disso, o alinhamento latente aprendido oferece um viés indutivo mais eficaz.
• Framework Unificado: O LAVL unifica com sucesso generalização eficaz, aprendizado de valor estável e planejamento hierárquico, permitindo desempenho robusto em tarefas que exigem raciocínio de longo horizonte e costura de trajetórias.
• Impacto Prático: O método alcança resultados state-of-the-art sem exigir ajuste extensivo de hiperparâmetros ou representações de oráculo, tornando-o uma solução prática para problemas complexos de tomada de decisão offline.

Os autores concluem que, embora seu trabalho se concentre no aprendizado de valor e extração hierárquica, as descobertas sobre viés indutivo arquitetural podem se estender a algoritmos de RL baseados em valor mais amplos, e trabalhos futuros poderiam explorar a extensão desses métodos para controle robótico do mundo real de alta dimensão.