Resumo Técnico: Explorando a Regularidade das Dinâmicas Locais para Habilidades Reutilizáveis em RL Hierárquico Offline

Declaração do Problema

A Aprendizagem por Reforço Hierárquica (HRL) visa resolver tarefas de longo horizonte descobrindo e reutilizando habilidades temporalmente estendidas. No entanto, um desafio persistente é obter habilidades que sejam genuinamente reutilizáveis em diferentes contextos. Abordagens existentes frequentemente sofrem com instabilidade no treinamento ao aprender simultaneamente habilidades e políticas, ou falham em aproveitar efetivamente a reutilizabilidade. Embora políticas condicionadas a objetivos tenham desacoplado o treinamento, elas frequentemente perdem a abstração temporal e a reutilizabilidade consistente inerentes a habilidades verdadeiras. Especificamente, raciocinar diretamente no espaço global de estado-objetivo torna difícil para políticas de baixo nível reconhecer quando o mesmo comportamento pode ser reutilizado em diferentes contextos globais.

Metodologia

Os autores propõem CARL (Representações Contrastivas Baseadas em Ações para Controle Local Reutilizável), um método projetado para aprender representações de dinâmicas locais a partir de conjuntos de dados offline para facilitar a reutilização de habilidades.

Fundamentação Teórica: Dinâmicas Locais e Bisimulação

A intuição central são as dinâmicas locais: muitas regiões locais do espaço de estados compartilham dinâmicas semelhantes, o que significa que transições locais em diferentes contextos globais requerem sequências de ações similares.

• MDP de k-bola: Os autores formalizam as dinâmicas locais definindo um MDP de horizonte finito (a $k$-bola) enraizado em um estado $s$, contendo todos os estados alcançáveis dentro de $k$ passos.
• Bisimulação de Dinâmicas: Dois estados são considerados como compartilhando dinâmicas locais se seus respectivos MDPs de $k$-bola forem bisimilares em dinâmicas. Isso significa que existe uma relação onde as probabilidades de transição sob sequências de ações idênticas são equivalentes, permitindo que os estados sejam tratados como intercambiáveis para comportamentos de alcance de objetivos de curto horizonte.

Algoritmo Prático: CARL

Estimar diretamente a bisimulação em domínios contínuos de alta dimensão é intratável. Em vez disso, o CARL aproveita a similaridade comportamental como uma heurística. A hipótese é que, em conjuntos de dados offline quase especialistas, pares estado-objetivo $(s_1, g_1)$ e $(s_2, g_2)$ que admitam a mesma sequência de ações de $k$ passos $a_k$ são comportamentalmente similares.

O CARL aprende embeddings $\phi(s, g)$ para pares estado-objetivo e $\psi(a_k)$ para sequências de ações usando um objetivo de aprendizado contrastivo (InfoNCE):
$$\mathcal{L}_{InfoNCE} = -\frac{1}{B} \sum_{i=1}^B \log \frac{\exp(\langle \phi(s_i, g_i^k), \psi(a_i^k) \rangle / \tau)}{\sum_{j=1}^B \exp(\langle \phi(s_i, g_i^k), \psi(a_j^k) \rangle / \tau)}$$
Este objetivo alinha pares estado-objetivo com as sequências de ações que os realizam. Consequentemente, pares estado-objetivo que requerem habilidades locais similares são embutidos próximos no espaço latente, independentemente de sua localização global.

Integração com HRL

O CARL é integrado a algoritmos existentes de RL hierárquico offline, especificamente HIQL e HGCBC.

• A representação aprendida $\phi(s, g)$ é usada como entrada para a política de baixo nível e a função de valor.
• A política de alto nível submete subobjetivos neste espaço de representação aprendido.
• Isso permite que a política de baixo nível reutilize a mesma habilidade (sequência de ações) em diferentes contextos globais, sem precisar reaprender a política do zero para cada região.

Principais Contribuições

1. Formalização das Dinâmicas Locais: O artigo define equivalência de estados baseada em dinâmicas locais (via MDPs de $k$-bola e bisimulação) em vez de equivalência de valor de longo horizonte, fornecendo uma base principial para a reutilização de habilidades.
2. Algoritmo CARL: Um framework prático de aprendizado contrastivo que aproxima a estrutura de dinâmicas locais a partir de dados offline, agrupando pares estado-objetivo por suas sequências de ações requeridas.
3. Validação Empírica: Demonstra que integrar o CARL ao HIQL e HGCBC melhora significativamente o desempenho downstream no benchmark OGBench em diversas tarefas (locomoção, manipulação e quebra-cabeças complexos) e modalidades (baseadas em estado e baseadas em pixels).
4. Análise da Estrutura de Representação: Visualizações (UMAP) e análises de vizinhos mais próximos confirmam que o CARL agrupa com sucesso estados globais distintos que requerem comportamentos locais similares (por exemplo, "andar para trás" em diferentes locais de um labirinto).

Resultados

O artigo relata experimentos extensivos na suíte OGBench:

• Tarefas Baseadas em Estado: O HIQL+CARL alcançou uma taxa de vitórias de 20/22 contra o HIQL padrão, com melhorias significativas em ambientes complexos como o "labirinto gigante" (+30% em tarefas de cena) e tarefas de manipulação de "cubo". O HGCBC+CARL alcançou 21/21 contra o HGCBC.
• Tarefas Baseadas em Pixels: Em ambientes visuais, o HIQL+CARL alcançou 13/14 vitórias contra o HIQL, com ganhos notáveis em tarefas de longo horizonte antmaze (por exemplo, +30% nas variantes grandes/gigantes).
• Estudos de Ablação:
  • Contraste vs. Previsão: O objetivo contrastivo (InfoNCE) superou as perdas de regressão direta (previsão), sugerindo que é mais eficaz para organizar a geometria latente para reutilização de habilidades.
  • Sequência de Ações vs. Ação Única: Modelar sequências completas de ações ($a_k$) foi superior a modelar ações únicas, confirmando a importância da estrutura temporal.
  • Amostragem: A "amostragem interna" (usando estados intermediários dentro do horizonte de $k$ passos) performou melhor do que a "amostragem de superfície" (usando apenas o ponto final).
• Robustez: O CARL+HIQL mostrou sensibilidade similar à cobertura e desequilíbrio do conjunto de dados em comparação com o HIQL de base, indicando que o CARL não exacerba os requisitos de dados.

Significado e Afirmações

Os autores afirmam que a estrutura de dinâmicas locais fornece uma base principial para extração e reutilização de habilidades, ajudando a HRL a se reconectar com as abstrações temporais centrais para a tomada de decisão de longo horizonte. Ao aprender embeddings que agrupam pares estado-objetivo de acordo com os comportamentos de curto horizonte que eles admitem, o CARL fornece um mecanismo concreto para reutilização de habilidades que melhora frameworks existentes de RL hierárquico.

O artigo enfatiza que essa abordagem permite que políticas de alto nível raciocinem sobre habilidades de baixo nível de forma mais eficaz, permitindo a transferência de comportamentos através de contextos globalmente diferentes (por exemplo, um humanoide levantando-se em diferentes partes de um labirinto). Embora o método dependa de conjuntos de dados offline e horizontes fixos, os resultados sugerem que modelar explicitamente a reutilizabilidade local desbloqueia benefícios de desempenho, particularmente em domínios complexos de robótica de alta dimensão onde reaprender políticas de baixo nível para cada contexto é ineficiente.

O trabalho é modesto sobre suas limitações, notando que a escolha do horizonte de extração $k$ é dependente do ambiente e que o desempenho em certas tarefas (como aquelas com dinâmicas estocásticas ou generalização combinatória extrema) permanece desafiador. Sugere-se trabalho futuro para explorar descoberta automática de habilidades, abstração de ações e representações de políticas de alto nível.