Resumo Técnico: Abstração para Aprendizado por Reforço Condicionado a Objetivos Offline

Declaração do Problema

O Aprendizado por Reforço Condicionado a Objetivos Offline (GCRL) visa treinar agentes de propósito geral para resolver tarefas complexas e de longo horizonte usando conjuntos de dados estáticos. No entanto, os métodos existentes lutam em regiões onde o conjunto de dados sofre de transições de baixa qualidade ou cobertura imperfeita do espaço de estados-ações. Algoritmos offline planos padrão, que regularizam ações em direção à distribuição do conjunto de dados para mitigar a mudança de distribuição, frequentemente falham em recuperar políticas ótimas quando o conjunto de dados contém dados subótimos em regiões críticas. Embora políticas hierárquicas (opções) tenham sido propostas para reduzir o horizonte efetivo (abstração temporal), elas tradicionalmente foram ancoradas ao quadro de referência absoluto, limitando sua capacidade de reutilizar experiências em contextos semelhantes, mas distintos.

Metodologia: Aprendizado por Reforço Abstrativo (ARL)

Os autores propõem o Aprendizado por Reforço Abstrativo (ARL), um framework que estende a hierarquia para permitir abstração absoluta. Isso envolve aprender opções relativizadas e utilizar representações distintas em diferentes níveis da hierarquia. A premissa central é que, ao desacoplar ações de baixo nível de informações redundantes de alto nível e definir opções relativas ao contexto local do agente (por exemplo, "mover-se para frente" em vez de "mover-se para a coordenada X"), um agente pode generalizar comportamentos em contextos semelhantes do espaço de estados.

O framework introduz duas noções específicas de similaridade:

1. Similaridade de alto nível: Pares estado-objetivo que induzem opções semelhantes.
2. Similaridade de baixo nível: Pares estado-opção que induzem ações imediatas semelhantes.

Para operacionalizar isso, os autores propõem dois algoritmos:

1. ARLi (Aprendendo Opções Relativizadas Implicitamente)

Este algoritmo aprende opções relativizadas via similaridade de ação em vez de similaridade de valor.

• Arquitetura: Emprega duas funções de valor distintas: uma função de valor de alto nível ($V_h$) e uma função de valor de baixo nível ($V_l$).
• Aprendizado de Opções: Diferentemente de métodos hierárquicos anteriores (por exemplo, HIQL) que aprendem embeddings de opção via função de valor, o ARLi aprende embeddings de opção ($\phi_\omega$) conjuntamente com a política de baixo nível ($\pi_l$). Isso incentiva o agrupamento de pares estado-ponto de passagem que induzem ações de baixo nível semelhantes.
• Treinamento: Utiliza Q-Learning Implícito (IQL) para aprendizado de valor e Regressão Ponderada por Vantagem (AWR) para extração de política. A política de alto nível amostra opções com base no valor de alto nível, enquanto a política de baixo nível executa ações condicionadas ao estado e à opção amostrada.

2. ARLe (Enforçando Explicitamente Invariância de Translação)

Este algoritmo constrói sobre o ARLi impondo explicitamente invariância de translação ao processo de decisão de baixo nível, especificamente para tarefas de manipulação de alta dimensionalidade.

• Estados Relativizados: Define a função de valor de baixo nível em termos de vetores de deslocamento não normalizados ($v = g_s - s$), efetivamente colapsando o espaço estado-ponto de passagem em uma variedade de deslocamentos relativos.
• Embeddings de Opção: As opções são definidas em termos desses estados relativizados. Os autores utilizam uma técnica de "normalização suave" para mapear esses embeddings em uma hipersfera, permitindo regularização geométrica enquanto mantém a consciência temporal implícita (a magnitude escala com o deslocamento).
• Objetivo: Esse viés indutivo permite que o agente reutilize experiências através do espaço de estados, tratando configurações relativas geometricamente semelhantes como equivalentes, abordando questões de cobertura esparsa de estados em espaços de alta dimensionalidade.

Contribuições Principais

1. Motivação para Abstração Absoluta: O artigo argumenta que a hierarquia no RL offline não deve apenas reduzir o horizonte temporal, mas também permitir abstração absoluta. Ao usar opções relativizadas e representações distintas, os agentes podem limitar o erro máximo no retorno esperado em comparação com políticas planas, particularmente em regiões com dados de baixa qualidade.
2. Limites Teóricos de Erro: Os autores fornecem uma derivação mostrando que políticas hierárquicas com abstração absoluta reduzem o limite de erro através de quatro mecanismos:
   • Redução do Horizonte: Reduzindo o fator de desconto efetivo para a política de alto nível.
   • Redução de Cardinalidade: Mapeando pares estado-objetivo em classes de equivalência.
   • Eficiência de Opção: Reduzindo o tamanho do espaço de opções via relativização.
   • Melhoria da Concentrabilidade: Agregando massa de probabilidade através de contextos semelhantes, reduzindo assim o coeficiente de concentrabilidade ($\kappa$) e mitigando a incompatibilidade de suporte.
3. Dois Algoritmos Novos: A introdução do ARLi e do ARLe, que demonstram que aprender opções via similaridade de ação e impor invariância de translação melhoram significativamente o desempenho sem introduzir hiperparâmetros adicionais.
4. Diretrizes Práticas: O trabalho oferece recomendações específicas para praticantes, como aprender opções via similaridade de ação (conjuntamente com a política de baixo nível), usar duas funções de valor para desacoplar processos de decisão e impor invariância de translação para manipulação de alta dimensionalidade.

Resultados Experimentais

Os autores avaliaram o ARLi e o ARLe nos conjuntos de dados OGBench, focando em ambientes desafiadores de locomoção e manipulação (por exemplo, antmaze-giant, humanoidmaze-giant, puzzle-4x4-play).

• Desempenho: Ambas as variantes do ARL superaram políticas planas (IQL) e baselines hierárquicas absolutas (variantes do HIQL). Em todas as tarefas, o ARL alcançou uma taxa de sucesso média pelo menos 10 pontos percentuais maior do que os benchmarks.
• Ganhos Específicos:
  • ARLi: Consistentemente melhorou sobre benchmarks hierárquicos, mais do que dobrando as taxas de sucesso em ambientes humanoidmaze e quase dobrando-as para scene-play-v0.
  • ARLe: Demonstrou desempenho superior em tarefas de manipulação de alta dimensionalidade. Em puzzle-4x4-play-v0 (83 dimensões), o ARLe alcançou uma taxa de sucesso de 88%, superando o próximo melhor benchmark em 39 pontos percentuais.
• Generalização: A análise mostrou que as melhorias de desempenho correlacionaram-se com o aumento da dimensionalidade do estado e da esparsidade dos dados. O ARLe, em particular, aprendeu funções de valor de baixo nível substancialmente mais suaves ao colapsar estados relativos equivalentes.
• Robustez: Os algoritmos alcançaram esses resultados usando hiperparâmetros ajustados para o baseline HIQL, demonstrando que os ganhos de desempenho derivam dos vieses indutivos e não de um ajuste extensivo.

Significado e Alegações

O artigo alega que a hierarquia permite uma extração de política mais robusta em regiões onde os conjuntos de dados sofrem de transições de baixa qualidade. Ao abstrair do quadro de referência absoluto, os agentes podem reutilizar experiências ótimas em contextos semelhantes, mitigando efetivamente as limitações da cobertura de dados offline.

Os autores posicionam este trabalho como uma prova de conceito de que representações distintas em diferentes níveis hierárquicos podem melhorar a generalização no GCRL offline. Eles afirmam explicitamente que, embora os resultados atuais sejam promissores, a abordagem abre caminhos para pesquisas futuras, como:

• Aprender opções relativizadas via chunking de ações.
• Incorporar vieses indutivos mais flexíveis usando Aprendizado Profundo Geométrico (GDL).
• Abordar limitações onde o viés indutivo (por exemplo, invariância de translação) pode não alinhar-se com a estrutura do ambiente (por exemplo, labirintos densos e de baixa dimensionalidade).

O trabalho não alega resolver todos os desafios do RL offline, mas demonstra que vieses estruturais específicos (relativização e representações distintas) podem melhorar significativamente a generalização de políticas em configurações de alta dimensionalidade sem a necessidade de ajuste complexo de hiperparâmetros.