Resumo Técnico: Refinamento Adaptativo de Submetas de Grosso para Fino para Aprendizado por Reforço Condicionado a Objetivos Offline de Longo Horizonte

1. Declaração do Problema

O Aprendizado por Reforço Condicionado a Objetivos (GCRL) Offline visa aprender políticas que alcancem objetivos diversos a partir de um conjunto de dados fixo de trajetórias, sem interação adicional com o ambiente. Embora eficaz para tarefas de curto horizonte, essa configuração enfrenta desafios significativos em tarefas de longo horizonte.

A principal dificuldade surge da estimativa de valor de longo horizonte. Sob recompensas esparsas para alcance de objetivos, pares estado-objetivo distantes fornecem supervisão direta fraca. Consequentemente, a função de valor deve propagar informações sobre o objetivo através de muitas atualizações bootstrap. À medida que a distância temporal aumenta, erros de aproximação acumulam-se ao longo da cadeia de backup, levando a avaliações imprecisas de objetivos distantes. Treinar diretamente uma política plana condicionada a objetivos sobre essas estimativas de valor ruidosas resulta em tomada de decisão de longo horizonte pouco confiável.

Métodos hierárquicos existentes tentam mitigar isso introduzindo submetas intermediárias, reduzindo o alcance de longo horizonte a uma sequência de decisões de curto alcance. No entanto, esses métodos frequentemente dependem de abstrações temporais fixas (por exemplo, horizontes de submeta fixos) ou profundidades de hierarquia fixas. Tais escalas fixas frequentemente não correspondem aos pares estado-objetivo com horizontes de alcançabilidade variados:

• Submetas excessivamente locais podem fazer apenas progresso marginal, onde pequenas diferenças de valor são dominadas por erros de estimativa de longo horizonte, levando a escolhas enganosas.
• Submetas excessivamente distantes podem cair fora da faixa de execução confiável da política de baixo nível.

A questão central abordada é se um agente hierárquico offline pode identificar adaptativamente um alvo intermediário adequado para cada par estado-objetivo específico, em vez de depender de uma escala de decomposição prescrita.

2. Metodologia: CFHRL

Os autores propõem o Aprendizado por Reforço Hierárquico Condicionado a Objetivos de Grosso para Fino (CFHRL), um framework GCRL totalmente offline que refina objetivos distantes adaptativamente antes da execução. O framework opera sob o princípio de que uma submeta não precisa ser um ponto médio exato ou globalmente ótimo; ela apenas precisa fornecer progresso confiável e reduzir a dificuldade restante de alcance.

2.1 Componentes Principais

O CFHRL utiliza três políticas aprendidas coordenadas por um custo de alcançabilidade compartilhado $D_\phi(s, g)$, derivado de uma função de valor condicionada a objetivos:

1. Planejador de Refinamento ($\pi_p$): Propõe alvos intermediários $u$ condicionados ao estado atual $s$ e ao alvo de planejamento atual $g$.
2. Política de Abstração ($\pi_z$): Mapeia o alvo refinado $\bar{g}$ para um comando local $z$.
3. Política de Baixo Nível ($\pi_a$): Mapeia o comando $z$ para ações primitivas $a$.

2.2 Refinamento Adaptativo de Grosso para Fino

Em vez de uma hierarquia fixa, o CFHRL emprega um processo de refinamento recursivo com uma regra de parada adaptativa:

1. Inicialização: Comece com o objetivo final $g^{(0)} = g$.
2. Verificação de Executabilidade: No nível de refinamento $\ell$, verifique se o alvo atual $g^{(\ell)}$ é localmente executável a partir do estado $s$ usando um custo de alcançabilidade aprendido:
   $$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$$
   onde $\epsilon_{exec}$ é um limiar.
3. Loop de Refinamento: Se a condição for atendida, o refinamento para e $g^{(\ell)}$ é passado para o módulo de execução. Caso contrário, o planejador propõe um novo alvo intermediário $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$, que se torna o próximo alvo $g^{(\ell+1)}$.
4. Terminação: O processo repete-se até que o alvo seja localmente alcançável ou seja atingida uma profundidade máxima $K_{max}$.

Este mecanismo garante que a profundidade de decomposição efetiva seja determinada pela alcançabilidade estimada de cada par estado-objetivo, e não por uma escala temporal fixa.

2.3 Aprendizado Offline do Planejador de Refinamento

O planejador é treinado inteiramente a partir de dados offline, sem interação online ou submetas rotuladas manualmente:

• Construção de Candidatos: Para um estado $s_t$ e objetivo $g$, um conjunto de submetas candidatas $\mathcal{C}_D$ é amostrado do conjunto de dados offline (estados futuros se $g$ estiver na mesma trajetória, caso contrário, da distribuição de replay).
• Pontuação: Os candidatos são pontuados pelo custo de alcançabilidade de gargalo:
  $$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$$
  Essa métrica favorece candidatos que contraem o horizonte residual máximo.
• Objetivo de Treinamento: O planejador é treinado via imitação ponderada guiada por valor. Os candidatos são ponderados por um softmax sobre suas pontuações negativas, incentivando o planejador a imitar submetas suportadas pelo replay que decompõem o problema em problemas de alcance residual mais fáceis.

2.4 Políticas de Execução

As políticas de abstração e de baixo nível são treinadas usando clonagem de comportamento ponderada por progresso em segmentos de curto horizonte. Transições que aumentam o valor aprendido em direção a um alvo local recebem pesos de imitação mais altos, enviesando as políticas para comportamentos progressivos localmente.

3. Análise Teórica

O artigo fornece uma análise estilizada para justificar por que o refinamento adaptativo é mais robusto do que a seleção de escala local fixa sob estimativas ruidosas:

• Falha de Escala Fixa: Em uma hierarquia de escala local fixa, à medida que o horizonte total $T$ aumenta, a relação sinal-ruído para distinguir entre movimentos locais corretos e incorretos desaparece. A probabilidade de selecionar o candidato errado aproxima-se de 0,5 à medida que $T \to \infty$.
• Suficiência de Contração Aproximada: A análise mostra que a previsão exata do ponto médio é desnecessária. É suficiente que o custo aprendido preserve uma margem grosseira entre candidatos que contraem o horizonte (reduzem a distância restante por um fator constante $\rho < 1$) e aqueles que não o fazem.
• Limites de Erro: A probabilidade de falha geral é limitada pela soma das falhas de refinamento (falha em selecionar uma submeta contrativa) e erros de execução local final. Isso motiva a regra de parada baseada em limiar de valor: refine enquanto o alvo estiver muito distante e pare assim que o alvo for estimado como localmente executável.

4. Resultados Experimentais

Os autores avaliam o CFHRL no OGBench, um benchmark para controle condicionado a objetivos offline, cobrindo tarefas de locomoção (PointMaze, AntMaze, HumanoidMaze, AntSoccer) e manipulação (Cube, Scene).

• Desempenho: O CFHRL alcança a pontuação agregada mais alta (37,5) em comparação com baselines como HIQL (23,2), GCIVL (16,5) e métodos planos.
• Ganhos de Longo Horizonte: As melhorias mais significativas são observadas em tarefas de estilo labirinto de longo horizonte (por exemplo, PointMaze-Giant-Stitch), onde o CFHRL melhora as taxas de sucesso de 0% (para baselines planas/de hierarquia fixa) para 57%.
• Estudos de Ablação:
  • Parada Adaptativa: Remover a regra de parada adaptativa e forçar profundidades de refinamento fixas ($K=2, 3$) degrada o desempenho, confirmando que o refinamento excessivo acumula erros do planejador.
  • Necessidade do Planejador: Substituir o planejador aprendido por submetas aleatórias do conjunto de dados resulta em falha, provando que as submetas devem ser selecionadas com base em custos de alcançabilidade aprendidos.
  • Orçamento de Candidatos: Aumentar o número de candidatos de treinamento ($N_c$) melhora o desempenho até certo ponto ($N_c=16$), equilibrando a qualidade da supervisão e a vazão de treinamento.
• Limitações: O CFHRL tem desempenho inferior em tarefas de manipulação ricas em contato (Cube) em comparação com métodos baseados em valor planos, sugerindo que a decomposição tipo ponto de passagem é menos eficaz para tarefas que exigem dinâmicas de contato precisas.

5. Significado e Alegações

O artigo alega três contribuições principais:

1. Formulação: Formula o GCRL offline de longo horizonte como refinamento de submeta com tempo de parada adaptativo, onde a profundidade de decomposição é determinada pela executabilidade aprendida e não por um horizonte fixo.
2. Algoritmo: Introduz um objetivo de contração suportado por replay que treina um planejador de refinamento amortizado sem exigir busca em gráfico no tempo de teste ou interação online.
3. Validação: Fornece tanto uma análise estilizada quanto ablações empíricas demonstrando que a contração aproximada e a parada adaptativa melhoram efetivamente o alcance de objetivos de longo horizonte em ambientes de estilo labirinto.

Os autores mantêm uma postura modesta, reconhecendo que o método depende da qualidade do custo de alcançabilidade aprendido e que a interface de abstração atual (representações simples de objetivos locais) pode ser insuficiente para tarefas complexas de manipulação que exigem sequências precisas de contato. Eles sugerem que trabalhos futuros devem focar em combinar planejamento adaptativo com abstrações mais ricas centradas em objetos e estender o framework para outros estimadores de valor de GCRL offline.