Resumo Técnico: Execução Estrita de Subobjetivos (SSE)

Declaração do Problema

A aprendizagem por reforço condicionada a objetivos de longo horizonte (GCRL) enfrenta desafios fundamentais quando os objetivos são distantes e as recompensas são esparsas. Embora a Aprendizagem por Reforço Hierárquica (HRL) tente abordar isso decompondo tarefas em subobjetivos de alto nível e execução de baixo nível, os métodos existentes frequentemente sofrem com inviabilidade de subobjetivos.

Os métodos tradicionais de HRL baseados em grafos frequentemente dependem de Replay de Experiência Retrospectiva (HER) para reetiquetar estados intermediários como subobjetivos bem-sucedidos. Os autores argumentam que essa abordagem é falha em cenários de longo horizonte, pois trata trajetórias falhas como sucessos sem verificar se o agente realmente alcançou o subobjetivo pretendido. Isso leva a:

1. Planejamento de Alto Nível Ineficiente: A política de alto nível aprende a selecionar subobjetivos que são pouco confiáveis ou inatingíveis, resultando em trajetórias desnecessariamente longas e treinamento instável.
2. Problemas de Atribuição de Crédito: As recompensas são distribuídas por muitas etapas, impedindo o reforço de decisões críticas anteriores.
3. Limites de Escalabilidade: À medida que a distância entre o estado atual e o objetivo final aumenta, o número de decisões de alto nível necessárias cresce, levando à instabilidade no treinamento.

Metodologia: Execução Estrita de Subobjetivos (SSE)

O artigo propõe a Execução Estrita de Subobjetivos (SSE), um framework de HRL baseado em grafos projetado para impor confiabilidade na seleção e execução de subobjetivos. A SSE opera sob o princípio de que um subobjetivo de alto nível é válido apenas se a política de baixo nível puder alcançá-lo dentro de uma única etapa de alto nível.

1. Replay de Experiência de Fronteira (FER)

A inovação central da SSE é o Replay de Experiência de Fronteira (FER), que substitui o HER padrão por um mecanismo que distingue explicitamente subobjetivos alcançáveis e inatingíveis. Em vez de reetiquetar todos os estados visitados como sucessos, o FER categoriza as transições de alto nível em três tipos:

• Sucesso: A política de baixo nível alcança o subobjetivo dentro de um limite definido ($\lambda$). A transição é armazenada com a recompensa cumulativa total.
• Parada em Falha: A política de baixo nível falha em alcançar o subobjetivo. O episódio é encerrado imediatamente, a recompensa é definida como zero e a transição é armazenada para penalizar a seleção desse subobjetivo.
• Sucesso Parcial: Se o agente falhar em alcançar o subobjetivo final, mas alcançar um ponto de passagem específico no caminho planejado, esse estado "último confiavelmente alcançado" é registrado como um sucesso parcial.

Este mecanismo delimita uma fronteira de alcançabilidade, permitindo que o agente identifique e evite subobjetivos pouco confiáveis, reforçando apenas transições viáveis.

2. Política de Exploração Desacoplada

Para contrabalançar o conservadorismo introduzido pelas penalidades estritas de falha (que poderiam fazer o agente evitar explorar regiões arriscadas, mas necessárias), a SSE emprega uma política de exploração desacoplada ($\pi_{exp}$).

• Política de Exploração ($\pi_h$): Treinada no FER para selecionar subobjetivos ótimos para alcançar o objetivo final.
• Política de Exploração ($\pi_{exp}$): Uma política dedicada que visa regiões pouco exploradas do espaço de objetivos. Ela amostra subobjetivos de regiões novas (identificadas por meio de contagens de visitação baseadas em grade ou erros de previsão baseados em modelo) para garantir uma cobertura ampla do espaço de estados.
• O agente alterna entre essas políticas, controlado por uma taxa de exploração $\eta$, garantindo que o agente descubra subobjetivos alcançáveis mesmo em ambientes de recompensa esparsa.

3. Refinamento de Caminho Consciente de Falha

A SSE introduz um ajuste dinâmico aos custos das arestas do grafo usados para o planejamento de caminhos (por exemplo, algoritmo de Dijkstra).

• O framework rastreia taxas de falha para regiões específicas (células de grade ou nós) com base nas estatísticas de execução de baixo nível.
• Os custos das arestas são aumentados para transições que levam a regiões com altas taxas de falha: $\tilde{d}(v_1 \to v_2) = d(v_1 \to v_2) \times \max(1, c_d \cdot \rho_f(v_2))$.
• Isso direciona o planejador de alto nível para longe de transições instáveis (por exemplo, gargalos estreitos ou áreas propensas a colisões) em direção a caminhos mais seguros e confiáveis.

4. Variantes de Implementação

Os autores propõem duas variantes da SSE para lidar com diferentes dimensões do espaço de objetivos:

• SSE (Grade): Usa uma partição baseada em grade do espaço de objetivos para seleção de marcos, estimativa de novidade e rastreamento de falhas. Adequada para ambientes 2D/3D.
• SSE (Modelo): Usa abordagens baseadas em modelo (Distilação de Rede Aleatória para novidade, uma rede preditora de falha para confiabilidade) para lidar com espaços de objetivos de maior dimensão onde a discretização em grade é inviável.

Contribuições Principais

1. Replay de Experiência de Fronteira (FER): Um mecanismo de replay novel que separa transições de falha e sucesso parcial para definir uma fronteira de alcançabilidade, eliminando o ruído causado pela reetiquetagem retrospectiva convencional em tarefas de longo horizonte.
2. Exploração Desacoplada: Uma estratégia que separa a política de alcance de objetivos da política de exploração, permitindo que o agente cubra regiões pouco exploradas sem comprometer a estabilidade do planejador de alto nível.
3. Refinamento de Caminho Consciente de Falha: Um método para ajustar dinamicamente os custos das arestas do grafo com base nas estatísticas observadas de falha de baixo nível, melhorando a confiabilidade das sequências de subobjetivos planejadas.
4. Validação Empírica: Avaliação extensa em nove benchmarks diversos de longo horizonte (incluindo tarefas AntMaze, KeyChest e Reacher), demonstrando desempenho superior em relação aos métodos de HRL e baseados em grafos mais avançados.

Resultados Experimentais

Os autores avaliaram a SSE em nove ambientes desafiadores, variando de labirintos simples a tarefas complexas que exigem objetivos intermediários (por exemplo, coletar chaves).

• Taxa de Sucesso: A SSE alcançou consistentemente taxas de sucesso mais altas do que as linhas de base (incluindo HIRO, HRAC, HIGL, DHRL, NGTE e BEAG) em todos os ambientes.
• Eficiência de Amostragem: A SSE convergiu significativamente mais rápido, particularmente em tarefas de gargalo e múltiplas etapas. Por exemplo, na tarefa AntDoubleKeyChest, a SSE resolveu a tarefa em um número mínimo de etapas de alto nível, enquanto as linhas de base falharam em grande parte ou exigiram passos de tempo excessivos.
• Robustez: Em configurações de objetivo aleatório, a SSE manteve um desempenho forte, enquanto muitas linhas de base lutaram devido à falta de mecanismos de exploração estruturada.
• Estudos de Ablação: A remoção do FER, da política de exploração ou do refinamento de caminho resultou em degradação significativa do desempenho, confirmando a necessidade de cada componente. Especificamente, métodos que usavam HER ou buffers de replay padrão falharam em aprender em tarefas sequenciais complexas.

Significado e Alegações

O artigo afirma que a SSE aborda uma lacuna crítica na aprendizagem por reforço hierárquica: a desconexão entre o planejamento de alto nível e as capacidades de execução de baixo nível. Ao impor alcançabilidade estrita de subobjetivos, a SSE permite que os agentes:

• Resolvam tarefas complexas de longo horizonte com menos decisões de alto nível, frequentemente alcançando objetivos distantes em uma única etapa de alto nível uma vez que a política é treinada.
• Alcanquem treinamento estável ao prevenir a propagação de crédito através de trajetórias pouco confiáveis ou falhas.
• Operem efetivamente em ambientes de recompensa esparsa sem depender de retreinamento extensivo ou design manual de currículo.

Os autores posicionam a SSE como um framework escalável para controle hierárquico que melhora tanto a eficiência quanto a confiabilidade de agentes condicionados a objetivos, tornando-se uma abordagem promissora para aplicações do mundo real que exigem planejamento robusto de longo horizonte. O trabalho enfatiza que a eficácia do framework decorre de sua capacidade de aprender os limites do que é alcançável, em vez de assumir que todos os estados intermediários são subobjetivos válidos.