Resumo Técnico: Aprendizado de Opções Escalável em Ambientes de Alta Vazão

Declaração do Problema

O Aprendizado por Reforço Hierárquico (HRL) oferece uma estrutura promissora para resolver tarefas de tomada de decisão que abrangem longas escalas de tempo, decompondo problemas em subtarefas (opções) gerenciadas por um controlador de nível superior. No entanto, os métodos hierárquicos existentes falharam em grande parte em realizar os benefícios do treinamento em grande escala que impulsionaram o progresso no RL plano e em outros domínios de aprendizado de máquina. Enquanto agentes planos e modelos de visão são rotineiramente treinados com bilhões de amostras, agentes hierárquicos são tipicamente restritos a milhões de amostras devido a gargalos computacionais significativos.

O principal desafio na escalabilidade do HRL é a dificuldade de paralelizar a execução hierárquica. Em um lote de segmentos de trajetória, diferentes passos de tempo frequentemente correspondem a políticas diferentes (o controlador ou várias opções), cada uma com funções de recompensa e condições de término distintas. Essa heterogeneidade impede a aplicação direta de bibliotecas de RL de alta vazão (por exemplo, IMPALA, Sample Factory) que dependem de processamento de lote uniforme. Consequentemente, os métodos hierárquicos atuais frequentemente processam trajetórias individuais sequencialmente, limitando sua vazão e impedindo que aproveitem as "leis de escala" observadas em outras áreas da IA.

Metodologia: Aprendizado de Opções Escalável (SOL)

Os autores propõem o Aprendizado de Opções Escalável (SOL), um algoritmo de gradiente de política hierárquico projetado para otimizar tanto o desempenho quanto a vazão computacional. O SOL aborda o gargalo de escalabilidade por meio de inovações algorítmicas e de nível de sistema específicas.

1. Contribuições Algorítmicas

• Otimização Conjunta com Bootstrap de Valor: O SOL otimiza conjuntamente os objetivos ator-crítico para o controlador e todas as opções. Uma inovação chave é o bootstrap das funções de valor de opção nas trocas de opção. Em vez de esperar que uma opção termine naturalmente para calcular retornos, o algoritmo aproxima o valor de uma opção $\omega$ no estado $s_t$ usando um retorno de $K$ passos mais uma estimativa bootstrap do valor no ponto de troca ($s_{t+K+1}$). Isso permite que as políticas de opção otimizem recompensas intrínsecas independentes ($R_\omega$) mesmo quando treinadas em trajetórias geradas por políticas de comportamento mistas.
• Durações de Opção Adaptativas: O controlador não apenas seleciona a próxima opção $\omega$, mas também produz uma duração de execução $l$ de um conjunto de valores espaçados exponencialmente ($L = \{2^i\}$). Isso é implementado por meio de uma cabeça softmax treinada juntamente com a cabeça de seleção de opção. Esse mecanismo permite que o agente ajuste dinamicamente a abstração temporal das subtarefas com base na observação atual, evitando o problema de "degeneração de opção", onde os controladores colapsam para selecionar apenas opções de duração 1.
• Redução de Não Estacionariedade: A função objetivo é projetada de modo que as funções de vantagem e valor para uma opção específica dependam apenas de sua própria recompensa e da distribuição de estados induzida pelo sistema, e não das políticas específicas de outras opções ou do controlador após o término da opção. Isso limita as interdependências e reduz a não estacionariedade durante o treinamento.

2. Contribuições de Nível de Sistema

Para alcançar alta vazão, o SOL reestrutura o pipeline de treinamento para permitir paralelização massiva em GPUs:

• Rede Neural Unificada: Uma única rede neural representa todas as políticas (controlador e todas as opções). A rede recebe uma observação e um vetor one-hot indicando a política ativa como entrada. Ela produz distribuições sobre ações do ambiente, opções e durações de opção. Isso permite passadas em lote (batched forward passes) através de todas as políticas simultaneamente.
• Wrapper de Ambiente: Um wrapper no lado do ator (actor-side) rastreia o índice da política ativa, gerencia a troca de políticas com base em condições de término e computa recompensas específicas de opção. Ele duplica observações quando o controlador é chamado para garantir que a opção selecionada receba a entrada de estado correta.
• Computação Paralela de Retornos: O trabalhador do aprendiz (learner worker) computa vantagens e alvos de valor para todas as políticas simultaneamente usando operações tensorizadas. Ao iterar para trás através da dimensão do tempo e usar índices de política para rotear recompensas, o sistema computa retornos para lotes de políticas mistas em uma única passada. Correções V-trace são aplicadas para lidar com dados off-policy de atores assíncronos.

Resultados Chave

Os autores avaliam o SOL em três ambientes: MiniHack, NetHack e Mujoco (PointMaze).

• Vazão: No Ambiente de Aprendizado NetHack (NLE), o SOL alcança uma vazão de 43.000 passos/segundo, representando um aceleração de 35x a 580x comparado a métodos hierárquicos existentes (HIRO, Option-Critic, MOC, Hierarchical RLLib). Ele retém 86% da vazão de um agente APPO plano.
• Desempenho no NetHack: Treinado em 30 bilhões de quadros, o SOL supera significativamente agentes planos (APPO) e outras bases hierárquicas.
  • No ambiente NetHackScore, o SOL melhora consistentemente e supera agentes planos.
  • Quando combinado com Motif (um sintetizador de recompensa intrínseca baseado em LLM), o SOL+Motif estabelece um novo estado da arte no NetHackScore.
  • Estudos de ablação confirmam que tanto a estrutura hierárquica quanto as recompensas de opção específicas são necessárias; agentes hierárquicos treinados apenas em recompensas de tarefa (SOL+HiPPO) falham em superar bases planas.
• Atribuição de Crédito no MiniHack: Em ZombieHorde (exigindo trade-offs entre cura e combate) e TreasureDash (exigindo equilíbrio entre coleta de ouro e fuga), agentes planos e agentes planos com recompensas de opção falham em escapar de ótimos locais. O SOL aprende com sucesso a coordenar opções distintas (por exemplo, uma opção "Saúde" para cura e uma opção "Pontuação" para combate) para alcançar desempenho quase ótimo.
• Controle Contínuo: Em um G-maze personalizado (PointMaze) projetado para prender agentes em ótimos locais devido a uma paisagem de recompensa enganosa, o SOL é o único método a fazer progresso (atingindo ~70% de sucesso), enquanto agentes planos e outros métodos hierárquicos permanecem com zero sucesso.
• Descoberta Automática de Recompensa: O artigo demonstra que o SOL é compatível com métodos de síntese automática de recompensa como DIAYN. O SOL+DIAYN aprende políticas eficazes sem recompensas de opção codificadas manualmente, embora convirja ligeiramente mais lento do que a versão com recompensas artesanais.

Significado e Alegações

O artigo alega apresentar o primeiro algoritmo de RL hierárquico online capaz de escalar para bilhões de amostras. Seu significado reside em fechar a lacuna entre os benefícios teóricos da hierarquia e os requisitos práticos do treinamento moderno em grande escala.

• Escalabilidade: O trabalho demonstra que o RL hierárquico pode ser tornado computacionalmente eficiente o suficiente para competir com o RL plano em termos de vazão, permitindo o treinamento de agentes em conjuntos de dados ordens de magnitude maiores do que anteriormente possível para HRL.
• Necessidade de Hierarquia + Recompensas: Os experimentos sugerem que, para problemas difíceis de atribuição de crédito, a hierarquia sozinha é insuficiente; ela deve ser combinada com recompensas intrínsecas úteis (seja codificadas manualmente ou aprendidas) para desbloquear ganhos de desempenho.
• Aplicabilidade Geral: O método mostrou-se eficaz em ambientes discretos e de fim aberto (NetHack) e em tarefas de controle contínuo (Mujoco), indicando seu potencial como uma estrutura de propósito geral para tomada de decisão de longo horizonte.

Os autores observam que, embora o sistema seja otimizado para eficiência computacional em regimes ricos em amostras (como videogames e simuladores), ele não é atualmente otimizado para eficiência de amostra em cenários com escassez de dados. Trabalhos futuros são sugeridos para explorar métodos gerais para aprender recompensas de opção e potencialmente integrar esses designs escaláveis em estruturas de RL baseadas em modelo.