Resumo Técnico: Aprendizado Conjunto de Opções Neurais Hierárquicas e Modelo Abstrato de Mundo (AgentOWL)

1. Declaração do Problema

O artigo aborda o desafio de permitir que agentes de tomada de decisão adquiram cumulativamente novas habilidades através da composição de habilidades existentes. Embora o framework de opções formalize isso como o aprendizado de uma hierarquia de políticas (opções) que alcançam objetivos cada vez mais difíceis, as abordagens padrão de aprendizado por reforço hierárquico sem modelo (model-free) sofrem de baixa eficiência de amostragem. À medida que o número de habilidades adquiridas cresce, o espaço de ações efetivo expande-se, tornando o aprendizado da política cada vez mais intensivo em dados e intratável para novos objetivos.

O problema central é uma compensação: aprender novas habilidades rapidamente versus o número de habilidades já adquiridas. Os métodos sem modelo padrão exigem exponencialmente mais amostras à medida que o aprendizado progride. Os autores propõem que o aprendizado por reforço baseado em modelo (model-based) pode resolver isso ao usar um modelo de mundo para planejar e descartar opções antes da execução no mundo real. No entanto, as abordagens existentes de modelagem de mundo frequentemente carecem da eficiência de dados necessária para aprender dinâmicas complexas a partir de amostras limitadas, ou falham em fornecer as abstrações temporais e de estado necessárias para tornar o planejamento tratável.

2. Metodologia: AgentOWL

Os autores propõem o AgentOWL (Agente de Aprendizado de Opções e Modelo de Mundo), um sistema que aprende conjuntamente um conjunto de opções neurais hierárquicas e um modelo de mundo abstrato de maneira eficiente em termos de amostragem.

2.1 Modelagem de Mundo Abstrato

O sistema emprega um framework Produto de Especialistas (PoE-World) para aprender um modelo de mundo que abstrai tanto estados quanto tempo.

• Abstração de Estado: Em vez de prever transições de pixels brutos, o modelo prevê estados abstratos futuros definidos por predicados de objetivo $f(s) = (g_1(s), g_2(s), \dots)$. Isso reduz a dimensionalidade da tarefa de previsão.
• Representação Simbólica: O modelo de mundo é representado como um produto de especialistas, onde cada especialista é um curto programa simbólico (trecho de código Python) gerado por um Modelo de Linguagem de Grande Escala (LLM). Esses programas modelam mecanismos causais independentes.
• Priori de Axioma de Quadro: Para manter a eficiência de amostragem, o modelo incorpora uma "priori de axioma de quadro". Isso viésa o modelo a acreditar que uma opção $o_i$ altera primariamente seu recurso correspondente $f_i$ e não altera outros recursos $f_j$ ($j \neq i$). Isso é implementado via estimativa de Máxima A Posteriori (MAP) com priores Gaussianos, reduzindo significativamente os dados necessários para aprender as dinâmicas de transição.
• Reconstrução: Como o modelo abstrato prevê $p(f' | s)$, um estimador de densidade de kernel (função de ponderação) é usado heurísticamente para amostrar estados completos $s'$ a partir de estados abstratos $f'$, permitindo que o agente interaja com um ambiente simulado sem aprender um modelo generativo paramétrico completo.

2.2 Aprendizado Conjunto de Opções Hierárquicas

O AgentOWL treina iterativamente para dominar uma sequência de objetivos $\{g_1, \dots, g_n\}$ aprendendo as opções correspondentes $\{o_1, \dots, o_n\}$.

• Hipótese de Sub-opção Baseada em LLM: Quando um agente precisa alcançar um novo objetivo alvo $g$, mas carece de uma opção direta, um LLM é solicitado a hipotetizar uma nova sub-opção $o_{h \to g}$. O LLM seleciona um pré-requisito $h$ (um sub-objetivo previamente aprendido) do conjunto existente de opções $\Omega$ que poderia servir como pedra fundamental. Essa nova opção e seu modelo de mundo hipotético são adicionados ao sistema.
• Exploração Baseada em Modelo: O agente aprende uma política $\pi_{wm}$ dentro do modelo de mundo abstrato usando Deep Q-Learning (DQN). Essa política serve como um guia de exploração para a política do mundo real $\pi_{real}$. A política combinada é definida como $\pi(a|s) = (1-\epsilon)\pi_{real}(a|s) + \epsilon\pi_{wm}(a|s)$. A taxa de exploração $\epsilon$ é resfriada de 1 para 0, permitindo que o agente transicione do planejamento baseado em modelo para o aprendizado totalmente sem modelo à medida que a política do mundo real se estabiliza.
• Treinamento Hierárquico Estável: Para mitigar a não estacionariedade causada pelo treinamento de opções de nível inferior (o que altera o ambiente visto pelas opções de nível superior), o sistema emprega um mecanismo de estabilização. Dados de episódios são adicionados ao buffer de replay para treinamento apenas se todas as sub-opções executadas naquele episódio forem "estáveis" (ou seja, foram treinadas em amostras suficientes $n > n_{threshold}$ e possuem uma alta taxa de conclusão de objetivo $\delta > \delta_{threshold}$).

3. Contribuições Principais

1. Framework AgentOWL: Uma arquitetura inovadora que aprende conjuntamente opções neurais hierárquicas e um modelo de mundo abstrato, permitindo aquisição de habilidades eficiente em amostragem.
2. Modelo de Mundo Abstrato com Programas Simbólicos: A integração do PoE-World com programas simbólicos gerados por LLMs permite aprender dinâmicas complexas e temporalmente abstratas a partir de muito poucos dados, superando a "armadilha de um passo" de modelos de baixo nível.
3. Descoberta de Opções Impulsionada por LLM: Um método para usar LLMs para hipotetizar novas sub-opções (pré-condições) com base em habilidades existentes, automatizando efetivamente o currículo de aquisição de habilidades sem exigir engenharia manual de sub-objetivos.
4. DQN Hierárquico Estável: Um procedimento de treinamento que estabiliza o aprendizado de hierarquias profundas de opções filtrando dados com base na estabilidade das sub-opções, abordando o problema de não estacionariedade inerente ao RL hierárquico.

4. Resultados Experimentais

O método foi avaliado em três jogos do Atari centrados em objetos (OCAtari) conhecidos por exploração difícil: Montezuma's Revenge, Pitfall e Private Eye.

• Eficiência de Aquisição de Habilidades: O AgentOWL dominou uma fração significativamente maior de opções usando menos etapas de ambiente em comparação com baselines, incluindo Rainbow DQN, DQN condicionado a objetivo e DQN Hierárquico (sem o modelo de mundo). Enquanto as baselines estagnaram em um baixo número de habilidades dominadas, o AgentOWL continuou a adquirir habilidades complexas.
• Generalização para Objetivos Difíceis: A análise qualitativa mostrou que as baselines falharam em adquirir opções para objetivos difíceis (por exemplo, alcançar salas específicas em Pitfall) porque não conseguiam descobrir as necessárias sequências longas de ações. O AgentOWL planejou com sucesso essas sequências de forma abstrata e executou-as hierarquicamente.
• Aprendizado Implícito: Experimentos demonstraram que o AgentOWL melhora implicitamente as sub-opções mesmo quando recompensado apenas por um objetivo de nível superior. Sub-opções úteis para o objetivo alvo mostraram taxas de sucesso aumentadas, enquanto as irrelevantes não.
• Generalização Zero-Shot: Em um experimento com estado inicial novo, o AgentOWL pôde compor opções existentes para alcançar objetivos previamente dominados sem treinamento adicional, desde que lhe fosse dada uma única nova opção para navegar do novo início até o estado inicial original. As baselines que careciam do modelo de mundo abstrato e da composição hierárquica falharam em adaptar-se zero-shot.

5. Significado e Alegações

O artigo alega que o aprendizado de opções e o aprendizado de modelos de mundo estão profundamente interligados. Ao aprender um modelo de mundo abstrato que captura os efeitos das opções, o agente pode planejar com eficiência, o que, por sua vez, facilita a descoberta e o refinamento de novas habilidades.

Os autores enfatizam que o AgentOWL demonstra:

• Eficiência de Amostragem: Alcançar hierarquias complexas de habilidades com significativamente menos dados do que as baselines sem modelo.
• Generalização Composicional: A capacidade de combinar habilidades aprendidas para resolver problemas novos (generalização zero-shot) e aprender implicitamente sub-habilidades necessárias para objetivos de nível superior.
• Escalabilidade do Planejamento: O uso de modelos abstratos e temporalmente estendidos permite o planejamento sobre horizontes longos que seriam intratáveis para modelos de baixo nível.

O artigo conclui que, embora existam limitações atuais (como a necessidade de sequências ordenadas de objetivos e entradas simbólicas), a abordagem destaca uma direção promissora para construir agentes que possam expandir cumulativamente seu conhecimento e capacidades através da interação entre aquisição de habilidades e modelagem de mundo.