Resumo Técnico: Modelagem de Recompensa e Mascaramento de Ações para Tarefas Compostas usando Árvores de Comportamento e LLMs

1. Declaração do Problema

Agentes autônomos frequentemente enfrentam tarefas complexas que exigem a decomposição de um objetivo de alto nível em uma sequência de subtarefas mais simples, como navegar até um objeto, manipulá-lo e prosseguir para um objetivo. Embora o Aprendizado por Reforço (RL) possa otimizar políticas para essas subtarefas, ele sofre de baixa eficiência de amostragem sem funções de recompensa bem definidas e máscaras de ação. Projetar manualmente esses componentes é desafiador porque requer:

1. Identificar subtarefas apropriadas.
2. Garantir reatividade a falhas de subtarefas (por exemplo, se um agente deixa cair uma chave, ele deve retroceder para pegá-la novamente em vez de prosseguir).
3. Manter modularidade entre objetos de tarefa variados (por exemplo, a mesma lógica deve aplicar-se independentemente de o objeto ser uma "chave vermelha" ou uma "chave azul").

Abordagens automatizadas existentes que usam Modelos de Linguagem de Grande Escala (LLMs) ou Modelos Visão-Linguagem (VLMs) frequentemente geram código de recompensa ou máquinas de estado finito, mas falham em abordar plenamente a reatividade a falhas, a modularidade para tarefas compostas ou a otimização conjunta de recompensa e mascaramento de ações.

2. Metodologia

Os autores propõem Árvores de Comportamento de Recompensa com Mascaramento (MRBTs), uma estrutura simbólica que serve tanto como função de modelagem de recompensa quanto como função de mascaramento de ações. A metodologia integra três componentes principais: um modelo de árvore de comportamento, especificações lógicas para verificação e um pipeline automatizado usando um LLM e um solucionador SMT.

2.1. Árvore de Comportamento de Recompensa com Mascaramento (MRBT)

Uma MRBT é uma Árvore de Comportamento (BT) onde os nós folha são Máquinas de Recompensa de Comportamento com Mascaramento (MBRMs).

• Estrutura: A BT coordena a execução por meio de nós de controle (Sequência → e Fallback ?).
• Folhas: Cada folha é uma MBRM que produz uma recompensa escalar e uma máscara de ação discreta com base no estado e na tarefa do agente.
• Reatividade: A estrutura da BT permite retrocesso. Se uma subtarefa falhar (por exemplo, uma interação falha), a BT reverte para um estado anterior, garantindo que o agente tente novamente o passo necessário em vez de receber uma recompensa por uma sequência incompleta.
• Modularidade: A MRBT usa espaços reservados para subtarefas e fórmulas lógicas, permitindo que se adapte a diferentes atributos de objetos (por exemplo, cores) dentro de um espaço de tarefa definido.

2.2. Modelo de MRBT

Os autores projetam um modelo específico para tarefas sequenciais de interação com objetos. Para uma sequência de $k$ subtarefas, o modelo inclui:

• Fórmulas Lógicas: Para cada subtarefa $i$, define-se uma fórmula de conclusão ($\psi_i$) e uma fórmula de proximidade do objeto ($\phi_i$).
• Máscaras de Ação: Duas máscaras por subtarefa: $\eta_{i,1}$ para navegação e $\eta_{i,2}$ para interação.
• Lógica de Execução: A BT executa uma sequência de MBRMs. Se uma subtarefa estiver concluída, avança para a próxima; se o agente estiver próximo ao objeto, habilita a interação; caso contrário, habilita a navegação. Se uma subtarefa falhar (transição de estado para Falha), a BT retrocede.

2.3. Pipeline Automatizado de Geração e Verificação

Para automatizar a criação de MRBTs, os autores desenvolveram um pipeline (Figura 1) envolvendo:

1. Geração por LLM: Um LLM (ChatGPT-5) recebe como entrada uma descrição da tarefa, o modelo de MRBT e predicados do ambiente. Ele gera as subtarefas específicas, fórmulas lógicas ($\psi_i, \phi_i$) e máscaras de ação ($\eta_{i,1}, \eta_{i,2}$).
2. Verificação por SMT: Um modelo simbólico da dinâmica do ambiente ($E_{sym}$) é construído em um solucionador SMT (Z3). O solucionador verifica as fórmulas lógicas geradas contra três especificações:
   • Correção de Conclusão: Garante que, se a tarefa final estiver concluída, todas as subtarefas foram concluídas.
   • Proximidade do Objeto: Garante que o agente esteja próximo ao objeto imediatamente antes da conclusão da subtarefa.
   • Recompensa Máxima Não Regressiva: Garante que, uma vez concluída uma subtarefa, ela permaneça concluída (sem regressão) para alcançar a recompensa máxima.
3. Refinamento: Se o solucionador SMT encontrar um contraexemplo (por exemplo, uma trajetória onde o agente conclui a tarefa sem satisfazer uma condição de subtarefa), ele gera um prompt de depuração. O LLM é re-promptado com esse contraexemplo para refinar as fórmulas lógicas até que sejam satisfatórias.
4. Treinamento Neurosimbólico de RL: A MRBT verificada é integrada em um loop neurosimbólico de RL (usando PPO) para treinar o agente. A MRBT fornece o sinal de recompensa e restringe o espaço de ações a cada passo.

3. Contribuições Principais

1. Estrutura MRBT: Introdução de uma estrutura simbólica que produz conjuntamente recompensas e máscaras de ação, projetada especificamente para reatividade e modularidade em tarefas compostas.
2. Modelo e Especificações de MRBT: Um modelo sistemático para construir MRBTs para tarefas sequenciais de interação com objetos, acompanhado de especificações lógicas para verificar a correção (conclusão, proximidade e não regressão) usando um solucionador SMT.
3. Pipeline Automatizado: Um sistema que usa um LLM para gerar MRBTs e um solucionador SMT para verificá-las e refiná-las, garantindo robustez em um espaço de tarefa com objetos variados.
4. Avaliação Abrangente: Experimentos em cinco espaços de tarefa em dois ambientes (MiniGrid e MuJoCo Fetch) sob dinâmicas determinísticas e estocásticas.
5. Análise de Vantagens: Demonstração da transferibilidade das MRBTs (para AirSim), modularidade (escalando melhor do que Máquinas de Recompensa Hierárquicas) e verificabilidade (garantias teóricas via Z3).

4. Resultados Experimentais

Os autores avaliaram a abordagem MRBT contra duas linhas de base:

• Tarefa: Uma recompensa binária dada apenas na conclusão total da tarefa.
• Procedimento: Uma máquina de recompensa baseada em VLM-CaR que concede recompensas pela conclusão de subtarefas, mas carece de retrocesso reativo e mascaramento de ações.
• RBT (Ablação): Uma MRBT sem mascaramento de ações.

Principais Descobertas:

• Eficiência de Treinamento e Sucesso: As MRBTs alcançaram consistentemente maior eficiência de treinamento e taxas de sucesso de tarefa em comparação com as linhas de base e a ablação RBT.
• Gerenciamento de Complexidade: No espaço de tarefa mais complexo (LockedRoom, 4 subtarefas, 36 variantes), as MRBTs alcançaram uma taxa média de sucesso de $\ge 80\%$, enquanto as linhas de base alcançaram $\le 70\%$.
• Estocasticidade: As MRBTs mantiveram alto desempenho em ambientes estocásticos (por exemplo, chaves caindo aleatoriamente), demonstrando o valor do retrocesso reativo.
• Transferibilidade: Políticas treinadas com MRBTs no MiniGrid transferiram-se com sucesso para um simulador realista de quadricóptero (AirSim), alcançando uma taxa de sucesso de 97% em configurações determinísticas e 94% em configurações estocásticas, superando todas as ablações.
• Modularidade: A estrutura MRBT escala de forma mais modular do que Máquinas de Recompensa Hierárquicas (HRMs); adicionar uma subtarefa a uma MRBT requer armazenamento $O(1)$, enquanto as HRMs requerem armazenamento $O(k)$ para arestas de retorno.
• Verificação: O solucionador SMT refinou com sucesso fórmulas lógicas geradas (por exemplo, corrigindo limiares de proximidade ou condições de persistência) em menos de 10 minutos para a maioria das tarefas.

5. Significado e Alegações

O artigo alega que as MRBTs oferecem uma solução robusta para automatizar a modelagem de recompensa e o mascaramento de ações em tarefas compostas. O significado reside em três vantagens principais:

1. Transferibilidade: A natureza simbólica das MRBTs permite que políticas treinadas em simulação sejam transferidas eficazmente para simuladores realistas (AirSim) e objetos de tarefa variados.
2. Modularidade: Diferentemente de máquinas de estado finito ou máquinas de recompensa, a estrutura de árvore das MRBTs permite escalabilidade e modificação mais fáceis à medida que a complexidade da tarefa aumenta.
3. Verificabilidade: Ao integrar solucionadores SMT, a abordagem fornece garantias teóricas de que a lógica de recompensa e máscara de ação está correta em relação às especificações da tarefa, uma característica ausente em abordagens puramente baseadas em dados ou demonstração.

Os autores concluem que, embora a abordagem exija um solucionador SMT para verificação, as MRBTs resultantes melhoram significativamente a eficiência de aprendizado e o sucesso da tarefa, particularmente em ambientes complexos e multi-etapa onde a reatividade a falhas é crítica. Trabalhos futuros são notados para explorar a generalização do modelo de MRBT ainda mais.