Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning

Resumo Técnico: SuperIgor

1. O Problema

O artigo aborda o desafio de seguir instruções (instruction-following) em ambientes complexos, dinâmicos e parcialmente observáveis (como o CrafText, baseado em Minecraft).

• Limitações das abordagens atuais:
  • Baseadas em Demonstração: Dependem de grandes quantidades de dados de demonstração de especialistas, o que é caro e pouco escalável.
  • Aprendizado por Reforço (RL) Puro: Enfrentam dificuldades em ambientes com recompensas esparsas e atrasadas, especialmente em tarefas de longo horizonte onde a instrução natural precisa ser "aterrada" (grounded) em comportamentos específicos.
  • Planejamento Pré-definido: Métodos existentes que usam LLMs para planejamento geralmente assumem um conjunto finito e pré-definido de subobjetivos ou habilidades, limitando a generalização para novos ambientes ou tarefas não vistas.
• O Desafio Central: Como aprender uma política de baixo nível para seguir instruções em ambientes sem habilidades pré-definidas e sem anotação manual de dados, lidando com a complexidade de decompor tarefas e atribuir crédito em cenários de recompensa esparsa?

2. Metodologia: O Framework SuperIgor

O SuperIgor é um framework de aprendizado co-adaptativo que integra um Modelo de Linguagem (LLM) para planejamento de alto nível e um Agente de Aprendizado por Reforço (RL) para execução de baixo nível. A inovação central é um mecanismo de auto-aprendizagem iterativa que elimina a necessidade de anotação manual.

O processo ocorre em ciclos iterativos com quatro etapas principais:

1. Geração de Planos (Plan Generation):

   • O LLM (inicialmente em zero-shot) extrai subtarefas e gera planos estruturados a partir de instruções naturais.
   • Utiliza uma Ontologia de Subtarefas: O sistema constrói um banco de subtarefas normalizado e um grafo de dependências (ontologia) para garantir consistência e evitar contradições nos planos gerados.
   • Os planos são expandidos para incluir pré-requisitos necessários, transformando instruções vagas em sequências de ações executáveis.

2. Aprendizado da Política (Policy Learning):

   • Um agente RL (treinado com PPO - Proximal Policy Optimization) executa os planos gerados.
   • Desafio da Recompensa Esparsa: O agente só recebe recompensa ao completar a tarefa inteira. Para resolver isso, o SuperIgor introduz o Skill Curriculum Learning (Currículo de Habilidades).
   • Mecanismo de Currículo: O treinamento começa com tarefas de uma única subhabilidade. À medida que o agente domina uma subtask (atingindo uma taxa de sucesso $\tau$), o currículo expande automaticamente para incluir planos que combinam habilidades dominadas com uma nova habilidade não dominada. Isso cria um gradiente de aprendizado suave.

3. Validação de Planos (Plan Validation):

   • A qualidade de cada plano candidato é avaliada executando o agente RL múltiplas vezes (com diferentes sementes) para calcular uma taxa de sucesso média robusta.

4. Ajuste Fino do LLM (LLM Fine-Tuning):

   • O feedback do agente RL (sucesso/falha dos planos) é usado para refinar o LLM.
   • Utiliza Otimização Direta de Preferência (DPO). O modelo aprende a priorizar planos que o agente RL consegue executar com sucesso, alinhando a distribuição de geração de planos com a capacidade real de execução do agente.
   • Isso cria um ciclo de feedback onde o planejador melhora os planos com base na experiência do executor, e o executor melhora sua política com base em planos mais viáveis.

3. Contribuições Principais

1. Novo Paradigma de Treinamento Auto-supervisionado: Propõe um método onde planos de alto nível são gerados e refinados pela interação entre LLM e RL, sem necessidade de datasets anotados manualmente.
2. Currículo de Habilidades para Recompensas Esparsas: Introduz uma estratégia de currículo dinâmico que permite ao agente aprender comportamentos complexos em ambientes com recompensas extremamente esparsas, superando o problema de atribuição de crédito.
3. Desempenho de Estado da Arte (SOTA): Implementação e validação no benchmark CrafText (ambiente multimodal, dinâmico e parcialmente observável), demonstrando robustez em tarefas fora da distribuição (OOD).
4. Generalização Superior: O framework demonstra capacidade de generalizar para instruções com novas combinações de objetivos e variações linguísticas (paráfrases), superando métodos baseados apenas em instruções ou planos de especialistas fixos.

4. Resultados Experimentais

Os experimentos foram conduzidos no ambiente CrafText com o dataset FOCUS (900+ instruções).

• Eficácia e Generalização (RQ1):

  • Agentes SuperIgor alcançaram taxas de sucesso significativamente maiores (0.34–0.44 em tarefas atômicas; 0.21 em tarefas combinadas) comparados a baselines de RL sem planejamento (0.10–0.19).
  • Generalização: Em tarefas com novos objetos (combinações nunca vistas), o SuperIgor manteve uma performance mais estável do que agentes treinados com planos de especialistas (Oracle). Enquanto o "Oracle" caiu drasticamente em tarefas OOD, o SuperIgor degradou-se de forma mais moderada, sugerindo que aprender com múltiplos planos alternativos gera uma representação mais robusta.
  • Paráfrases: O sistema manteve a performance mesmo quando as instruções eram reescritas com vocabulário diferente, demonstrando robustez linguística.

• Treinamento com Feedback Esparsa (RQ2):

  • O Skill Curriculum Learning foi crucial. Agentes com currículo dominaram 14 subtasks distintas, enquanto agentes sem currículo (mesmo com planos perfeitos) dominaram apenas 5.
  • A qualidade do plano gerado pelo LLM é crítica; planos de baixa qualidade impedem o aprendizado, mesmo com um bom currículo.

• Evolução Iterativa (RQ3):

  • Ao longo de dois ciclos de treinamento, a performance do agente melhorou consistentemente (ex: de 0.34 para 0.43 em tarefas atômicas).
  • O uso de DPO para reordenar planos acelerou o aprendizado no segundo ciclo, mostrando que o alinhamento progressivo entre o planejador e o executor é eficaz.

• Estudos de Ablação:

  • A combinação de Geração de Planos Baseada em Ontologia + Currículo foi essencial. Sem a ontologia estruturada, o currículo falhou.
  • O ajuste fino com DPO superou métodos baseados em recompensa direta (como GRPO) para o refinamento do planejador, pois o objetivo é classificar planos (ranking) e não otimizar valores absolutos de recompensa.

5. Significado e Impacto

O trabalho SuperIgor representa um avanço significativo na área de agentes de IA para o mundo real e simulado:

• Escalabilidade: Remove a dependência de anotação humana massiva, permitindo que agentes aprendam a seguir instruções complexas apenas interagindo com o ambiente.
• Robustez em Ambientes Abertos: Demonstra que é possível operar em ambientes dinâmicos e parcialmente observáveis (como jogos de mundo aberto) sem depender de habilidades pré-definidas ou subobjetivos fixos.
• Sinergia LLM-RL: Estabelece um novo padrão de como LLMs e RL podem ser co-treinados, onde o LLM atua não apenas como um gerador estático, mas como um componente adaptativo que aprende com as falhas e sucessos do agente físico/virtual.

Em suma, o SuperIgor oferece uma solução viável para o problema de "aterramento" (grounding) de linguagem em comportamentos complexos de longo prazo, superando as limitações de métodos puramente baseados em demonstração ou em RL puro.