Resumo Técnico: How2 – Aprendizado a partir de Perguntas Procedimentais "Como Fazer"

Declaração do Problema

Agentes operando em ambientes interativos frequentemente enfrentam problemas de planejamento nos quais carecem do conhecimento procedimental necessário para completar tarefas específicas. Embora assistentes de IA possam fazer perguntas esclarecedoras para resolver ambiguidades, raramente solicitam conhecimento procedimental (por exemplo, "Como faço X?") para preencher lacunas de conhecimento para planejamento futuro. O desafio reside na natureza aberta das perguntas "como fazer": respostas válidas variam de descrições de alto nível de sub-objetivos a sequências de ações totalmente executáveis. Essa variabilidade torna difícil para os agentes fazerem as perguntas certas e para os "professores" (humanos ou oráculos) fornecerem respostas que sejam simultaneamente imediatamente úteis e reutilizáveis para aprendizado ao longo da vida. Especificamente, respostas fortemente acopladas ao estado atual (por exemplo, slots específicos de inventário) frequentemente não são generalizáveis para novos estados, impedindo a autonomia de longo prazo.

Metodologia

Os autores propõem o How2, um quadro de agente orientado a memória projetado para aprendizado ao longo da vida em ambientes interativos. O sistema opera dentro do Plancraft, um ambiente de fabricação baseado em Minecraft onde os agentes devem manipular itens de inventário para montar objetos alvo.

Quadro Central

O How2 integra um agente, um professor e um módulo de memória através do seguinte fluxo de trabalho:

1. Recuperação de Memória: O agente primeiro consulta um armazenamento de memória usando uma ferramenta read-memory com uma consulta $\theta$ (por exemplo, o nome de uma receita). A memória é um armazenamento de chave-valor onde os valores são conjuntos de entradas de memória.
2. Verificação de Relevância: Se entradas existirem, uma verificação de relevância baseada em LLM determina se a memória armazenada se aplica ao estado atual do jogo ($o_t$).
3. Geração de Pergunta: Se nenhuma memória relevante for encontrada (um erro de cache), o agente gera uma pergunta procedimental "como fazer" ($q_\theta$) condicionada à observação atual.
4. Resposta do Professor: Um modelo de professor ($T$) responde à pergunta. O artigo avalia quatro tipos distintos de professores baseados no nível de abstração de suas respostas:
   • Executável: Fornece sequências de ações totalmente fundamentadas, passo a passo (por exemplo, "Mova de I12 para A1").
   • Parcialmente Executável: Remove detalhes específicos do estado (por exemplo, "Mova o vidro para A1"), mas permanece como uma lista plana de ações.
   • Sub-objetivo Parcialmente Executável: Estrutura o plano em sub-objetivos hierárquicos (por exemplo, "Derreta o vidro" seguido por "Fabrique a garrafa"), agrupando ações em receitas identificáveis.
   • Não Executável: Fornece descrições de linguagem natural de alto nível e não fundamentadas usando padrões e formas (por exemplo, "Arranje os itens em forma de V"), abstraindo completamente nomes de slots específicos.
5. Análise e Armazenamento: O módulo ParseAnswer do agente processa a resposta do professor. Ele abstrai detalhes específicos do estado (substituindo IDs de slots específicos por nomes de itens) e gera tags. A entrada generalizada é armazenada na memória sob a consulta original e tags associadas.

Configuração Experimental

Os autores avaliaram o quadro usando os modelos Llama 3.3 70B e Qwen 3 32B. Eles introduziram duas divisões de conjunto de dados para testar capacidades de aprendizado ao longo da vida:

• Baixa Repetição: O conjunto de validação original do Plancraft com 347 tarefas únicas.
• Alta Repetição: Uma nova divisão com 107 tarefas únicas repetidas em 570 exemplos, projetada para testar a reutilização de conhecimento.

A avaliação comparou o quadro completo How2 contra ablações:

• Apenas Pergunte: Uma configuração de oráculo onde o professor responde a cada consulta sem armazenamento de memória (limite superior).
• Apenas Memória: Usando memória sem análise ou verificações de relevância.
• Análise/Relevância: Componentes individuais do quadro completo.

Contribuições Principais

1. O Quadro How2: Uma arquitetura nova que permite aos agentes aprender conhecimento procedimental fazendo perguntas, armazenando respostas e reutilizando-as através de um módulo de memória.
2. Análise de Níveis de Abstração: Uma investigação sistemática sobre como a granularidade das respostas dos professores (de executáveis a não executáveis) impacta tanto o sucesso imediato da tarefa quanto a reutilizabilidade de longo prazo.
3. Identificação de Trade-off: A identificação de um trade-off crítico entre a utilidade imediata de uma resposta e sua reutilizabilidade de longo prazo.

Resultados

Os experimentos produziram várias descobertas principais:

• Utilidade Imediata vs. de Longo Prazo:

  • Professores Executáveis alcançaram as taxas de sucesso mais altas na configuração "Apenas Pergunte" (0,59), confirmando que são mais eficazes para execução imediata.
  • No entanto, quando reutilizados na configuração Apenas Memória, planos executáveis sofreram uma queda dramática de desempenho (de 0,58 para 0,32 na divisão de alta repetição) devido ao seu forte acoplamento com estados específicos.
  • Respostas Abstratas (Sub-objetivo Parcialmente Executável e Não Executável) mostraram reutilizabilidade significativamente maior. Seu desempenho caiu apenas ~9% ao passar das configurações "Apenas Pergunte" para "Memória".

• Eficácia da Abstração:

  • O professor Sub-objetivo Parcialmente Executável consistentemente superou o professor Parcialmente Executável plano, apoiando a hipótese de que estruturar respostas em sub-objetivos melhora a eficácia da memória.
  • O módulo Análise foi crucial para tornar planos executáveis reutilizáveis, melhorando sua taxa de sucesso na divisão de alta repetição de 0,32 para 0,44.

• Desempenho do Quadro Completo:

  • O quadro completo How2 (integrando memória, análise e verificações de relevância) alcançou uma taxa de sucesso de 0,52 na configuração de alta repetição.
  • Crucialmente, isso foi alcançado com uma taxa de intervenção 42% menor (0,53) em comparação com o oráculo "Apenas Pergunte" (0,92), demonstrando que o agente reutilizou com sucesso conhecimento armazenado em vez de consultar constantemente o professor.
  • O quadro permitiu que agentes usando professores Não Executáveis (que são os mais difíceis de fundamentar) alcançassem taxas de sucesso (0,53) próximas às de agentes com professores totalmente executáveis, fundamentando efetivamente instruções abstratas através dos módulos de análise e relevância.

• Variações de Modelo:

  • Experimentos com o modelo de raciocínio Qwen 3 32B mostraram tendências semelhantes, embora o modelo tenha utilizado a ação de memória com menos frequência. Curiosamente, o professor Não Executável performou melhor com o Qwen 3, sugerindo que capacidades de raciocínio podem lidar melhor com instruções abstratas e não fundamentadas.

Significado e Alegações

O artigo alega que o How2 fornece um mecanismo viável para agentes baseados em LLM melhorarem capacidades de planejamento ao longo do tempo em ambientes interativos sem ajuste fino. O significado principal reside em demonstrar que abstrair conhecimento de perguntas "como fazer" é essencial para um aprendizado ao longo da vida eficaz.

Enquanto instruções diretas e executáveis são ótimas para resolver uma única instância de uma tarefa, elas falham em generalizar. Por outro lado, respostas abstratas (sub-objetivos ou padrões de alto nível), quando combinadas com um mecanismo de análise e verificação de relevância, permitem que os agentes construam uma base de conhecimento robusta e reutilizável. Isso reduz a dependência de supervisão externa (intervenções do professor) enquanto mantém altas taxas de sucesso em tarefas, efetivamente fechando a lacuna entre a resolução imediata de problemas e a aquisição de habilidades de longo prazo. Os autores concluem que aprender a partir de perguntas procedimentais é uma estratégia poderosa para agentes operando em domínios interativos e restritos.