Resumo Técnico: Bootstrapping de Agentes Cognitivos com um Modelo de Linguagem de Grande Escala

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) possuem um vasto, embora ruidoso, conhecimento geral do mundo, mas sofrem de limitações como a suscetibilidade a ataques adversários, alucinações e retornos decrescentes no escalonamento. Por outro lado, arquiteturas cognitivas oferecem excelente interpretabilidade, flexibilidade para atualizações e raciocínio estruturado através de memórias declarativas e procedimentais; no entanto, tradicionalmente exigem um trabalho manual extensivo para instanciar regras de produção, oando sua aplicação a ambientes simples. O desafio central abordado é como aproveitar o conhecimento codificado nos LLMs para realizar o bootstrapping de arquiteturas cognitivas sem herdar a falta de interpretabilidade do LLM ou a dependência da arquitetura cognitiva em relação à criação manual de regras.

Metodologia

Os autores propõem um framework que combina LLMs com uma arquitetura cognitiva customizada para criar um agente incorporado (embodied) capaz de realizar tarefas de cozinha. O sistema opera em um ciclo de "percepção-planejamento-ação", separando a geração de conhecimento da aplicação do conhecimento.

Visão Geral da Arquitetura

O agente consiste em quatro componentes primários:

1. Base de Conhecimento do Mundo: Um dicionário de conhecimento geral (ex: "tomates pertencem à geladeira") derivado de LLMs.
2. Conhecimento do Ambiente: Memória declarativa que reflete o estado atual e as observações do agente (ex: status da garra, conteúdo da mesa).
3. Memória Procedural: Um conjunto de regras de produção (pré-condição $\rightarrow$ efeito) que ditam o comportamento. Diferente dos operadores de planejamento padrão, estas regras refletem o conhecimento contextual e são reforçadas ao longo do tempo.
4. Pilha de Tarefas (Task Stack): Um mecanismo inspirado em ACT-R e SOAR para gerenciar uma hierarquia de tarefas e subtarefas.

Processo de Bootstrapping

O agente aprende através de um currículo de famílias de tarefas (ex: encontrar um/uma <objeto>, fatiar um/uma <objeto>). O processo para uma única tarefa envolve:

1. Instanciação: Variáveis na família de tarefas são preenchidas com objetos concretos do ambiente.
2. Tentativa de Execução: O agente tenta a tarefa usando as regras de produção existentes.
3. Seleção de Ação (Consulta ao LLM): Se nenhuma regra se aplicar ou um ciclo for detectado, o agente consulta o LLM. O prompt inclui a tarefa atual, o resumo do estado e as opções disponíveis. O LLM utiliza o método de Chain-of-Thought (CoT) para analisar estratégias e sugerir uma ação.
4. Geração de Produção: O LLM é consultado novamente para gerar uma regra de produção baseada na ação. Este é um processo de duas etapas:
   • Descrição em Inglês: O LLM generaliza a ação específica em uma regra (ex: "explorar lugares não explorados onde o objeto é comumente armazenado").
   • Geração de Código: O LLM converte a descrição em inglês em código Python executável, aderindo a uma interface específica.
5. Reforço e Melhoria:
   • Verificação: O código gerado é reproduzido contra o estado atual para garantir que as verificações de pré-condição passem.
   • Mecanismo de Crítica: Um LLM crítico analisa as condições de término da tarefa e sugere modificações para evitar o excesso de restrição (condições desnecessárias) ou o excesso de generalização (falta de pré-condições críticas).
   • Atualização de Utilidade: Um sinal de recompensa (recompensa unitária após a conclusão da tarefa) propaga-se através do caminho mais curto das aplicações de produção usando o Bellman backup. Isso atualiza a utilidade das produções, permitindo que o agente priorize regras que levam à conclusão bem-sucedida e resolva conflitos entre regras aplicáveis usando uma estratégia de seleção ótimo-ruidosa.

Distinções Chave

Ao contrário de abordagens que usam LLMs para gerar planos diretos para cada etapa, este framework usa o LLM apenas para gerar regras de produção generalizáveis. Uma vez que uma regra é aprendida, o agente a executa sem nova intervenção do LLM, ancorando o conhecimento na instância específica do ambiente.

Principais Contribuições

1. Framework Híbrido: Uma arquitetura de agente inovadora que integra LLMs para geração de conhecimento com uma arquitetura cognitiva para raciocínio e execução.
2. Bootstrapping do Zero: Uma demonstração de como um agente pode aprender a realizar tarefas de cozinha complexas e de múltiplas etapas (encontrar, fatiar, limpar) começando com o mínimo de entrada humana (apenas nomes de famílias de tarefas).
3. Eficiência e Generalização: Evidência de que o framework requer significativamente menos tokens para operar em novos ambientes em comparação com a consulta a um LLM para cada ação, pois as regras aprendidas são transferíveis.

Resultados Experimentais

O framework foi avaliado no simulador AI2THOR usando três famílias de tarefas: encontrar um/uma <objeto>, fatiar um/uma <objeto> e limpar as bancadas. O agente foi comparado contra um baseline que consulta o LLM para ações em cada etapa (Apenas-Ação).

• Taxa de Sucesso: O agente de bootstrapping alcançou uma taxa de sucesso de 100% (15/15) em todas as instâncias de tarefas, incluindo encontrar objetos inexistentes (onde identificou corretamente que a tarefa era impossível). O baseline de Apenas-Ação falhou em uma instância devido a uma suposição falsa de equivalência entre "caneca" e "copo".
• Eficiência: O agente de bootstrapping exigiu drasticamente menos tokens. Por exemplo, na tarefa fatiar, o agente de bootstrapping utilizou 0 tokens durante os testes (recorrendo a regras aprendidas), enquanto o baseline de Apenas-Ação utilizou mais de 102.000 tokens. Na tarefa encontrar, o agente de bootstrapping utilizou ~917 tokens comparado aos ~54.754 do baseline.
• Diferenças Comportamentais: O agente de bootstrapping exibiu um comportamento mais sistemático, como colocar objetos nas bancadas antes de fatiar ou usar armários individuais para armazenamento, impulsionado por regras de produção específicas aprendidas. O baseline agiu caso a caso, levando às vezes a estratégias menos ótimas (ex: fatiar dentro da geladeira).
• Significância Estatística: Embora o número de etapas tenha sido semelhante para as tarefas encontrar e fatiar, o agente de bootstrapping levou significativamente mais etapas na tarefa limpar (p-valor 0.001) devido a uma regra específica aprendida que impõe o uso de recipientes vazios únicos para cada objeto, enquanto o baseline reutilizou o mesmo recipiente.

Significância e Alegações

O artigo afirma que esta abordagem combina com sucesso o "melhor de dois mundos": o conhecimento rico, porém ruidoso, dos LLMs e a interpretabilidade e flexibilidade de atualização das arquiteturas cognitivas.

• Generalização: O framework demonstra que o conhecimento gerado por um LLM pode ser destilado em regras de produção que se generalizam para novos objetos e ambientes sem necessidade de regeração.
• Custo-Efetividade: Ao desacoplar a geração de conhecimento da execução, o sistema reduz significativamente o custo computacional e o uso de tokens necessários para o implante em novos cenários.
• Interpretabilidade: As regras de produção fornecem uma árvore de decisão verificável, oferecendo explicabilidade sobre a importância das características, processos de aprendizagem e decisões de nível de política.
• Limitações: Os autores reconhecem que o sistema depende de interfaces de baixo nível bem definidas (lacuna sim-to-real) e que o passo de geração de inglês-para-código exige que os processos de tomada de decisão sejam articuláveis, o que pode limitar a aplicabilidade a habilidades que não são facilmente expressas em linguagem (ex: escultura).

O trabalho posiciona-se como uma alternativa aos modelos de fundação puramente orientados a dados, sugerindo um caminho para agentes personalizados onde as regras de produção podem ser explicitamente modificadas para atender a preferências individuais sem necessidade de retreinamento extensivo.