A Pragmatist Robot: Learning to Plan Tasks by Experiencing the Real World

Título: Um Robô Pragmático: Aprendendo a Planejar Tarefas Experienciando o Mundo Real

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) tornaram-se o paradigma dominante para o planejamento de tarefas robóticas baseadas em instruções em linguagem natural. No entanto, existem limitações críticas ao aplicar esses modelos diretamente na robótica física:

• Desalinhamento de Embodiment: Os LLMs são treinados em dados da internet e não possuem conhecimento inerente sobre as capacidades físicas, habilidades (skill sets) e limitações de sistemas robóticos reais.
• Falha na Interação Física: Um modelo pode sugerir ações que parecem logicamente corretas (ex: pegar uma bola de tênis parcialmente oculta), mas que falham na prática devido a restrições de manipulação ou observabilidade parcial.
• Dependência de Supervisão: Métodos anteriores frequentemente dependem de feedback humano denso ou de ambientes simulados que não capturam a complexidade da interação física real.

O objetivo deste trabalho é criar um framework que permita aos robôs alinhar o planejamento de tarefas de modelos de linguagem com suas próprias capacidades físicas, aprendendo através da experiência no mundo real sem a necessidade de fine-tuning (ajuste fino) dos pesos do modelo.

2. Metodologia: PRAGMABOT

O PRAGMABOT é um framework inspirado no Reforço Verbal (Verbal Reinforcement Learning), onde o agente melhora seu desempenho através de auto-reflexão e aprendizado in-context (no contexto), sem atualizar os parâmetros do modelo. O sistema utiliza um Modelo de Linguagem e Visão (VLM) como "cérebro" e "olho", operando através de três componentes principais:

• A. Planejador de Tarefas (Task Planner):

  • Utiliza um VLM para interpretar instruções do usuário e observações visuais atuais.
  • Gera a próxima ação (seleção de habilidade de baixo nível e parâmetros).
  • Não é estático; adapta-se com base no feedback e na memória.

• B. Detector de Sucesso (Success Detector):

  • O mesmo VLM atua como detector, comparando as observações antes e depois da execução de uma ação.
  • Fornece um sinal de feedback binário (sucesso/falha) e uma descrição semântica das mudanças no cenário.
  • Se uma ação falhar, o VLM realiza uma auto-reflexão (gerando um "gradiente linguístico") para identificar a causa e propor uma nova estratégia (ex: "empurrar o obstáculo antes de tentar pegar o objeto").

• C. Memória de Curto Prazo (STM - Short-Term Memory):

  • Atua como um log dinâmico das interações recentes (ações e feedbacks) durante uma tarefa em andamento.
  • Permite o replanejamento interativo e a adaptação online. Se o robô falha, ele usa a STM para refletir e tentar uma abordagem diferente imediatamente, sem reiniciar a tarefa.

• D. Memória de Longo Prazo (LTM - Long-Term Memory) e RAG:

  • Ao concluir uma tarefa com sucesso, o robô resume as experiências da STM (usando um "Sumarizador de Experiências") e armazena no LTM como pares chave-valor (cenário descrito + lições aprendidas).
  • Para novas tarefas, o sistema utiliza Geração Aumentada por Recuperação (RAG). Ele recupera experiências passadas relevantes do LTM com base na similaridade semântica da nova instrução e cena inicial, injetando esse conhecimento no prompt do planejador.

• E. Módulo de Anotação de Imagem Sob Demanda:

  • Para melhorar a compreensão espacial em tarefas complexas (ex: pegar a parte correta de um espeto de carne), o sistema pode acionar uma ferramenta de anotação.
  • Usa segmentação (Grounded SAM) para criar máscaras de objetos e locais candidatos, permitindo que o VLM selecione o ponto de ação mais adequado antes de executar.

3. Principais Contribuições

1. PRAGMABOT: Adaptação do reforço verbal para robótica física, integrando VLMs com feedback visual e memórias de curto e longo prazo para aprendizado autônomo.
2. RAG em Robótica: Introdução de Geração Aumentada por Recuperação no ciclo de aprendizado verbal, permitindo que o robô selecione e utilize experiências reflexivas passadas para melhorar o planejamento em novas situações.
3. Anotação de Imagem Dinâmica: Um módulo que aprimora o raciocínio espacial do VLM, permitindo ações precisas em 3D além do simples agarre (grasping), como empurrar e colocar objetos em locais específicos.
4. Aprendizado sem Fine-tuning: O sistema aprende e se adapta sem atualizar os pesos do modelo base, reduzindo custos computacionais e permitindo generalização rápida.

4. Resultados Experimentais

Os experimentos foram realizados em um robô quadrúpede com braço manipulador (ANYmal + braço 6-DoF) em 12 cenários do mundo real (incluindo 8 tarefas nunca vistas anteriormente).

• Eficácia da Memória de Curto Prazo (STM):

  • Em 4 tarefas desafiadoras, a taxa de sucesso aumentou de 35% (sem STM, apenas planejamento inicial) para 84% (com STM e auto-reflexão).
  • O robô demonstrou interações inteligentes emergentes, como o uso de ferramentas (ex: usar uma esponja para empurrar um doce) e reconfiguração de planos após falhas (ex: mover um obstáculo antes de pegar o alvo).

• Generalização via Memória de Longo Prazo (LTM):

  • Em 12 cenários (incluindo tarefas novas), a taxa de sucesso em uma única tentativa (single-trial) subiu de 22% (com naive prompting) para 80% (com RAG e LTM).
  • O sistema conseguiu transferir lições de tarefas anteriores para cenários estruturalmente similares (ex: aprender a usar um pano para empurrar um parafuso em uma nova tarefa).

• Ablação de Recuperação (RAG vs. Baselines):

  • O uso de RAG (recuperar as top-k experiências relevantes) atingiu 89% de precisão no primeiro plano, superando significativamente a seleção aleatória (17%) e o fornecimento de todo o LTM (74%, que introduz ruído).
  • O uso de RAG foi mais eficiente em tokens e tempo de resposta do que fornecer todo o histórico de memória.

• Anotação de Imagem:

  • A anotação sob demanda aumentou drasticamente a taxa de sucesso em objetos com formas complexas (ex: espetos, drumsticks), onde o planejamento geométrico puro falhava ao escolher a parte errada para agarrar.

5. Significado e Conclusão

O PRAGMABOT representa um avanço significativo na IA Embodied (IA Incorporada). Ele demonstra que robôs físicos podem superar as limitações de modelos treinados apenas em texto, aprendendo a "ser" robôs através da experiência prática.

• Generalização: O framework permite que robôs lidem com tarefas não vistas anteriormente, aplicando lições aprendidas em contextos passados.
• Autonomia: Reduz a dependência de supervisão humana densa para correção de erros, permitindo que o sistema se corrija e aprenda autonomamente.
• Escalabilidade: Ao evitar o fine-tuning de modelos grandes, o método é mais eficiente e adaptável a diferentes hardwares e cenários.

O trabalho aponta para futuros desafios, como a integração de outras modalidades (tátil, auditiva), a gestão de bancos de memória massivos (pruning de memória) e o compartilhamento de experiências entre múltiplos robôs com morfologias diferentes.

Link do Projeto: https://pragmabot.github.io/