Resumo Técnico: Prompting Hierárquico com Módulos Duplos de LLM para Planejamento de Tarefas e Movimento Robótico

Declaração do Problema

A integração de robôs de serviço em ambientes domésticos requer sistemas capazes de interpretar instruções de linguagem natural imprecisas, incompletas ou dependentes de contexto. Embora os sistemas tradicionais de Planejamento de Tarefa e Movimento (TAMP) dependam de regras simbólicas definidas manualmente (ex: PDDL), eles têm dificuldade com a natureza de vocabulário aberto dos ambientes humanos. Por outro lado, embora os Grandes Modelos de Linguagem (LLMs) demonstrem capacidades de raciocínio emergente para decomposição de tarefas, eles enfrentam limitações significativas quando aplicados diretamente à robótica:

1. Falta de Aterramento Físico: LLMs padrão não são inerentemente aterrados em leis físicas e frequentemente geram planos "alucinados" que são cinematicamente ou geometricamente inviáveis.
2. Problemas de Prompting Monolítico: As estratégias de prompting atuais frequentemente forçam uma única instância do modelo a lidar tanto com a lógica abstrata (ex: "O que é uma fruta?") quanto com a matemática espacial precisa (ex: "Onde está a coordenada relativa ao prato?"). Isso leva à "exaustão de tokens" ou ao raciocínio confuso, onde o modelo prioriza a lógica da tarefa em detrimento da precisão espacial.
3. Lacuna Percepção-Ação: Existe um descompasso entre o planejamento semântico de alto nível e a execução geométrica de baixo nível, particularmente em ambientes não estruturados onde a geometria dos objetos e as restrições do espaço de trabalho variam.

Metodologia

Os autores propõem uma estrutura hierárquica, orientada por linguagem, que desacopla o planejamento de tarefas de alto nível do raciocínio espacial de baixo nível usando uma arquitetura de prompting de módulo duplo. O sistema opera em um ambiente de bancada e integra os seguintes componentes:

1. Módulo de Visão

O sistema utiliza um pipeline YOLOX-GDRNet para percepção de objetos:

• Detecção: O YOLOX detecta objetos em uma imagem de entrada, fornecendo caixas delimitadoras 2D e rótulos de classe.
• Estimativa de Pose: As Regiões de Interesse (ROI) são processadas por uma rede neural GDR-Net para prever poses 6D (vetor de translação 3D e orientação de quatérnio) em relação ao frame da câmera.
• Dados Geométricos: O sistema acessa modelos 3D pré-calculados e diâmetros para objetos detectados para informar o raciocínio espacial.

2. Agente LLM de Alto Nível (Planejador de Tarefas)

• Arquitetura: Implementado usando Python LangChain com o modelo Llama3.2:70B.
• Estratégia de Prompting: O agente opera através de um loop estilo ReAct (Pensamento, Ação, Observação). Ele mantém uma memória do histórico de interação para suportar o raciocínio iterativo.
• Ferramentas: O agente tem acesso a ferramentas para recuperar listas de objetos, pegar objetos, colocar objetos e liberá-los. Ele é responsável pela lógica geral da tarefa e sequenciamento, mas delega o cálculo preciso de coordenadas.

3. Submódulo LLM de Baixo Nível (Raciocinador de Posicionamento)

• Arquitetura: Um submódulo separado e especializado, também alimentado pelo Llama3.2:70B.
• Função: Este módulo lida com restrições espaciais 3D e viabilidade geométrica. Ele é inconsciente da lógica interna do agente de alto nível, garantindo a modularidade.
• Estratégia de Prompting: Utiliza few-shot prompting com uma entrada estruturada consistindo em nomes de objetos, poses e propriedades geométricas (ex: diâmetros).
• Objetivo: Mapear linguagem espacial (ex: "à esquerda de") para transformações geométricas consistentes e determinar coordenadas 3D específicas para o posicionamento de objetos, evitando que o planejador de alto nível fique sobrecarregado pela matemática de coordenadas de baixo nível.

Principais Contribuições

O artigo descreve três contribuições primárias:

1. Arquitetura de Módulo Duplo: Uma estrutura inovadora que desacopla o planejamento de tarefas de alto nível do raciocínio espacial de baixo nível para melhorar a confiabilidade dos planos robóticos gerados.
2. Submódulo Espacial Especializado: Um componente dedicado projetado para lidar com restrições espaciais 3D e viabilidade geométrica, abordando diretamente a falta de aterramento físico nos LLMs padrão.
3. Validação Empírica: Demonstração da eficácia da estrutura em 24 cenários reais e simulados, mostrando melhorias significativas na execução de comandos humanos complexos em ambientes não estruturados.

Avaliação e Resultados

O sistema foi avaliado em 24 cenários de teste, incluindo comandos espaciais simples, instruções de alto nível e solicitações inviáveis.

Resultados Quantitativos

• Taxa de Sucesso Geral: O sistema alcançou uma taxa de sucesso de tarefa geral de 86%.
• Detalhamento por Cenário:
  • Comandos Simples (16 cenários): Taxa de sucesso de 87,5%, com média de 4 etapas por tarefa.
  • Comandos de Alto Nível (5 cenários): Taxa de sucesso de 80,0%, com média de 6 etapas por tarefa.
  • Cenários Inviáveis (3 cenários): 100% de sucesso em identificar corretamente a impossibilidade, com média de 5 etapas para determinar a inviabilidade.
• Duração do Planejamento: A duração média do planejamento foi de 5 etapas por tarefa.

Análise Qualitativa e Espacial

• Avaliação Humana: Três avaliadores independentes classificaram o alinhamento entre os comandos iniciais e as cenas finais em uma escala de 1 a 10. A média foi de 6,86, com pontuações mais altas para tarefas com relações espaciais claras (ex: "Faça uma tigela de frutas" pontuou 9,67) e pontuações mais baixas para tarefas ambíguas (ex: "Faça um lanche salgado" pontuou 3,00).
• Precisão do Raciocínio Espacial: O raciocinador de posicionamento demonstrou a maior precisão para relações de "em cima de" e "ao lado de" (menor variância de coordenadas). O desempenho foi menos consistente para relações baseadas em profundidade como "na frente de" e "atrás de", que mostraram maior variância.
• Testes com Robô Físico: Experimentos no manipulador PAL Robotics Tiago confirmaram que o sistema pode identificar reliablemente objetos alvo e inferir a intenção do usuário em ambientes congestionados. As falhas observadas foram limitadas à execução de baixo nível (planejamento de movimento e erros de calibração) e não ao raciocínio semântico ou de tarefa.

Significância e Alegações

Os autores alegam que sua abordagem hierárquica preenche efetivamente a lacuna entre a linguagem natural e as relações geométricas 3D, exibindo uma "gramática espacial" robusta adequada para posicionamento zero-shot. O artigo afirma que:

• Modularidade é a Chave: Isolar o raciocínio de geometria espacial em um submódulo dedicado evita que o planejador de alto nível falhe devido à complexidade da matemática de coordenadas.
• Viabilidade sobre Expressividade: A estrutura prioriza a confiabilidade da execução em robôs reais, trocando uma ampla expressividade de ação por viabilidade física.
• Direção Futura: Embora o sistema seja promissor, os autores observam que a utilidade no mundo real permanece limitada pela viabilidade física e generalização ambiental. Eles sugerem que trabalhos futuros devem integrar priors geométricos e simuladores físicos para refinar as previsões dentro de configurações corporificadas dinâmicas.

O artigo conclui que fundir a flexibilidade simbólica dos LLMs com a percepção espacial aterrada oferece um caminho promissor para a colaboração intuitiva e generalizável entre humanos e robôs.