Bounding Boxes as Goals: Language-Conditioned Grasping via Neuro-Symbolic Planning

Resumo Técnico: GRASP – Manipulação Condicionada por Linguagem via Planejamento Neuro-Simbólico

Definição do Problema
A integração da robótica em ambientes domésticos e industriais dinâmicos exige que as máquinas se adaptem a comandos de linguagem natural em tempo real. Embora os Modelos de Visão-Linguagem (VLMs) e os Modelos de Linguagem de Grande Escala (LLMs) tenham possibilitado a generalização zero-shot no Planejamento de Tarefas e Movimentos (TAMP), as abordagens de estado da arte atuais enfrentam limitações significativas. Muitas dependem de modelos computacionalmente "pesados" que exigem treinamento extensivo em milhares de demonstrações, ou dependem de estruturas simbólicas rígidas (ex: listas de cores fixas ou coordenadas pré-programadas) que falham em capturar conceitos espaciais abstratos como "prateleira superior". Há uma necessidade crítica de um framework que una o entendimento flexível da linguagem com uma execução robusta e interpretável, sem exigir ajuste fino (fine-tuning) de tarefas ou aprendizado de políticas.

Metodologia: O Framework GRASP
Os autores apresentam o GRASP (Grounded Reasoning and Symbolic Planning), um framework neuro-simbólico leve projetado para manipulação de mesa de vocabulário aberto. O GRASP desacopla o raciocínio de alto nível do controle de baixo nível através de uma arquiteta de dois componentes:

1. Componente Neural (Percepção e Raciocínio):

   • Geração de Estado de Meta: Um LLM (especificamente o GPT-5.2 nos experimentos) analisa instruções de linguagem natural para gerar um estado de meta simbólico explícito. Isso envolve a extração de consultas de objetos alvo (ex: "objetos azuis") e o mapeamento de restrições espaciais (ex: "prateleira superior") em limiares de coordenadas de imagem (ex: $y \leq \tau_1$). A saída é uma representação JSON de caixas delimitadoras (bounding boxes) desejadas.
   • Detecção de Objetos: Um VLM pré-treinado, o GroundingDINO (G.DINO), é utilizado para detectar objetos na cena com base nos rótulos extraídos pelo LLM. O G.DINO foi selecionado por sua capacidade de limitar as detecções a um conjunto definido de rótulos e por seu forte desempenho frente a outros VLMs de estado da arte. Ele fornece um fluxo contínuo de detecções de caixas delimitadoras tanto de uma câmera global da prateleira quanto de uma câmera do efetuador final (end-effector).

2. Componente Simbólico (Planejamento e Controle):

   • Avaliação de Similaridade de Meta: O sistema calcula uma pontuação de similaridade normalizada ($S$) entre o estado de meta gerado pelo LLM e as detecções em tempo real. Esta pontuação combina a Interseção sobre União (IoU) e a distância Euclidiana entre os centros das caixas. Se a similaridade exceder um limiar ou se nenhum objeto for detectado por quadros consecutivos, a tarefa é encerrada.
   • Controle de Movimento em Malha Fechada: O sistema emprega um pipeline de controle em malha fechada de tempo discreto. Ele calcula o erro entre o centro da caixa delimitadora detectada e o centro óptico da câmera. Um controlador de Roll-Pitch-Yaw (RPY) proporcional ajusta o efetuador final do robô com base neste erro.
   • Mecanismos de Estabilização: Para garantir a estabilidade, o controlador utiliza suavização exponencial nos sinais de erro e uma zona morta (deadband) para suprimir oscilações (jitter). O sistema seleciona o objeto alvo com base no maior logit (confiança) do detector.

Principais Contribuições
O artigo descreve três contribuições primárias:

• Framework GRASP: Um sistema neuro-simbólico que compila instruções de linguagem natural em estados de meta simbólicos explícitos, fundamentando-os via um VLM pré-treinado sem necessidade de ajuste fino adicional.
• Execução Zero-Shot: Demonstração de que a avaliação de meta em malha fechada permite a execução de tarefas sem aprendizado de política ou aprendizado por reforço.
• Pipeline Leve: Uma arquitetura modular que liga a detecção de vocabulário aberto ao movimento contínuo via controle proporcional, evitando o custo computacional do aprendizado de ponta a ponta (end-to-end).

Resultados Experimentais
Os autores avaliaram o GRASP em 90 tentativas abrangendo três níveis de dificuldade (Fácil, Médio, Difícil) envolvendo vários objetos (ex: blocos, fita, ferramentas).

• Taxas de Sucesso: O sistema alcançou taxas de sucesso de 86,67% (Fácil), 76,67% (Médio) e 56,67% (Difícil), resultando em uma taxa de sucesso geral de 73,33%.
• Análise de Falhas: A degradação do desempenho em tarefas mais difíceis foi atribuída principalmente a detecções incorretas ou perdidas do G.DINO e limitações de hardware (campo de visão limitado e redução da qualidade da imagem à distância), e não a falhas no próprio pipeline de controle.
• Estudos de Ablação:
  • Malha Fechada vs. Malha Aberta: Remover o feedback de malha fechada (executando o ajuste apenas uma vez) reduziu significamente as taxas de sucesso, confirmando a necessidade de ajuste iterativo.
  • Suavização e Zona Morta: A remoção destes componentes degradou o desempenho, indicando que correções não restringidas introduzem instabilidade.
  • Seleção de Alvo: Selecionar alvos baseados em logits aleatórios ou estratégias de primeira correspondência apresentou desempenho inferior à seleção da detecção de maior confiança (logit).

Significância e Alegações
O artigo posiciona o GRASP como um passo em direção à manipulação de ordenação e arranjo escalável e de propósito geral. Os autores afirmam que, ao desacoplar o raciocínio do controle, o GRASP oferece uma solução interpretável e eficiente que elimina a necessidade de extensos dados de treinamento ou aprendizado de política. O sistema interpreta com sucesso conceitos espaciais abstratos e executa tarefas em ambientes de vocabulário aberto. Os autores observam modestamente que, embora o trabalho atual foque em preensão (grasping) e alinhamento, a avaliação completa de ordenação de ponta a ponta (incluindo verificação de posicionamento) é reservada para trabalhos futuros devido a restrições de hardware. O framework é apresentado como uma alternativa viável aos modelos pesados dependentes de treinamento para manipulação dinâmica condicionada por linguagem.