CLASP: Closed-loop Asynchronous Spatial Perception for Open-vocabulary Desktop Object Grasping

1. Problema e Contexto

O artigo aborda os desafios críticos na implementação de Modelos de Visão-Linguagem (VLMs) para tarefas de manipulação robótica de baixo nível, especificamente a pegada de objetos em ambientes de mesa desorganizados (cluttered desktops).

Apesar do potencial dos VLMs para compreensão semântica, sua aplicação direta na robótica enfrenta três gargalos principais:

1. Escassez de Dados: Falta de demonstrações multimodais de alta qualidade para treinamento.
2. Alucinação Espacial: Os VLMs frequentemente carecem de "grounding" geométrico fino, levando a erros na localização precisa de pontos de contato (ex: tentar agarrar o ar ou partes não manipuláveis).
3. Fragilidade em Malha Aberta: A execução em malha aberta (sem feedback) falha frequentemente em ambientes dinâmicos ou quando ocorrem erros iniciais, sem capacidade de correção automática.

O objetivo é permitir que robôs realizem pegadas baseadas em instruções de linguagem natural para objetos de vocabulário aberto, garantindo estabilidade geométrica e robustez.

2. Metodologia: Framework CLASP

Os autores propõem o CLASP (Closed-loop Asynchronous Spatial Perception), um novo framework assíncrono em malha fechada que integra percepção multimodal, raciocínio lógico e feedback reflexivo de estado.

A. Arquitetura do Sistema

O sistema é composto por três módulos principais:

1. Percepção Hierárquica de Duplo Caminho (Dual-Pathway Hierarchical Perception):

   • Caminho Semântico: Extrai a intenção de alto nível e o contexto global da imagem.
   • Caminho Geométrico: Foca no "grounding" espacial, detectando caixas de delimitação, máscaras de segmentação e descritores de pose/centroide explícitos.
   • Decuplagem: Ao separar a intenção semântica da ancoragem geométrica, o modelo reduz alucinações espaciais e gera tuplas de ação determinísticas (pontos de contato 2D e ângulos).

2. Raciocínio Estruturado Orientado a VLM:

   • O módulo de raciocínio (Reasoner) processa as entradas multimodais e a instrução de linguagem.
   • Gera uma saída padronizada (JSON) contendo parâmetros de pegada precisos (ângulo, centro, categoria do objeto), em vez de apenas coordenadas brutos, incorporando restrições de colisão e física.

3. Avaliador Assíncrono em Malha Fechada (Asynchronous Closed-Loop Evaluator):

   • Módulo Julgador (Judger): Compara o estado do ambiente antes e depois da execução da pegada.
   • Feedback Diagnóstico: Se a tarefa falhar, o módulo gera um feedback baseado em texto (ex: "o objeto não foi movido", "a pegada escorregou").
   • Correção de Erros: Este feedback é enviado de volta ao módulo de raciocínio para ajustar os parâmetros da próxima tentativa (ex: mover o ponto de contato para o centro do objeto), criando um loop de correção robusto.
   • Assincronicidade: O módulo de julgamento e o de raciocínio operam em threads independentes, permitindo que a percepção e o raciocínio ocorram durante a execução física, reduzindo o tempo de bloqueio.

B. Motor de Dados Multimodal Escalável

Para resolver a escassez de dados, os autores desenvolveram um pipeline automatizado que sintetiza dados de demonstração de alta qualidade (anotações espaciais, prompts visuais, poses de pegada) a partir de cenas reais e sintéticas, sem necessidade de teleoperação humana.

3. Principais Contribuições

1. Abordagem de Duplo Caminho: Decupla a intenção semântica da ancoragem geométrica, mitigando alucinações espaciais e permitindo controle determinístico através de tuplas de ação estruturadas.
2. Avaliador em Malha Fechada Assíncrona: Estabelece um mecanismo robusto de correção de erros baseado em feedback textual, superando a fragilidade da execução em malha aberta em ambientes dinâmicos.
3. Motor de Dados Automatizado: Criação de um conjunto de dados escalável e diversificado sem intervenção humana direta, facilitando o treinamento e a generalização.

4. Resultados Experimentais

Os experimentos foram conduzidos no simulador ManiSkill e validados em um robô físico WidowX 250S 6-DoF.

• Taxa de Sucesso Geral: O CLASP alcançou uma taxa de sucesso global de 87,0%, superando significativamente as linhas de base (baselines).
• Comparação com Baselines:
  • Superou modelos VLMs puros (Qwen3-VL, Doubao-Seed) e métodos de detecção de pegada tradicionais (AnyGrasp, AffordanceNet).
  • Destaque na categoria Ferramentas (Tools): Objetos com geometria complexa (martelos, tesouras, chaves de fenda) são historicamente difíceis. O CLASP alcançou 77% de sucesso nesta categoria, enquanto outras abordagens tiveram desempenho muito inferior (ex: Qwen3-VL em 46,4%).
• Eficiência de Latência: A política de execução assíncrona reduziu o tempo total de execução em 39,8% e a variância do tempo em 59,5% em comparação com a execução sequencial (streaming), demonstrando maior estabilidade temporal.
• Generalização Sim-to-Real: O framework demonstrou robustez ao ser transferido para o mundo real, corrigindo erros de pegada que modelos de base não conseguiam resolver (ex: selecionar o ponto de contato correto em uma chave de fenda).

5. Significado e Impacto

O trabalho do CLASP é significativo porque:

• Ponte Semântico-Geométrica: Resolve a lacuna entre a compreensão de alto nível (o que o robô deve fazer) e a execução de baixo nível (como agarrar fisicamente), um problema persistente em VLMs robóticos.
• Resiliência Operacional: Introduz um mecanismo de "auto-cura" via feedback em malha fechada, tornando a manipulação robótica viável em ambientes não estruturados e dinâmicos, onde falhas são comuns.
• Viabilidade Prática: Demonstra que é possível alcançar alta performance em tarefas de pegada de vocabulário aberto sem depender de grandes quantidades de dados anotados manualmente ou de modelos VLA (Visão-Linguagem-Ação) massivos e custosos para ajuste fino.

Em resumo, o CLASP representa um avanço crucial para a robótica de serviço, permitindo que robôs operem de forma segura e eficiente em ambientes domésticos e industriais complexos, lidando com a diversidade de objetos e a imprevisibilidade do mundo real.