Visual Prompting for Robotic Manipulation with Annotation-Guided Pick-and-Place Using ACT

Resumo Técnico: Prompting Visual para Manipulação Robótica com Pick-and-Place Guiado por Anotação usando ACT

Definição do Problema
Tarefas robóticas de pick-and-place (pegar e colocar) em ambientes de lojas de conveniência enfrentam obstáculos significativos devido a arranjos densos de objetos, oclusões frequentes e alta variabilidade nas propriedades dos objetos (cor, forma, tamanho, textura). Abordagens tradicionais que dependem de heurísticas predefinidas, ambientes estruturados ou segmentação exaustiva de cena frequentemente carecem da adaptabilidade necessária para itens novos e layouts dinâmicos. Além disso, o planejamento convencional passo a passo pode ser propenso a erros em tarefas de longo horizonte, levando a erros acumulados e falhas.

Metodologia
Os autores propõem um pipeline de percepção-ação que combina prompting visual guiado por anotação com Action Chunking with Transformers (ACT), um algoritmo de aprendizado por imitação.

• Prompting Visual: Em vez de exigir que o robô realize uma análise de cena complexa e exaustiva, o sistema utiliza anotações de caixas delimitadoras (bounding boxes) para fornecer orientação espacial estruturada. Essas anotações identificam explicitamente o objeto alvo para a coleta (pick) e o destino para o posicionamento (place). O sistema utiliza duas câmeras Intel RealSense (D435i no pulso e D415 na mesa) para capturar dados RGB e de profundidade. As imagens RGB, aumentadas com prompts visuais (caixas delimitadoras), servem como entradas diretas para a rede neural.
• Action Chunking with Transformers (ACT): O algoritmo de controle central é o ACT, que substitui o planejamento rígido passo a passo pela previsão de sequências de ações "em blocos" (chunked).
  • Arquitetura: O modelo utiliza uma arquitetura baseada em Transformer. Um codificador CVAE processa dados de demonstração humana (ações e observações sem imagens) para gerar uma variável latente ($z$). Um decodificador Transformer então prevê uma sequência de ações futuras (um "bloco" ou chunk) com base no estado atual, na variável latente e na entrada visual (imagem RGB com caixas delimitadoras).
  • Treinamento: O sistema é treinado via aprendizado por imitação usando demonstrações humanas coletadas via teleoperação (mouse 3D). O objetivo de treinamento minimiza o erro de reconstrução entre os blocos de ação previstos e os reais, regularizado por um termo de divergência KL.
• Configuração Experimental: O sistema foi implementado em um braço Universal Robots UR5e equipado com um Garra de Dois Dedos Robotiq. Os experimentos foram conduzidos em um ambiente simulado e real de loja de conveniência utilizando seis categorias distintas de produtos (ex: tigelas de macarrão, caixas de chocolate, garrafas de chá) representando diversas formas, texturas e materiais.

Principais Contribuições

1. Prompting Visual Guiado por Anotação: A introdução do prompting visual baseado em caixas delimitadoras para guiar a manipulação robótica. Esta abordagem reduz a complexidade da compreensão de cena enquanto garante a execução da tarefa ao fornecer pistas espaciais leves e eficazes.
2. Sistema Adaptativo Baseado em ACT: A implementação do ACT para permitir que o braço robótico execute sequências de ações suaves e em blocos derivadas de demonstrações humanas, em vez de depender de um planejamento incremental rígido.
3. Estrutura de Avaliação Sistemática: Uma análise experimental estruturada através de três níveis progressivos de complexidade de tarefa (cenários Simples, Complexo e Mais Complexo) para avaliar como o prompting visual e a diversidade de objetos influenciam o desempenho robótico.

Resultos
O sistema foi avaliado em três cenários envolvendo arranjos de 3x3 de produtos:

• Cenário Simples: Nove caixas similares com um alvo anotado. O sistema alcançou uma taxa de sucesso de 90%, demonstrando confiabilidade em ambientes uniformes.
• Cenário Complexo: Nove produtos diversos com um alvo anotado. As taxas de sucesso iniciais caíram para 70% devido a variações nas propriedades dos objetos (refletividade, escorregadicidade). Após aumentar os dados de demonstração em 20% especificamente para os casos de falha, o desempenho do sistema melhorou significativamente, atingindo uma taxa de sucesso de 100% em todas as categorias de objetos neste cenário.
• Cenário Mais Complexo: Nove produtos diversos em posições variadas com as localizações de coleta (pick) e colocação (place) anotadas. O sucesso inicial foi de 70%. Devido à maior dificuldade, os pesquisadores coletaram o dobro da quantidade de dados anotados por humanos para cada produto. Após este aumento de dados, o desempenho melhorou, embora categorias de objetos específicas (ex: garrafas de chá reflexivas, potes escorregadios) ainda tenham mostrado taxas de sucesso menores (80%) em comparação com caixas rígidas (90%).

Análise de Falhas
O estudo identificou modos de falha específicos, incluindo desalinhamento de dedos, força de preensão fraca levando ao deslizamento (particularmente em superfícies escorregadias) e desalinhamento de posicionamento. Mapas de calor de atenção revelaram que o modelo ACT consegue deslocar o foco da localização de coleta para a localização de colocação, adaptando sua estratégia com base nos prompts visuais. No entanto, objetos com superfícies reflexivas ou texturas macias apresentaram desafios persistentes, levando a desalinhamentos e falhas de preensão.

Significância e Alegações
O artigo afirma que a combinação de prompting visual com o agrupamento de ações (action chunking) permite que robôs interpretem e atuem eficientemente sobre anotações mínimas, porém informativas, para tarefas de manipulação no mundo real. O método proposto representa um avanço na criação de sistemas robóticos adaptáveis capazes de lidar com variações complexas de objetos com melhor autonomia e robustez.

Os autores mantêm uma postura modesta em relação às limitações de seu trabalho. Eles reconhecem explicitamente que o sistema é exigente em termos de dados, dependendo fortemente de dados de demonstração humana diversos e de alta qualidade. Consequentemente, o artigo não reivindica generalização universal sem dados de treinamento suficientes. O trabalho futuro é identificado como focado em aumento de dados para expandir artificialmente os conjuntos de dados, em vez de alegar soluções imediatas para a escassez de dados. O estudo conclui que, embora a abordagem melhore a estabilidade da preensão e a precisão do posicionamento, a eficácia permanece atrelada à qualidade e quantidade das demonstrações de treinamento.