From Pixels to Shelf: An Integrated Robotic System for Autonomous Supermarket Stocking with a Mobile Manipulator

Resumo Técnico: Dos Pixels à Prateleira

Declaração do Problema
A reposição autônoma em ambientes de varejo, particularmente em supermercados, enfrenta obstáculos significativos devido às interações humanas dinâmicas, espaços restritos e a diversidade geométrica dos produtos. Embora os Robôs Móveis Autônomos (AMRs) tenham tido sucesso em armazéns estruturados, sua adoção no varejo permanece limitada pelos altos custos, complexidade técnica e pela dificuldade da navegação e manipulação de "último metro" em espaços compartilhados entre humanos e robôs. As soluções existentes muitas vezes dependem de hardware de alto desempenho, carecem de capacidades completas de manipulação ou focam em submódulos (ex: escaneamento de inventário) em vez de pipelines completos de ponta a ponta para reposição.

Metodologia
Os autores propõem um sistema robótico integrado e de baixo custo, projetado para implantação comercial utilizando hardware comercial padrão (off-the-shelf) e uma arquitetura de software escalável baseada em ROS2.

• Plataforma de Hardware: O sistema utiliza o Hello Robot Stretch 3, um manipulador móvel com base de tração diferencial, um braço telescópico e um pulso de 3-DoF. É alimentado por um Intel NUC para planejamento local e uma estação de trabalho externa (Intel i9, NVIDIA RTX 4090) para tarefas pesadas de percepção.
• Arquitetura de Planejamento: O gerenciamento de tarefas de alto nível é realizado através de um framework de Árvore de Comportamento (Behavior Tree - BT). A BT gerencia a tomada de decisão reativa, incluindo acoplagem (docking), carregamento e execução de tarefas (coleta e colocação). As tarefas são geradas via uma aplicação web e transmitidas ao robô via MQTT.
• Navegação e Localização:
  • Navegação Global: Utiliza o framework Nav2 com um controlador de Integral de Caminho Preditivo de Modelo (MPPI) e uma Camada de Voxel Espaço-Temporal (STVL) para detectar obstáculos invisíveis ao LiDAR (ex: objetos elevados).
  • Navegação de "Último Metro": Para superar as limitações de alcance mínimo do LiDAR próximo às prateleiras, o sistema emprega marcadores ArUco colocados nos suportes de etiquetas das prateleiras. Um Filtro de Kalman (KF) de 14 estados funde os dados dos marcadores visuais para uma estimação de pose robusta.
  • Controle: Um framework de Controle Preditivo de Modelo (MPC) de dois passos coordena a base e a cabeça da câmera. O primeiro passo otimiza o movimento da base para alcançar a prateleira, enquanto o segundo otimiza o movimento da cabeça da câmera para manter o marcador no campo de visão e garantir trajetórias de aproximação suaves.
• Pipeline de Percepção:
  • Detecção de Objetos: Utiliza modelos YOLO11n-cls ajustados (fine-tuned) para identificação de produtos de mercearia. Para produtos sem modelos específicos, o sistema tenta utilizar o GPT-4o com imagens de referência, embora isso seja observado como menos eficiente.
  • Segmentação e Rastreamento: Emprega o SAM2 (Segment Anything Model 2) para segmentação de cena e rastreamento de objetos baseado em vídeo para isolar os produtos alvo.
  • Manipulação: O processo de coleta envolve a geração de nuvens de pontos a partir de dados RGB-D, computação de caixas delimitadoras (bounding boxes) baseadas nas dimensões conhecidas do produto e o uso de um controlador de braço baseado em velocidade. O processo de colocação consulta um planograma para determinar as posções nas prateleiras, utiliza o KF para localização precisa e emprega um controlador de Cinemática Inversa (IK) para a colocação, com detecção de contato para garantir uma liberação suave.

Principais Contribuições

1. Integração de Sistema: O artigo apresenta um pipeline ROS2 totalmente integrado e implantável, combinando hardware comercial com percepção avançada (YOLO, SAM2), planejamento (BTs) e controle (MPC, KF) especificamente adaptados para a reposição de varejo.
2. Solução de "Último Metro" de Baixo Custo: Os autores demonstram uma estratégia de navegação e manipulação robusta usando marcadores ArUco de baixo custo e um MPC de dois passos, alcançando alta confiabilidade sem a necessidade de conjuntos de sensores caros e de alto desempenho.
3. Validação Abrangente: O trabalho inclui experimentos laboratoriais extensos replicando cenários de reposição noturna, fornecendo um benchmark quantitativo contra teleoperação e trabalhadores humanos, e decompondo as lacunas de desempenho em limitações de hardware e software.
4. Código Aberto: Módulos principais, incluindo o simulador e pacotes ROS2, são lançados como código aberto para facilitar pesquisas futuras.

Resultados Experimentais
O sistema foi avaliado em um ambiente de supermercado simulado em 70 tarefas de reposição envolvendo 724 operações individuais de coleta e colocação (pick-and-place).

• Taxas de Sucesso: O sistema alcançou uma taxa de sucesso ao nível do objeto superior a 98% e uma taxa de sucesso ao nível da tarefa superior a 87%. A maioria das falhas ocorreu durante a etapa de coleta devido a erros de classificação ou latência de rede, enquanto a colocação foi altamente confiável.
• Desempenho de Percepção: Modelos YOLO ajustados superaram significativamente o GPT-4o tanto em precisão (97,5% vs. 84,7%) quanto em tempo de inferência (0,2s vs. 6,9s).
• Desempenho vs. Humanos: O sistema autônomo foi aproximadamente 10 vezes mais lento que os trabalhadores humanos. No entanto, foi significativamente mais rápido e econômico do que a teleoperação.
• Análise de Custo: Embora o sistema autônomo seja atualmente menos eficiente que o trabalho humano, ele oferece vantagens econômicas através da operação noturna sem custos de mão de obra incrementais. Os autores estimam que ~80% da lacuna de desempenho em relação aos humanos é atribuível a restrições de hardware (ex: tamanho da garra, velocidade), enquanto ~20% deve-se a limitações de software.

Significância e Alegações
O artigo afirma demonstrar a viabilidade prática da reposição autônoma em ambientes de varejo utilizando hardware acessível e comercialmente disponível. Destaca que, embora os sistemas autônomos atuais ainda não estejam prontos para substituir totalmente os trabalhadores humanos devido às lacunas de velocidade e custo-benefício, a integração de algoritmos modulares de percepção e controle alcançou alta confiabilidade (98% de sucesso) em tarefas complexas e não estruturadas. O trabalho serve como uma linha de base para melhorias futuras, identificando as capacidades de hardware como o principal gargalo para atingir a eficiência de nível humano na automação do varejo. Os autores declaram explicitamente que a implantação comercial ampla requer progressos adicionais tanto no hardware quanto na otimização de software.