Resumo Técnico: RoboBenchMart: Avaliando Robôs em Ambientes de Varejo

Definição do Problema

Os benchmarks atuais de manipulação robótica concentram-se predominantemente em cenários de mesa ou domésticos (ex: ALFRED, RLBench, RoboCasa), onde as tarefas frequentemente se reduzem a operações de pegar e colocar (pick-and-place) em espaços relativamente não restritos. Embora esses ambientes tenham impulsionado progressos significativos nos modelos de Visão-Linguagem-Ação (VLA), permanece incerto se políticas generalistas que se destacam nesses contextos podem generalizar para domínios com geometria, semântica e fluxos de trabalho distintos.

O setor de varejo, especificamente os "dark stores" (pequenos centros de distribuição para atendimento de pedidos online), apresenta uma lacuna crítica. Esses ambientes apresentam objetos densamente agrupados, prateleiras de múltiplos níveis, acessórios mistos (prateleiras e refrigeradores) e uma vasta variedade de produtos visualmente semelhantes. Os benchmarks existentes falham em capturar os desafios específicos do varejo, como navegar por corredores estreitos, realizar desvio de colisão confiável em espaços congestionados e manipular itens em diferentes alturas e profundidades. Além disso, testar políticas diretamente em ambientes de varejo reais é caro e logisticamente difícil, necessitando de benchmarks de simulação de alta fidelidade que reflitam com precisão essas complexidades.

Metodologia

1. Suíte RoboBenchMart

Os autores introduzem o RoboBenchMart, uma suíte de benchmark simulada de código aberto construída sobre o framework ManiSkill3, utilizando o manipulador móvel Fetch (base de tração diferencial, braço de 7-DOF, torso prismático). A suíte compreende três componentes principais:

• Gerador de Plano de Loja: Um pipeline procedural para gerar layouts de lojas diversos e realistas.

  • Arranjo de Acessórios: Inspirado na modelagem procedural de ruas, o sistema utiliza uma abordagem de campo de tensor. Ele computa um campo de tensor de base baseado em posicionamentos iniciais aleatórios de acessórios (paletes, freezers) e os agrega para determinar orientações ideais de prateleiras (horizontais ou verticais), garantindo corredores navegáveis e livres de colisões.
  • Arranjo de Produtos: Aproveitando o pacote scene synthesizer, os produtos são colocados em uma grade regular com perturbações de pose para simular variabilidade natural. O sistema suporta empilhamento vertical e utiliza um processo de Poisson para simular o esvaziamento de prateleiras (espaços vazios) ao longo do tempo.
  • Assets: A suíte inclui 370 assets de produtos em 21 categorias, além de modelos de prateleiras e refrigeradores. Para garantir o desempenho de renderização em cenas com centenas de objetos, os autores desenvolveram um pipeline de simplificação automática de malha (usando QuadriFlow, Marching Cubes e aproximações específicas de forma) para reduzir a contagem de triângulos minimizando a perda de qualidade geométrica (medida pela distância de Chamfer).

• Amostrador de Trajetórias de Loja: Um pipeline para gerar trajetórias de demonstração usando planejamento de movimento.

  • O sistema define heuristicamente sequências de poses de ancoragem (inicial, intermediária, final) para estágios da tarefa.
  • As trajetórias são geradas usando movimento de parafuso (screw motion) para segmentos não móveis (com verificação de colisão) e RRT-Connect para desvio de obstáculos. O reposicionamento da base móvel utiliza planejadores heurísticos específicos da tarefa.
  • Apenas trajetórias completas e bem-sucedidas são retidas. O conjunto de dados inclui 2.976 demonstrações (248 por triplet tarefa/item/acessório) para o robô Fetch.

• Benchmark de Robótica de Loja: Um framework de avaliação padronizado.

  • Tarefas: Inclui tarefas atômicas (Pegar para o cesto, Pegar do chão, De placa para placa, Abrir/Fechar geladeira) e tarefas compostas (Pegar N itens, Pegar da geladeira).
  • Cenários de Avaliação: O benchmark testa a generalização através de:
    1. In-Domain: Randomização apenas da posição do robô.
    2. Cenas Não Vistas (Unseen Scenes): Randomização de posições, texturas e layouts de loja.
    3. Cenas e Itens Não Vistos: Cenas não vistas combinadas com itens fora da distribuição (OOD) extraídos de outras tarefas.
  • Baselines: Quatro modelos generalistas VLA de última geração foram avaliados: Octo, SmolVLA, $\pi_0$ e $\pi_0.5$. Todos os modelos foram ajustados (fine-tuned) via aprendizado por imitação nas trajetórias geradas.

2. Configuração Experimental

• Treinamento: Os modelos foram ajustados exclusivamente em tarefas atômicas. Tarefas compostas foram avaliadas decompondo-as em sequências de instruções atômicas.
• Restrições de Dados: Para modelar a adaptação realista, o treinamento foi limitado a 2–3 objetos por tarefa, com separação estrita entre os conjuntos de objetos de treinamento e teste para tarefas específicas.
• Métricas: As taxas de sucesso foram medidas sobre 100 tentativas por triplet tarefa/item/acessório. Os modos de falha foram anotados com base na primeira falha primária no pipeline (ex: fundamentação da tarefa, navegação, preensão, posicionamento).

Principais Resultados

Desempenho em Modelos Generalistas

A avaliação revela que os atuais modelos VLA generalistas de última geração lutam significamente no domínio do varejo, mesmo após o ajuste fino:

• SmolVLA: Desempenhou-se mal em todos os cenários, alcançando sucesso não nulo apenas nas tarefas mais simples de "abrir/fechar geladeira".
• Octo & $\pi_0$: Alcançaram sucesso moderado no cenário In-Domain, mas degradaram significativamente em Unseen Scenes e falharam completamente em Unseen Scenes & Items.
• $\pi_0.5$: Teve o melhor desempenho entre os modelos avaliados, mostrando sucesso não nulo no cenário Unseen Scenes & Items, embora a confiabilidade tenha permanecido baixa.
• Tarefas Compostas: Todos os modelos alcançaram 0% de sucesso em tarefas compostas (ex: pegar 3 itens), indicando uma falha em executar instruções de múltiplos passos ou generalizar através de estágios de tarefas.

Análise de Falhas

A anotação de falhas (Tabela 3) identificou dois gargalos principais:

1. Falhas de Preensão (Grasping): Modelos como Octo, $\pi_0$ e $\pi_0.5$ falharam predominantemente no estágio de preensão, com dificuldade em interações precisas ao nível da prateleira.
2. Erros de Fundamentação (Grounding): Uma parte significativa das falhas ocorreu durante a seleção do "alvo" (identificação do produto correto) e o posicionamento de "pré-preensão" (pregrasp). O SmolVLA falhou mais frequentemente no posicionamento de pré-preensão.
3. Sensibilidade ao Desvio de Distribuição: À medida que a distribuição de avaliação mudava do treinamento (ex: de In-Domain para Unseen Scenes & Items), as taxas de falha aumentavam drasticamente, frequentemente excedendo 90% para a maioria dos modelos.

Significância e Alegações

O artigo afirma que o RoboBenchMart é o primeiro benchmark aberto dedicado a avaliar políticas robóticas especificamente em ambientes de varejo. Sua significância reside em:

1. Expor um Gap de Domínio: Os resultados demonstram que o alto desempenho em benchmarks de mesa/domésticos não garante a transferibilidade para cenários de varejo. Os modelos generalistas atuais carecem da robustez necessária para a geometria, o congestionamento e a complexidade semântica de dark stores.
2. Identificar Limitações: O estudo destaca que os modelos pré-treinados existentes são insuficientes para uma adaptação eficaz no varejo sem um pré-treinamento direcionado em dados específicos de varejo. Os modelos exibem fragilidade a pequenas mudanças de cena e baixa generalização de demonstrações limitadas para novas combinações de objeto-tarefa.
3. Viabilizar Pesquisas Futuras: Ao liberar o gerador de layout de loja procedural, o pipeline de geração de trajetórias, ferramentas de avaliação e modelos de baseline, os autores visam facilitar o desenvolvimento de sistemas robóticos mais robustos, escaláveis e conscientes de tarefas para o setor de varejo.

Os autores mantêm um tom modesto, reconhecendo que o benchmark atualmente suporta apenas garras de mandíbula paralela, pacotes de corpo rígido e exclui sucção ou mãos dextrosas. Eles posicionam o RoboBenchMart como um passo fundamental para abordar os desafios ainda pouco explorados da automação no varejo.