Visual Foresight for Robotic Stow: A Diffusion-Based World Model from Sparse Snapshots

Título: Previsão Visual para Armazenamento Robótico: Um Modelo de Mundo Baseado em Difusão a partir de Imagens Esparsas

1. O Problema

O "stow" (armazenamento) é a operação de colocar objetos em recipientos de armazenamento, como caixas ou prateleiras. Em centros de fulfillment automatizados (como os da Amazon), robôs realizam milhões dessas operações diariamente.

• Desafio Principal: É valioso para esses sistemas antecipar como uma caixa (bin) ficará após a operação de armazenamento, antes da execução física real. Isso permite otimizar o planejamento, estimar a densidade de armazenamento e evitar colisões ou instabilidades.
• Dificuldades Específicas:
  1. Supervisão Esparsa: Em ambientes de produção, não é viável capturar vídeo contínuo de alta frequência. Os dados disponíveis são apenas "snapshots" (fotos) antes e depois da operação, com o movimento intermediário oculto pelo robô ou pelo objeto.
  2. Diversidade e Interação: Existem milhares de itens com formas, tamanhos e rigidez variados, além de caixas de tecido deformáveis. O novo item pode empurrar, deslizar ou derrubar itens existentes, causando rearranjos não locais difíceis de inferir apenas com duas imagens estáticas.
  3. Falta de Baselines: Não existem modelos de mundo aprendidos que operem nesse cenário específico com supervisão apenas de imagens esparsas.

2. Metodologia: FOREST

Os autores propõem o FOREST (Foresight for STow), um modelo de mundo condicionado à intenção de armazenamento que prevê o estado futuro da caixa.

A. Representação de Dados e Alinhamento de Itens

Como os dados brutos são apenas imagens RGB, o FOREST primeiro transforma esses dados em uma representação estruturada:

• Extração de Máscaras: Utiliza um modelo de segmentação (MaskDINO) para extrair máscaras de instância de todos os itens visíveis nas imagens pré e pós-armazenamento.
• Correspondência de Itens (Item Matching): O sistema estabelece uma correspondência um-para-um entre os itens existentes antes e depois da operação. Isso cria um estado "baseado em slots", onde cada slot físico corresponde a um item específico. O item novo ocupa um slot adicional.
• Canonização: A máscara do novo item é normalizada (centralizada e rotacionada) para servir como observação de entrada, evitando vazamento de informações de posição e pose do estado final.

B. Arquitetura do Modelo (Latent Diffusion Transformer)

O FOREST é implementado como um Modelo de Difusão Latente baseado em Transformer:

1. Tokenização:
   • Os estados da caixa (máscaras binárias alinhadas por slots) são codificados em mapas de características latentes usando um VAE (Variational Autoencoder).
   • As informações de contexto (máscara do novo item, imagem RGB pré-armazenamento, propriedades do item e intenção de armazenamento) são codificadas em tokens de condição.
2. Modelo de Difusão:
   • O modelo aprende a reverter um processo de ruído no espaço latente para prever o estado pós-armazenamento.
   • Mecanismo de Condição: Utiliza camadas de Cross-Attention onde os tokens do estado futuro (ruidosos) atuam como queries e os tokens de contexto (pré-armazenamento + novo item) atuam como keys e values.
   • Intenção de Armazenamento: A intenção (ex: onde colocar o item e se há uma operação de "varredura" para criar espaço) é injetada via AdaLN (Adaptive Layer Normalization), modulando cada bloco do transformer para guiar a dinâmica de rearranjo.
3. Atenção Empacotada (Packed-Sequence): Para lidar com o número variável de itens em diferentes caixas, o modelo usa um esquema de atenção que evita o preenchimento (padding) desnecessário, concatenando sequências de diferentes eventos de armazenamento em um único lote.

3. Contribuições Principais

1. Primeiro Modelo de Mundo Aprendido para Stow Real: O FOREST é o primeiro modelo a operar em cenários de armazenamento industrial reais utilizando apenas supervisão de imagens esparsas (antes/depois), sem necessidade de vídeos densos.
2. Avaliação Direta de Precisão Geométrica: O modelo demonstra melhoria significativa na concordância geométrica (IoU - Intersecção sobre União) entre a previsão e a realidade, especialmente para o item recém-inserido, superando baselines heurísticas em 0,3 a 0,5 pontos de IoU.
3. Validação em Tarefas de "Downstream": Os autores provam que as previsões do FOREST são úteis para tarefas subsequentes:
   • Previsão de Espaço Livre (DLO): Substituir a máscara real pela previsão do FOREST causa uma perda de desempenho mínima (aumento de MAE de apenas 0,0016-0,0025) na previsão de quanto espaço horizontal sobra na caixa.
   • Raciocínio Multi-Armazenamento: O modelo consegue ser "rolado" (rollout) ao longo de múltiplos armazenamentos na mesma caixa, mantendo a precisão por vários passos, o que é crucial para planejamento de longo prazo.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados ARMBench (dados reais de armazéns da Amazon).

• Comparação com Baselines:
  • Baselines: "Copy-Paste" (colar o novo item na posição desejada) e "Copy-Paste + Gravidade" (deixar o item cair até o fundo).
  • Desempenho do FOREST:
    • Direct Insert (Inserção Direta): O IoU do item novo (N-IoU) saltou de 0,28-0,36 (baselines) para **0,70** (FOREST).
    • Sweep Insert (Inserção com Varredura): O N-IoU saltou de 0,12-0,22 para **0,62-0,64**.
  • Itens Pequenos e Casos Difíceis: O modelo manteve robustez em itens pequenos (onde erros espaciais pequenos causam grandes quedas de IoU) e em casos "surpreendentes" onde a heurística falha completamente (IoU próximo de zero).
• Visualização: As previsões capturam dinâmicas complexas, como itens tombando, deslizando ou sendo empurrados por uma operação de varredura, algo que as heurísticas simples não conseguem modelar.
• Avaliação de Downstream: A correlação entre as previsões de DLO baseadas no FOREST e as baseadas na verdade absoluta (Ground Truth) foi alta ($R^2$ de 0,83 para inserção direta), indicando que o modelo fornece sinais de previsão confiáveis para tomada de decisão.

5. Significado e Impacto

• Avanço em Modelos de Mundo: O trabalho expande a aplicação de modelos de difusão para além da síntese de imagens, utilizando-os como modelos de dinâmica física para prever rearranjos de objetos em ambientes desordenados e deformáveis.
• Aplicabilidade Industrial: Ao funcionar com dados esparsos típicos de produção (sem necessidade de sensores de vídeo contínuo ou simulações físicas complexas), o FOREST oferece uma solução prática para melhorar a eficiência e a segurança de robôs em armazéns reais.
• Planejamento de Longo Prazo: A capacidade de prever estados futuros com precisão permite que os sistemas robóticos planejem sequências de armazenamento mais longas e otimizadas, evitando gargalos de espaço e colisões futuras.

Em resumo, o FOREST representa um passo significativo na transição de robôs que apenas "executam" movimentos para robôs que "compreendem" e "antecipam" as consequências físicas de suas ações de armazenamento em escala industrial.