Visual Foresight for Robotic Stow: A Diffusion-Based World Model from Sparse Snapshots

1. El Problema: Previsión Visual para el Almacenamiento Robótico (Stow)

El "stow" es la operación de colocar objetos en contenedores de almacenamiento (como cajas de tela o estantes) en almacenes automatizados. En grandes centros de cumplimiento, esto ocurre millones de veces al día.

El desafío central abordado en este trabajo es la previsión visual (visual foresight): predecir cómo se verá el contenedor después de que el robot coloque un nuevo objeto, basándose únicamente en:

1. Una observación del estado del contenedor antes de la operación.
2. La observación del nuevo objeto a almacenar.
3. Una descripción de alto nivel de la intención de almacenamiento (dónde se planea colocar el objeto y si se necesita empujar otros objetos para hacer espacio).

Desafíos específicos:

• Supervisión dispersa: En entornos reales de producción, no es viable capturar video continuo. Los datos disponibles suelen ser solo pares de imágenes RGB (antes y después), sin información intermedia de los movimientos del robot o las colisiones.
• Diversidad y complejidad: Existen miles de objetos con diferentes formas, tamaños y rigideces, y los contenedores de tela son deformables.
• Interacciones no locales: El objeto nuevo puede empujar, deslizar o volcar objetos existentes, provocando reordenamientos complejos difíciles de inferir solo con imágenes estáticas.

2. Metodología: FOREST

Los autores proponen FOREST (Foresight for STow), un modelo de mundo condicionado a la intención de almacenamiento que utiliza un transformador de difusión latente.

A. Representación de Datos y Supervisión

Dado que no hay video, el modelo aprende a partir de pares de imágenes "antes" y "después".

• Máscaras de Instancia: Se extraen máscaras binarias para cada objeto visible en las imágenes.
• Alineación de Objetos (Item Matching): Se utiliza un algoritmo de asignación (basado en el algoritmo húngaro) para emparejar los objetos existentes antes y después del almacenamiento. Esto crea una representación basada en "ranuras" (slots), donde cada objeto físico ocupa un canal específico en la representación del estado, permitiendo al modelo rastrear el movimiento de objetos específicos.
• Nuevo Objeto Canónico: La máscara del nuevo objeto se normaliza (centrada y rotada) para eliminar información de posición y orientación específica del contenedor, sirviendo como entrada de observación del objeto.

B. Arquitectura del Modelo

FOREST es un modelo de difusión latente basado en transformadores:

1. Codificación Latente: Se utiliza un VAE (Autoencoder Variacional) preentrenado para convertir las máscaras de instancias y las imágenes RGB en mapas de características latentes.
2. Tokenización:
   • El estado del contenedor (antes y después) y el nuevo objeto se convierten en secuencias de tokens.
   • Se añaden embeddings de instancia (para distinguir objetos) y de tipo de condición.
   • La intención de almacenamiento (posición de inserción y operación de barrido) se codifica en un vector de condición.
3. Modelo de Difusión:
   • Utiliza un transformador como columna vertebral.
   • En cada paso de tiempo de difusión, los tokens "ruidosos" del estado futuro (post-stow) actúan como queries, mientras que los tokens del estado actual (pre-stow), el nuevo objeto y la intención actúan como keys y values en capas de atención cruzada.
   • Se emplea Normalización de Capa Adaptativa (AdaLN) para modular cada bloque del transformador con la intención de almacenamiento y el paso de tiempo, permitiendo que el modelo aprenda dinámicas específicas según la acción planeada.

3. Contribuciones Clave

1. Primer Modelo de Mundo Aprendido para Stow Real: FOREST es el primer modelo capaz de operar en escenarios de almacenamiento reales utilizando únicamente supervisión de instantáneas (snapshots) temporales dispersas, sin necesidad de video denso.
2. Evaluación Directa: Cuantifican el rendimiento mediante la Intersección sobre Unión (IoU) a nivel de instancia. FOREST supera significativamente a las líneas base heurísticas (como "copiar y pegar" con gravedad).
3. Evaluación en Tareas Descendentes: Demuestran que las predicciones de FOREST son lo suficientemente precisas para ser utilizadas en tareas posteriores, como la predicción de la disponibilidad de espacio (Delta Linear Opportunity) y el razonamiento de múltiples almacenamiento (multi-stow), con una pérdida de rendimiento mínima.

4. Resultados Experimentales

Los experimentos se realizaron en el conjunto de datos ARMBench (datos reales de almacenes de Amazon).

• Precisión Geométrica (IoU):

  • Objeto Nuevo (N-IoU): FOREST logra un IoU de ~0.70 para inserciones directas y ~0.64 para inserciones con barrido, comparado con ~0.28-0.36 y ~0.12-0.22 respectivamente para las líneas base heurísticas.
  • Objetos Existentes (O-IoU): Mantiene un alto IoU (>0.85) para objetos preexistentes, demostrando que no distorsiona innecesariamente el estado de los objetos que no se mueven.
  • Casos Difíciles: El modelo es particularmente superior en casos "sorprendentes" (donde la heurística falla casi por completo), logrando un IoU de ~0.56-0.61 frente a ~0.01 de las líneas base.

• Tareas Descendentes:

  • Predicción de Oportunidad Lineal (DLO): Al reemplazar las máscaras reales con las predicciones de FOREST en un predictor de DLO, el error absoluto medio (MAE) aumenta solo en 0.0016 - 0.0025, lo que indica que la predicción visual es casi tan buena como la realidad para la planificación de carga.
  • Razonamiento Multi-Stow: FOREST puede encadenarse para predecir secuencias de almacenamiento. Aunque el error se acumula con el tiempo (modo rollout), el modelo mantiene un rendimiento significativamente superior a las líneas base, que colapsan rápidamente después de 3 pasos.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre los modelos de mundo teóricos y las aplicaciones industriales reales de robótica.

• Planificación Robusta: Al permitir que los sistemas de planificación "vean" el futuro antes de ejecutar una acción física, FOREST permite a los robots evaluar si una estrategia de almacenamiento propuesta es viable (ej. ¿bloqueará el acceso a otros objetos? ¿reducirá demasiado la densidad de almacenamiento?).
• Eficiencia en Producción: Al reducir la necesidad de pruebas físicas fallidas o de simulaciones físicas costosas, los modelos de previsión visual pueden acelerar la toma de decisiones en tiempo real en almacenes automatizados.
• Avance en Visión por Computadora: Demuestra la eficacia de los modelos de difusión latente para aprender dinámicas de interacción física complejas a partir de datos extremadamente escasos (solo dos imágenes), un desafío común en la robótica industrial donde la recolección de datos densos es costosa.

En resumen, FOREST proporciona una señal de "previsión" útil y precisa que complementa a los planificadores robóticos, mejorando la eficiencia y la fiabilidad de los sistemas de almacenamiento automatizado.