From Pixels to Shelf: An Integrated Robotic System for Autonomous Supermarket Stocking with a Mobile Manipulator

Sintesi Tecnica: Dai Pixel allo Scaffale

Problematica
L'approvvigionamento autonomo in ambienti retail, in particolare nei supermercati, affronta ostacoli significativi dovuti alle dinamiche interazioni umane, agli spazi ristretti e alla diversità geometrica dei prodotti. Sebbene i Robot Mobili Autonomi (AMR) abbiano avuto successo nei magazzini strutturati, la loro adozione nel settore retail rimane limitata dagli elevati costi, dalla complessità tecnica e dalla difficoltà della navigazione e manipolazione "ultimo metro" in spazi condivisi tra uomo e robot. Le soluzioni esistenti spesso si affidano a hardware di fascia alta, mancano di capacità di manipolazione complete o si concentrano su submoli (ad esempio, la scansione dell'inventario) piuttosto che su pipeline di approvvigionamento end-to-end complete.

Metodologia
Gli autori propongono un sistema robotico integrato ed economico, progettato per l'impiego commerciale utilizzando hardware standard (off-the-shelf) e un'architettura software scalabile basata su ROS2.

• Piattaforma Hardware: Il sistema utilizza l'Hello Robot Stretch 3, un manipolatore mobile con una base a trazione differenziale, un braccio telescopico e un polso a 3 gradi di libertà (3-DoF). È alimentato da un Intel NUC per la pianificazione on-board e da una workstation esterna (Intel i9, NVIDIA RTX 4090) per i compiti pesanti di percezione.
• Architettura di Pianificazione: La gestione dei task di alto livello è gestita tramite un framework di Alberi di Comportamento (Behavior Tree - BT). Il BT gestisce il decision-making reattivo, inclusi l'attracco (docking), la ricarica e l'esecuzione dei task (prelievo e posizionamento). I task vengono generati tramite un'applicazione web e trasmessi al robot tramite MQTT.
• Navigazione e Localizzazione:
  • Navigazione Globale: Utilizza il framework Nav2 con un controllore Model Predictive Path Integral (MPPI) e uno Spatio-Temporal Voxel Layer (STVL) per rilevare ostacoli invisibili al LiDAR (ad esempio, oggetti elevati).
  • Navigazione "Ultimo Metro": Per superare i limiti del raggio minimo del LiDAR vicino agli scaffali, il sistema impiega marker ArUco posizionati negli alloggiamenti delle etichette degli scaffali. Un Filtro di Kalman (KF) a 14 stati fonde i dati dei marker visivi per una stima della posa robusta.
  • Controllo: Un framework di controllo predittivo basato su modello (MPC) a due stadi coordina la base e la testa della telecamera. Il primo stadio ottimizza il movimento della base per raggiungere lo scaffale, mentre il secondo ottimizza il movimento della testa della telecamera per mantenere il marker nel campo visivo e garantire traiettorie di approccio fluide.
• Pipeline di Percezione:
  • Rilevamento Oggetti: Utilizza modelli YOLO11n-cls perfezionati per l'identificazione dei prodotti alimentari. Per i prodotti privi di modelli specifici, il sistema tenta di utilizzare GPT-4o con immagini di riferimento, sebbene ciò sia segnalato come meno efficiente.
  • Segmentazione e Tracciamento: Impiega SAM2 (Segment Anything Model 2) per la segmentazione della scena e il tracciamento degli oggetti basato su video per isolare i prodotti target.
  • Manipolazione: Il processo di prelievo prevede la generazione di nuvole di punti dai dati RGB-D, il calcolo dei bounding box basati sulle dimensioni note del prodotto e l'uso di un controllore del braccio basato sulla velocità. Il processo di posizionamento interroga un planogramma per determinare le posizioni sugli scaffali, utilizza il KF per una localizzazione precisa e impiega un controllore di Cinematica Inversa (IK) per il posizionamento, con rilevamento del contatto per garantire un rilascio delicato.

Contributi Chiave

1. Integrazione di Sistema: Il documento presenta una pipeline ROS2 completamente integrata e implementabile, che combina hardware standard con percezione avanzata (YOLO, SAM2), pianificazione (BT) e controllo (MPC, KF) specificamente adattati per l'approvvigionamento retail.
2. Soluzione "Ultimo Metro" Economica: Gli autori dimostrano una strategia di navigazione e manipolazione robusta utilizzando marker ArUco a basso costo e un MPC a due stadi, ottenendo un'alta affidabilità senza richiedere suite di sensori costose e di fascia alta.
3. Validazione Completa: Il lavoro include estesi esperimenti di laboratorio che replicano scenari di approvvigionamento notturno, fornendo un benchmark quantitativo rispetto alla teleoperazione e ai lavoratori umani, e scomponendo i gap di prestazione in limiti hardware e software.
4. Open Source: I moduli chiave, inclusi il simulatore e i pacchetti ROS2, sono rilasciati come open source per facilitare ulteriore ricerca.

Risultati Sperimentali
Il sistema è stato valutato in un ambiente di supermercato simulato su 70 task di approvvigionamento che hanno coinvolto 724 operazioni individuali di pick-and-place.

• Tassi di Successo: Il sistema ha raggiunto un tasso di successo a livello di oggetto superiore al 98% e un tasso di successo a livello di task superiore all'87%. La maggior parte dei fallimenti si è verificata durante la fase di prelievo a causa di errori di classificazione o latenza di rete, mentre il posizionamento è stato altamente affidabile.
• Prestazioni della Percezione: I modelli YOLO perfezionati hanno superato significativamente GPT-4o sia in termini di accuratezza (97,5% vs 84,7%) che di tempo di inferenza (0,2s vs 6,9s).
• Prestazioni vs Umani: Il sistema autonomo è stato circa 10 volte più lento dei lavoratori umani. Tuttavia, è stato significativamente più veloce ed economico della teleoperazione.
• Analisi dei Costi: Sebbene il sistema autonomo sia attualmente meno efficiente del lavoro umano, offre vantaggi economici attraverso l'operatività notturna senza costi di manodopera incrementali. Gli autori stimano che circa l'80% del gap di prestazione rispetto agli umani sia attribuibile ai vincoli hardware (ad esempio, dimensione della pinza, velocità), mentre il 20% sia dovuto a limitazioni software.

Significatività e Rivendicazioni
Il documento sostiene di aver dimostrato la fattibilità pratica dell'approvvigionamento autonomo negli ambienti retail utilizzando hardware accessibile e disponibile sul mercato. Evidenzia che, sebbene gli attuali sistemi autonomi non siano ancora pronti a sostituire completamente i lavoratori umani a causa dei gap di velocità e convenienza economica, l'integrazione di algoritmi modulari di percezione e controllo ha raggiunto un'alta affidabilità (successo del 98%) in compiti complessi e non strutturati. Il lavoro funge da base per futuri miglioramenti, identificando le capacità hardware come il collo di bottiglia primario per il raggiungimento dell'efficienza di livello umano nell'automazione retail. Gli autori dichiarano esplicitamente che un dispiegamento commerciale diffuso richiede ulteriori progressi sia nella velocità dell'hardware che nell'ottimizzazione del software.