Visual Prompting for Robotic Manipulation with Annotation-Guided Pick-and-Place Using ACT

Sintesi Tecnica: Visual Prompting per la Manipolazione Robotica con Pick-and-Place Guidato da Annotazioni Utilizzando ACT

Problematica
I compiti di pick-and-place robotici in ambienti di tipo convenience store affrontano ostacoli significativi dovuti a disposizioni di oggetti dense, occlusioni frequenti e un'elevata variabilità nelle proprietà degli oggetti (colore, forma, dimensione, texture). Gli approcci tradizionali che si affidano a euristiche predefinite, ambienti strutturati o una segmentazione esaustiva della scena spesso mancano dell'adattabilità necessaria per nuovi articoli e layout dinamici. Inoltre, la pianificazione convenzionale passo dopo passo può essere soggetta a errori nei compiti a lungo termine (long-horizon), portando ad errori accumulati e al fallimento del compito.

Metodologia
Gli autori propongono una pipeline percezione-azione che combina il visual prompting guidato da annotazioni con Action Chunking with Transformers (ACT), un algoritmo di apprendimento per imitazione.

• Visual Prompting: Invece di richiedere al robot di eseguire una complessa ed esaustiva analisi della scena, il sistema utilizza annotazioni tramite bounding box per fornire una guida spaziale strutturata. Queste annotazioni identificano esplicitamente l'oggetto target da prelevare (pick) e la destinazione per il posizionamento (place). Il sistema impiega due telecamere Intel RealSense (D435i sul polso e D415 sul tavolo) per catturare dati RGB e di profondità. Le immagini RGB, aumentate dai prompt visivi (bounding box), servono come input diretti alla rete neurale.
• Action Chunking with Transformers (ACT): L'algoritmo di controllo centrale è ACT, che sostituisce la rigida pianificazione passo dopo passo con la predizione di sequenze di azioni "a blocchi" (chunked).
  • Architettura: Il modello utilizza un'architettura basata su Transformer. Un encoder CVAE elabora i dati delle dimostrazioni umane (azioni e osservazioni senza immagini) per generare una variabile latente ($z$). Un decoder Transformer prevede quindi una sequenza di azioni future (un "chunk") basandosi sullo stato corrente, sulla variabile latente e sull'input visivo (immagine RGB con bounding box).
  • Addestramento: Il sistema viene addestrato tramite apprendimento per imitazione utilizzando dimostrazioni umane raccolte tramite teleoperazione (3D space mouse). L'obiettivo di addestramento è minimizzare l'errore di ricostruzione tra i chunk di azioni predetti e quelli reali, regolarizzato da un termine di divergenza KL.
• Configurazione Sperimentale: Il sistema è stato implementato su un braccio robotico Universal Robots UR5e equipaggiato con una pinza Robotiq a 2 dita. Gli esperimenti sono stati condotti in un ambiente simulato e reale di un convenience store utilizzando sei distinte categorie di prodotti (ad esempio, ciotole di noodles, scatole di cioccolato, bottiglie di tè) che rappresentano diverse forme, texture e materiali.

Contributi Chiave

1. Annotation-Guided Visual Prompting: L'introduzione del visual prompting basato su bounding box per guidare la manipolazione robotica. Questo approccio riduce la complessità della comprensione della scena garantendo l'esecuzione del compito attraverso l'uso di segnali spaziali leggeri ed efficaci.
2. Sistema Adattivo Basato su ACT: L'implementazione di ACT per consentire al braccio robotico di eseguire sequenze di azioni fluide e a blocchi derivate da dimostrazioni umane, piuttosto che fare affidamento su una pianificazione incrementale rigida.
3. Framework di Valutazione Sistematico: Un'analisi sperimentale strutturata attraverso tre livelli progressivi di complessità del compito (scenari Semplice, Complesso e Più Complesso) per valutare come il visual prompting e la diversità degli oggetti influenzino le prestazioni robotiche.

Risultati
Il sistema è stato valutato in tre scenari con disposizioni 3x3 di prodotti:

• Scenario Semplice: Nove scatole simili con un target annotato. Il sistema ha raggiunto un tasso di successo del 90%, dimostrando affidabilità in ambienti uniformi.
• Scenario Complesso: Nove prodotti diversi con un target annotato. I tassi di successo iniziali sono scesi al 70% a causa delle variazioni nelle proprietà degli oggetti (riflettività, scivolosità). Dopo aver aumentato i dati di dimostrazione del 20% specificamente per i casi di fallimento, le prestazioni del sistema sono migliorate significativamente, raggiungendo un tasso di successo del 100% in tutte le categorie di oggetti in questo scenario.
• Scenario Più Complesso: Nove prodotti diversi in posizioni variabili con l'annotazione sia del luogo di prelievo (pick) che di quello di posizionamento (place). Il successo iniziale era del 70%. A causa della maggiore difficoltà, i ricercatori hanno raccolto il doppio dei dati annotati dall'uomo per ogni prodotto. Dopo questo aumento di dati, le prestazioni sono migliorate, sebbene alcune categorie specifiche di oggetti (ad esempio, bottiglie di tè riflettenti, barattoli scivolosi) abbiano ancora mostrato tassi di successo inferiori (80%) rispetto alle scatole rigide (90%).

Analisi dei Fallimenti
Lo studio ha identificato specifici modi di fallimento, tra cui il disallineamento delle dita, la debolezza della forza di presa che porta allo scivolamento (particolarmente sulle superfici scivolose) e il disallineamento del posizionamento. Le mappe di calore dell'attenzione (attention heatmaps) hanno rivelato che il modello ACT sposta con successo il focus dal luogo di prelievo al luogo di posizionamento, adattando la propria strategia in base ai prompt visivi. Tuttavia, gli oggetti con superfici riflettenti o texture morbide hanno presentato sfide persistenti, portando a disallineamenti e fallimenti nella presa.

Significatività e Rivendicazioni
Il documento sostiene che la combinazione di visual prompting e action chunking permette ai robot di interpretare ed agire efficientemente su annotazioni minime ma informative per compiti di manipolazione nel mondo reale. Il metodo proposto rappresenta un passo avanti nella creazione di sistemi robotici capaci di gestire variazioni complesse di oggetti con una migliore autonomia e robustezza.

Gli autori mantengono una posizione modesta riguardo ai limiti del loro lavoro. Essi riconoscono esplicitamente che il sistema è esigente in termini di dati, facendo forte affidamento su dati di dimostrazione umana diversificati e di alta qualità. Di conseguenza, il documento non rivendica una generalizzazione universale senza sufficienti dati di addestramento. Il lavoro futuro è identificato nel focus sull'aumento dei dati (data augmentation) per espandere artificialmente i dataset, piuttosto che nel rivendicare soluzioni immediate alla scarsità di dati. Lo studio conclude che, sebbene l'approccio migliori la stabilità della presa e la precisione del posizionamento, l'efficacia rimane legata alla qualità e alla quantità delle dimostrazioni di addestramento.