LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories

Immaginate un mondo in cui il lavoro più delicato, ripetitivo e preciso in un laboratorio di chimica non è svolto da una mano umana, ma da una macchina. Per decenni, gli scienziati hanno sognato di automatizzare questi spazi per accelerare la scoperta, ma i robot che abbiamo costruito finora sono spesso goffi. Sono dotati di semplici pinze che possono afferrare una scatola o un blocco, ma faticano con i movimenti sfumati e fluidi necessari per maneggiare una provetta di vetro, versare un liquido senza versarlo o mescolare una soluzione con una bacchetta sottile. Per progredire, i ricercatori avevano bisogno di un modo per insegnare alle macchine il tipo di destrezza che possiede un essere umano: la capacità di usare le dita per sentire, regolare e manipolare oggetti con cura. Questa è la sfida della "manipolazione destra", un campo che cerca di dare ai robot mani che possano fare più di quanto non sia semplicemente afferrare le cose; devono essere in grado di eseguire compiti complessi e multi-fase che richiedono un tocco delicato e una mano ferma.

In un nuovo studio, un team di ricercatori ha creato un nuovo, enorme banco di prova per risolvere questo problema, specificamente per i laboratori di chimica. Lo chiamano LabDex. Invece di chiedere semplicemente a un robot di prendere un singolo oggetto, i ricercatori hanno organizzato l'intero ambito del lavoro di laboratorio in una chiara gerarchia a tre livelli. Alla base ci sono le "abilità atomiche", che sono i movimenti minuscoli e fondamentali come afferrare una bacchetta di vetro, versare l'acqua o scuotere una provetta. Il livello successivo sono le "abilità compositive", dove il robot deve concatenare diversi di quei piccoli movimenti per completare una singola funzione, come prendere un becher, versarne il contenuto e appoggiarlo. Infine, al vertice ci sono i "workflow a lungo termine", che sono esperimenti completi che richiedono al robot di eseguire una lunga sequenza di diverse azioni per raggiungere un risultato scientifico finale. Scomponendo il lavoro in questo modo, il team ha potuto vedere esattamente dove un robot ha successo e dove fallisce, piuttosto che limitarsi a guardare se l'esperimento finale è riuscito o meno.

Per costruire questo benchmark, i ricercatori hanno costruito un sistema unificato che funziona sia nel mondo reale che in una simulazione informatica. Nel loro laboratorio fisico, hanno utilizzato un braccio robotico dotato di una mano sofisticata e multi-articolata che assomiglia e si muove molto come una mano umana. Un operatore umano, indossando guanti speciali per i dati e utilizzando dispositivi di tracciamento del movimento, ha teleoperato il robot per eseguire questi compoli, guidandolo fisicamente attraverso i movimenti. Il robot ha registrato ogni movimento, ogni angolazione della telecamera e ogni posizione dell'articolazione, creando una libreria di migliaia di dimostrazioni. Hanno poi tradotto queste lezioni del mondo reale in un ambiente virtuale, permettendo loro di testare l'apprendimento del robot in uno spazio digitale sicuro e ripetibile prima di riprovare sull'hardware reale. Questo approccio duale garantisce che i dati non siano solo una collezione di numeri, ma una rappresentazione fedele delle realtà fisiche di un laboratorio di chimica.

I ricercatori hanno poi messo alla prova diversi dei sistemi di apprendimento robotico più avanzati utilizzando questo nuovo benchmark. Hanno osservato questi sistemi mentre cercavano di apprendere i compiti dai dati di dimostrazione. I risultati sono stati rivelatori. Mentre alcuni dei modelli più recenti e avanzati potevano eseguire con successo i compiti semplici a singolo passaggio — come prendere un becher o posizionarlo su un tavolo con alta precisione — faticavano significativamente quando veniva chiesto loro di concatenare questi passaggi. Quando i compiti diventavano più complessi, richiedendo al robot di versare un liquido da un contenitore all'altro e poi restituire il contenitore, i tassi di successo diminuivano drasticamente. Il modello più capace è riuscito a completare una media di 0,73 abilità atomiche per ogni compito multi-parte, ma nessuno dei modelli è stato in grado di completare l'intera sequenza di un esperimento completo autonomamente.

Un esame più approfondito dei fallimenti ha mostrato che il problema non era solo commettere un errore una volta; si trattava di come un piccolo errore all'inizio del processo rovinasse tutto ciò che veniva dopo. Ad esempio, se un robot riusciva ad afferrare un imbuto ma lo teneva con un angolo leggermente errato, non riusciva a inserirlo in un pallone, e l'intero esperimento si interrompeva. Lo studio ha rilevato che i robot erano particolarmente scarsi nel gestire oggetti lunghi, sottili o fatti di vetro, come provette e cilindri graduati. Questi oggetti sono sensibili all'esatto punto in cui le dita li toccano, e i robot mancavano del controllo fine per regolare la presa in tempo reale. Inoltre, quando i ricercatori aggiungevano oggetti extra sul tavolo che sembravano simili al bersaglio, i robot si confondevano, spesso afferrando l'oggetto sbagliato o fallendo nel compiere l'azione.

Il team ha anche testato quanto bene questi robot potessero apprendere da più dati. Hanno scoperto che mostrare semplicemente al robot più esempi di come eseguire un compito aiutava, ma solo fino a un certo punto. I modelli più avanzati miglioravano significativamente quando vedevano centinaia di dimostrazioni invece di poche, suggerendo che questi sistemi hanno bisogno di una vasta quantità di esperienza per apprendere le sottili differenze tra un versamento riuscito e uno versato. Tuttavia, anche con questi dati extra, i robot non riuscivano ancora a completare in modo affidabile gli esperimenti completi e a lungo termine che un chimico umano può fare con facilità. Lo studio conclude che, sebbene si sia fatto progressi nell'insegnare ai robot a eseguire singoli movimenti semplici, la capacità di combinare quei movimenti in un workflow stabile, affidabile e duraturo rimane un ostacolo importante.

Questo lavoro non sostiene di aver risolto il problema del laboratorio autonomo. Al contrario, fornisce una mappa chiara di dove la strada sia bloccata. Mostrando esattamente quali abilità mancano e come gli errori in un passaggio causino un effetto a cascata che rovina l'intero processo, i ricercatori hanno dato alla comunità scientifica un obiettivo preciso per i futuri miglioramenti. Il benchmark LabDex serve come un metro standard, permettendo a diversi team di misurare i propri progressi rispetto allo stesso insieme di compiti difficili e reali. È un promemoria del fatto che costruire un robot che possa davvero lavorare in un laboratorio richiede più di un braccio forte; richiede una mano che possa pensare, sentire e adattarsi, proprio come le mani umane che hanno svolto questo lavoro per secoli.