Per decenni, il sogno di un robot utile è stato limitato da una semplice realtà: le macchine sono eccellenti nel seguire istruzioni rigide ma terribili nel comprendere la natura disordinata e mutevole della conversazione umana. Se dici a un robot tradizionale "portami la lattina rossa", esso troverà la lattina rossa e la porterà, anche se cambi idea a metà del processo. Gli manca l'intelligenza sociale per rendersi conto che la tua intenzione è evoluta, per interrompere la sua azione e per adattare il proprio comportamento sulla base di una nuova informazione. Questo divario tra la programmazione rigida e l'interazione umana fluida è la sfida centrale che i ricercatori stanno ora cercando di risolvere. Il campo si sta spostando dal semplice insegnare ai robot come vedere e muoversi; il nuovo obiettivo è insegnare loro ad ascoltare, ricordare, ragionare e cambiare idea in tempo reale, proprio come fanno le persone quando lavorano insieme.

Un team di Ludo Robotics ha compiuto un passo significativo verso questo obiettivo con un nuovo sistema chiamato Ludi0.1. Questo non è un singolo software che cerca di fare tutto in una volta, ma piuttosto un team coordinato di strumenti specializzati che lavorano insieme sotto la guida di un "cervello" centrale. Questo cervello è un tipo di intelligenza artificiale addestrata a comprendere sia le immagini che il linguaggio, ma è stata specificamente istruita su come gestire il botta e risposta di una vera conversazione. I ricercatori hanno costruito un sistema in cui questo cervello può guardare ciò che vede, ascoltare ciò che una persona dice, ricordare cosa è successo un momento prima e poi decidere se parlare, muoversi, prendere un oggetto o aspettare. L'innovazione chiave è che il sistema è progettato per gestire interruzioni e correzioni. Se una persona inizia a chiedere una Coca Cola, e il robot inizia a protenderisi verso di essa, ma la persona dice improvvisamente: "In realtà, lei preferisce la Pepsi", Ludi0.1 comprende che il vecchio piano non è più valido. Si ferma nel protendersi verso la Coca Cola, sposta il suo focus sulla Pepsi e continua il compito con la nuova istruzione, il tutto senza interrompere il flusso dell'interazione.

Per costruire questo, i ricercatori non si sono affidati a un singolo modello massiccio che cerchi di imparare tutto da zero. Inve al fine, hanno creato una struttura in cui un modello di ragionamento centrale agisce come un manager. Questo manager riceve un flusso di informazioni: un feed video in tempo reale dagli occhi del robot, il testo di ciò che l'umano ha appena detto e un registro di tutto ciò che il robot ha fatto o pensato finora. In base a questo quadro completo, il manager decide quale strumento utilizzare successivamente. Questi strumenti sono programmi specializzati per compiti specifici, come controllare se un oggetto è a portata di braccio, navigare verso una stanza nominata come la camera da letto o effettivamente afferrare un oggetto. Il manager potrebbe decidere di porre una domanda di chiarimento, oppure potrebbe decidere di camminare verso una scrivania. Fondamentalmente, il sistema è costruito per essere eseguito localmente su una workstation con GPU in loco collegata al robot, il che significa che non deve attendere una connessione a internet per pensare o agire. Ciò consente al robot di reagire istantaneamente, anche mentre sta parlando o muovendosi.

Il team ha testato questo sistema su un Unitree G1, un robot umanoide che sta in piedi e cammina come una persona. Hanno creato una simulazione di un ambiente domestico per addestrare il robot, generando migliaia di esempi di interazioni complesse. In questi scenari di addestramento, il robot ha praticato la gestione di richieste ambigue, la gestione di correzioni a metà compito e la gestione di commissioni multi-fase. Ad esempio, il robot ha imparato che se un utente dice "porta il laptop centrale", deve prima guardare la scena per identificare quale laptop si trovi in mezzo prima di poter tentare di prenderlo. I dati di addestramento includevano situazioni in cui l'utente cambiava idea, interrompeva il robot o forniva nuove informazioni mentre il robot era già in azione. I ricercatori hanno scoperto che, perfezionando il loro modello di ragionamento centrale su questi specifici schemi di interazione, il robot è diventato molto più bravo a completare i compiti con successo. Nei loro test, il sistema è riuscito a completare 20 scenari complesi su 28 end-to-end, un miglioramento significativo rispetto alla versione non addestrata dello stesso modello.

Il successo di Ludi0.1 risiede nella sua capacità di mantenere la conversazione e l'azione fisica ancorate alla stessa realtà. Il robot non pronuncia solo parole; pronuncia parole che sono direttamente collegate a ciò che vede e a ciò che sta facendo. Se il robot sta camminando verso una stanza, può spiegare dove sta andando. Se non riesce a raggiungere un oggetto, può dirlo onestamente. Il sistema mantiene una cronologia condivisa dell'interazione, permettendogli di ricordare che l'utente voleva originariamente una Coca Cola ma poi è passato alla Pepsi. Questa memoria non è solo un elenco di fatti; è un contesto vivo che modella ogni nuova decisione presa dal robot. I ricercatori hanno dimostrato questo in un test nel mondo reale in cui un utente ha chiesto al robot di portare una bevanda a una persona in una camera da letto. Quando l'utente ha corretto l'ordine dalla Coca Cola alla Pepsi mentre il robot si stava già protendendo verso la prima lattina, il robot si è fermato immediatamente, ha cambiato la bevanda corretta, si è diretto verso la camera da letto e ha posato la bevanda sulla scrivania, il tutto spiegando le proprie azioni all'utente.

Sebbene il sistema sia impressionante, i ricercatori sono chiari sui suoi attuali limiti. L'intelligenza del robot è un mix di un cervello centrale e di strumenti separati e specializzati. Il cervello decide cosa fare e gli strumenti fanno il lavoro, ma non sono ancora una mente singola e unificata. Questa separazione può talvolta causare ritardi o rendere il comportamento del robot leggermente frammentato, come se diverse parti del sistema stessero parlando tra loro invece di agire come uno solo. Il team riconosce che il prossimo passo è andare oltre questo approccio modulare. Stanno lavorando verso una versione futura, Ludi 1.0, che sarebbe un singolo modello di base che integra profondamente percezione, linguaggio, memoria e controllo fisico in un unico sistema coeso. Per ora, Ludi0.1 funge da prototipo funzionante e da fonte di dati preziosi. Osservando come il robot interagisce con le persone, i ricercatori stanno raccogliendo il tipo di tracce del mondo reale necessari per addestrare quella prossima generazione di robot sociali veramente integrati.

Il lavoro presentato in questo articolo dimostra che la collaborazione fluida uomo-robot è possibile oggi, a patto che il sistema sia progettato per gestire l'imprevedibilità dell'intento umano. I ricercatori hanno dimostrato che, combinando un nucleo di ragionamento con abilità fisiche specializzate e una memoria robusta dell'interazione, un robot può adattarsi ai cambiamenti nel mezzo di un compito. Questo non è un problema risolto, e l'attuale sistema si basa ancora su un'architettura strutturata piuttosto che su un'intelligenza unificata completamente appresa. Tuttavia, i risultati suggeriscono una chiara strada da seguire. La capacità di fermarsi, ascoltare, rivedere e continuare non è più solo un concetto teorico; è una capacità che può essere costruita e testata proprio ora. Mentre il team continua a perfezionare questi sistemi, il divario tra le macchine rigide del passato e i partner collaborativi del futuro continua a restringersi.