Retrospective Open-Vocabulary Memory for Long-Term Object Search

I robot che si muovono nel mondo stanno diventando sempre più bravi a vedere, ma sono ancora terribili nel ricordare dove si trovano solitamente le cose. Immaginate un robot incaricato di trovare un set di chiavi smarrito in una casa che ha visitato molte volte. Se il robot ricorda solo l'ultima volta in cui ha visto le chiavi, potrebbe cercare nel posto sbagliato se le chiavi sono state spostate ieri. Se semplicemente conta quante volte ha visto le chiavi in un punto specifico, potrebbe essere ingannato dalla propria sfortuna: forse è passato davanti al tavolo della cucina cento volte ma non ha mai guardato verso il basso, mentre ha solo dato un'occhiata al divano del soggiorno una sola volta e ha visto le chiavi lì. Un semplice conteggio farebbe pensare al robot che il divano sia il posto migliore dove cercare, anche se il tavolo è in realtà dove appartengono le chiavi la maggior parte delle volte. Questo è il problema centrale della ricerca di oggetti a lungo termine: distinguere tra dove un oggetto vive realmente e dove il robot è capitato per caso a guardare.

Per risolvere questo problema, i ricercatori della National University of Singapore hanno sviluppato un nuovo modo per permettere ai robot di costruire una memoria del loro ambiente. Chiamano il loro sistema ECROM, che sta per Exposure-Calibrated Retrospective Open-Vocabulary Memory (Memoria a Vocabolario Aperto Retrospettiva Calibrata sull'Esposizione). Il team ha testato questo sistema in una serie di simulazioni controllate in dieci diverse case digitali, dove gli oggetti venivano spostati secondo schemi nascosti e il percorso del robot veniva deliberatamente variato affinché alcune superfici fossero viste spesso e altre raramente. Hanno scoperto che, pesando attentamente ciò che il robot ha visto rispetto a quanto una superficie avesse effettivamente avuto la possibilità di essere vista, il robot poteva apprendere le vere abitudini degli oggetti. Quando gli veniva chiesto di trovare articoli per i quali non gli era mai stato detto di cercare, questo nuovo sistema di memoria aiutava il robot a trovare l'obiettivo molto più velocemente e in modo più affidabile rispetto ai metodi precedenti.

La sfida affrontata dai ricercatori è radicata nella realtà disordinata del movimento dei robot. In una casa reale, un robot non scansiona ogni centimetro di ogni stanza con perfetta chiarezza. Potrebbe attraversare una cucina mentre guarda il soffitto, o passare accanto a un tavolo da pranzo parzialmente bloccato da una sedia. Se un robot conta semplicemente quante volte ha rilevato un "cappello di paglia" su un tavolo rispetto a un'isola, potrebbe sbagliare la risposta se ha passato più tempo a guardare l'isola. Il cappello potrebbe essere sul tavolo metà delle volte, ma se il robot ha guardato solo l'isola, un semplice conteggio suggerirebbe che l'isola è la casa del cappello. I ricercatori si sono resi conto che per imparare dove gli oggetti si verificano solitamente, un robot deve separare l'evidenza della presenza di un oggetto dall'opportunità che ha avuto di vederlo. Una mancata rilevazione è significativa solo se il robot stava guardando nella direzione giusta; se il robot stava guardando altrove, l'assenza di una rilevazione non ci dice nulla.

Per testare questa idea, il team ha creato un benchmark chiamato LOOP-Bench, che consiste in dieci ambienti domestici realistici. In queste simulazioni, hanno posizionato oggetti come tazze, forbici e cappelli su varie superfici secondo distribuzioni di probabilità nascoste. Alcuni oggetti erano sempre sullo stesso tavolo, altri si spostavano tra alcuni punti, e altri apparivano raramente. Fondamentalmente, il percorso del robot attraverso queste case era generato indipendentmente da dove venivano collocati gli oggetti. Ciò significava che il robot poteva passare davanti a un tavolo dieci volte senza mai vedere chiaramente la superficie, mentre poteva passare accanto a un'isola della cucina una sola volta e avere una visuale perfetta. Questa configurazione ha costretto il sistema di memoria a capire la vera posizione degli oggetti senza essere ingannato dai modelli di movimento del robot.

Il nuovo sistema, ECROM, funziona organizzando la cronologia del robot in una mappa di superfici, o "supporti", e registrando esattamente quanta parte di ogni superficie era visibile durante ogni passaggio. Quando un essere umano chiede successivamente al robot di trovare un articolo specifico, il sistema esamina tutti i viaggi passati. Non si limita a contare le rilevazioni; invece, calcola una probabilità basata su quanta parte della superficie era esposta alla telecamera. Se il robot ha visto una superficie chiaramente e non ha trovato l'oggetto, il sistema abbassa fortemente la convinzione che l'oggetto sia lì. Ma se il robot ha solo colto un'occhiata veloce a una superficie, o se la visuale era ostruita, il sistema tratta la mancanza di una rilevazione come neutra, rifiutandosi di penalizzare quel punto. Ciò consente al robot di apprendere che un oggetto è probabilmente su una superficie che ha visto raramente, a patto che quella superficie sia l'unica in cui l'oggetto è mai stato avvistato quando era visibile.

I risultati della simulazione sono stati chiari. Quando i ricercatori hanno chiesto al robot di trovare oggetti per i quali non era mai stato esplicitamente istruito a cercare, il nuovo sistema ha superato ogni altro metodo testato. Ha migliorato l'accuratezza delle sue previsioni di un margine significativo e, cosa più importante, ha trovato gli oggetti molto più velocemente durante la ricerca attiva. Nelle simulazioni, il robot che utilizzava ECROM ha trovato l'obiettivo in circa il 59 percento dei suoi tentativi, rispetto a circa il 53 percento del metodo successivo migliore. Ancora più sorprendente, in un caso di studio specifico mostrato nel documento, la distanza che il robot doveva percorrere per trovare l'oggetto è scesa da 17,8 metri a soli 3,2 metri. Questa efficienza derivava dal fatto che il robot sapeva esattamente quali superfici valesse la pena controllare per prime, invece di vagare a vuoto o rimanere bloccato nel rivisitare luoghi che aveva già escluso.

Per garantire che non si trattasse solo di un trucco digitale, il team ha testato il sistema anche su un robot fisico, un Hello Robot Stretch 3, in un vero ambiente d'ufficio. Hanno eseguito lo stesso tipo di compito di ricerca con oggetti reali come una tazza rossa, un paio di forbici e una scatoletta di carne in scatola. Il robot doveva navigare in uno spazio di 500 metri quadrati, muovendosi tra scrivanie e scaffali, per trovare questi articoli. I risultati hanno rispecchiato la simulazione. Il robot che utilizzava il nuovo sistema di memoria ha avuto successo nel trovare gli oggetti in 14 casi su 15, mentre gli altri metodi hanno avuto successo solo in 10 o 11. Il robot fisico ha anche percorso una distanza significativamente inferiore, coprendo in media 19,4 metri rispetto ai quasi 29 metri degli altri approcci. Ciò ha dimostrato che la logica di separare l'opportunità di osservazione dalla presenza dell'oggetto funziona anche quando il robot deve affrontare l'imprevedibilità della luce e del disordine del mondo reale.

I ricercatori hanno anche esplorato cosa sarebbe successo se avessero rimosso le parti chiave del loro sistema. Quando hanno costretto il robot ad assumere di aver visto ogni superficie completamente, anche quando chiaramente non era così, le prestazioni del robot sono diminuite. Ha iniziato a trattare le rilevazioni mancanti come prova dell'assenza di un oggetto, portandolo a ignorare le posizioni corrette. Allo stesso modo, quando hanno semplificato il sistema limitandosi a guardare se un oggetto era stato visto o meno, ignorando la forza dell'evidenza visiva, il robot è diventato meno preciso. Questi test hanno confermato che il successo del sistema dipendeva da due cose specifiche: un attento conteggio di quanta parte di una superficie fosse effettivamente visibile e un'interpretazione sfumata della forza dell'evidenza visiva.

Questo lavoro suggerisce una strada da seguire per i robot che devono operare in ambienti dinamici e mutevoli per lunghi periodi. Inveve di ricordare solo l'ultima volta che hanno visto qualcosa, o di tenere un semplice conteggio delle avvistamenti, questi robot possono apprendere le abitudini del mondo che li circonda. Possono capire che solo perché non hanno visto una tazza di caffè su un bancone di recente, non significa che la tazza non sia lì; potrebbe solo significare che non hanno guardato quel bancone da un po'. Costruendo una memoria che rispetti i limiti della propria visione, un robot può diventare un partner più affidabile in casa, capace di trovare oggetti smarriti anche quando il mondo intorno a lui è in costante mutamento. I ricercatori prevedono di rilasciare il loro codice e i dati del benchmark al pubblico, consentendo ad altri di costruire su questa base di macchine più intelligenti e osservatrici.