Reproducible Multimodal Affordance Prediction

Immaginate un robot che allunga la mano verso una tazza di caffè su un piano da cucina ingombro. Per riuscirci, la macchina deve fare molto di più che semplicemente vedere l'oggetto; deve comprenderne cosa si può fare con esso. Deve sapere che il manico è fatto per essere impugnato, che il bordo è sicuro da toccare e che il fondo è stabile per il sollevamento. Nel mondo della robotica e dell'intelligenza artificiale, questa comprensione delle azioni potenziali è chiamata "affordance". È il ponte tra il vedere un oggetto e il sapere come interagire con esso. Perché i robot possano lavorare in sicurezza accanto agli esseri umani in ambienti non strutturati — come case o ospedali — devono essere in grado di prevedere queste azioni in modo affidabile, anche quando gli oggetti sono parzialmente nascosti, la luce cambia o il robot sta tenendo in mano qualcosa. Eppure, nonostante l'importanza di questa capacità, il campo ha faticato a progredire perché i ricercatori hanno parlato lingue diverse, utilizzato strumenti diversi e non hanno condiviso le planimetrie del proprio lavoro.

Un team di ricercatori italiani e svizzeri ha identificato che l'attuale stato della previsione delle affordance è frammentato e difficile da verificare. Hanno scoperto che, sebbene molti scienziati costruiscano modelli per insegnare alle macchine come interagire con gli oggetti, questi modelli sono spesso impossibili da confrontare equamente. Un ricercatore potrebbe definire il problema come il trovare l'esatto punto per afferrare un oggetto, mentre un altro lo definisce come la previsione della forma di una mano umana che lo impugnerebbe. Utilizzano dataset differenti, alcuni dei quali sintetici e altri reali, e spesso non condividono il codice o le impostazioni specifiche utilizzate per addestrare i loro sistemi. Questa mancanza di trasparenza significa che un modello potrebbe apparire efficace in un rapporto di laboratorio ma fallire completamente quando viene posto in uno scenario del mondo reale, o peggio, potrebbe essere impossibile per altri scienziati sapere se i risultati siano stati ottenuti correttamente. Gli autori sostengono che senza un modo standard per documentare come questi sistemi vengono costruiti e testati, il progresso è bloccato e la sicurezza della collaborazione uomo-robot rimane incerta.

Per risolvere questo problema, i ricercatori hanno introdotto un nuovo strumento di documentazione chiamato "Affordance Sheet" (Scheda delle Affordance). Pensate a questo come a un passaporto dettagliato per un modello di intelligenza artificiale. Proprio come un passaporto elenca il nome, la nazionalità e la storia dei viaggi di una persona, una Scheda delle Affordance elenca esattamente cosa un modello è progettato per fare, da quali dati ha imparato, come è stato addestrato e come è stato testato. Gli autori hanno creato questo modello per imporre la trasparenza. Richiede ai ricercatori di specificare il tipo di input che il modello utilizza, come immagini, linguaggio o nuvole di punti 3D, e di dichiarare se un essere umano è presente nello scenario. Fondamentalmente, richiede ai creatori di fornire link al proprio codice, ai dataset utilizzati e alle regole specifiche seguite durante l'addestramento, come il ridimensionamento delle immagini o la regolazione della velocità di apprendimento. Compilando questa scheda, un ricercatore rende il proprio lavoro aperto all'ispezione, permettendo ad altri di verificare i risultati o di costruire sopra di essi senza dover indovinare i dettagli mancanti.

Il team ha testato l'efficacia di questo nuovo standard applicandolo a quattro modelli esistenti e di alto profilo nel settore. Quando hanno cercato di compilare le schede per questi modelli, le lacune nella ricerca originale sono diventate palesemente evidenti. Alcuni modelli non avevano codice disponibile, mentre altri avevano il codice ma non i pesi addestrati, rendendo impossibile eseguirli nuovamente. Diversi studi non hanno riportato come avessero suddiviso i dati per il test, lasciando incerto se i risultati fossero genuini o se il modello avesse semplicemente memorizzato le risposte. In un caso, un modello sosteneva di funzionare su oggetti del mondo reale, ma la scheda ha rivelato che era stato testato solo su immagini sintetiche generate da un computer. In un altro caso, i ricercatori hanno dovuto indovinare le impostazioni di addestramento perché l'articolo originale le aveva omesse. Queste incongruenze significavano che i modelli non potevano essere confrontati equamente; uno poteva apparire superiore semplicemente perché era stato testato in condizioni più facili o con una migliore preparazione dei dati, non perché fosse più intelligente.

L'indagine ha anche evidenziato una lacuna critica nel modo in cui questi sistemi vengono validati. La maggior parte dei modelli viene testata in ambienti di laboratorio controllati, dove gli oggetti siedono perfettamente immobili su un tavolo sotto luci brillanti. Tuttavia, le Schede delle Affordance hanno rivelato che pochissimi di questi modelli sono mai stati testati su robot reali che interagiscono con persone reali in ambienti disordinati e imprevedibili. I ricercatori hanno sottolineato che, affinché un robot sia sicuro, deve essere dimostrato che sia in grado di gestire le occlusioni — quando una mano o un altro oggetto blocca la vista — e di generalizzare su oggetti che non ha mai visto prima. L'attuale mancanza di tale test significa che molti sistemi promettenti rimangono teorici. Gli autori hanno scoperto che solo un piccolo numero dei modelli esaminati includeva una sezione sulla sicurezza o descriveva come si sarebbero comportati in presenza di un essere umano, il che rappresenta una preoccupazione maggiore per il futuro impiego.

Proponendo la Scheda delle Affordance, i ricercatori non stanno solo chiedendo una migliore gestione burocratica; stanno chiedendo un cambiamento culturale nel modo in cui viene condotta la ricerca sull'intelligenza artificiale. Suggeriscono che il campo debba allontanarsi dagli esperimenti isolati e muoversi verso una cultura di scienza aperta in cui i metodi siano riproducibili e i confronti siano equi. Lo strumento è progettato per essere flessibile, capace di adattarsi a nuovi tipi di modelli e compiti che vanno oltre la semplice previsione delle affordance. L'obiettivo finale è garantire che, quando un robot sarà eventualmente impiegato per assistere un essere umano, la sua capacità di interagire con il mondo non sia un mistero, ma una capacità verificata, affidabile e sicura. L'articolo conclude che, senza questo livello di trasparenza, il campo rischia di costruire sistemi che sembrano buoni sulla carta ma che non possono essere di fiducia nel mondo reale.