HumanCLAW: Can Vision-Language Models Act Through a Body?
Questo articolo introduce HumanCLAW, un framework che scinde il processo decisionale dei modelli visione-linguaggio dall'esecuzione motoria per valutare l'intelligenza incarnata, rivelando che gli attuali modelli falliscono nei compiti fisici a lungo termine principalmente a causa di una mancanza di autoconsapevolezza incarnata piuttosto che di capacità di riconoscimento.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di stare insegnando a un robot brillante e super intelligente a giocare a un videogioco. Ma questo non è un gioco qualunque; è un gioco in cui il robot deve controllare un corpo fisico reale che può inciampare, cadere, urtare i muri e rovesciare dei vasi. Nel mondo dell'intelligenza artificiale, esistono due tipi principali di "cervelli" per i robot. Un tipo è come un pilota che ha memorizzato milioni di percorsi di volo specifici; è bravissimo nel fare esattamente ciò che ha già visto, ma se il vento soffia in modo diverso, potrebbe schiantarsi. L'altro tipo è un "Modello Visione-Linguaggio" (VLM). Pensa a questo come a un robot con una biblioteca immensa e una telecamera per gli occhi. Può leggere una storia, guardare un'immagine e comprendere concetti complessi come "trova il divano rosso e siediti sopra". È incredibile nel ragionare e nel parlare, ma non ha mai effettivamente mosso un corpo prima.
La grande domanda che gli scienziati si pongono in questo momento è: questo robot colto può davvero fare delle cose nel mondo reale? Può prendere un'idea di alto livello come "vai in cucina" e trasformarla nei minuscoli movimenti muscolari al millisecondo necessari per camminare senza cadere? Di solito, quando un robot fallisce, è difficile capire se il "cervello" ha preso una cattiva decisione (come camminare contro un muro) o se il "corpo" semplicemente non è stato in grado di svolgere il compito (come perdere l'equilibrio). Per risolvere questo mistero, i ricercatori avevano bisogno di un modo per separare il pensare dal muoversi, così da poter vedere esattamente dove il cervello del robot si stava bloccando.
È qui che entra in gioco un nuovo studio chiamato HumanCLAW. I ricercatori hanno costruito un campo di prova speciale per vedere se questi cervelli IA intelligenti potessero controllare un corpo simile a quello umano in un mondo fisico. Non hanno addestrato l'IA a muoversi; le hanno solo dato una telecamera, un obiettivo e un elenco di movimenti base come "cammina avanti", "gira" o "siediti". Poi, hanno lasciato che l'IA provasse a navigare attraverso 41 diverse case virtuali per trovare oggetti e sedersi su di essi.
I risultati sono stati uno shock. Persino i modelli di IA più intelligenti e avanzati di oggi hanno fallito quasi ogni singola volta. Il migliore è riuscito solo nel 16,8% dei tentativi. Ciò significa che ha fallito più dell'83% delle volte.
Ecco la parte strana: l'IA non stava fallendo perché era "cieca". Quando l'oggetto bersaglio (come un divano) appariva effettivamente sullo schermo, l'IA lo riconosceva quasi sempre. Sapeva cosa stava guardando. Il problema non era la vista; era sapere dove si trovasse.
I ricercatori hanno scoperto che questi modelli di IA soffrono di un grave caso di "amnesia corporea". Sono come un fantasma che può vedere perfettamente i mobili, ma non ha idea di dove siano le proprie gambe. Quando l'IA cercava di camminare, spesso continuava a camminare anche dopo essere arrivata al divano, oppure si fermava troppo presto, pensando di essere arrivata quando era ancora lontana. Quando cercava di sedersi, spesso abbassava semplicemente il corpo nel vuoto, sedendosi sul nulla perché non si era resa conto che il divano non era direttamente sotto di lei. Inoltre, camminava dritto contro i muri o inciampava negli ostacoli senza nemmeno rendersene conto.
Lo studio dimosta che, sebbene questi modelli di IA siano incredibili nel descrivere il mondo, sono terribili nel comprendere il proprio posto in esso. Possono dirti che aspetto ha una sedia, ma non riescono a capire come sedersi sopra senza cadere. I ricercatori concludono che, per creare robot che possano davvero agire nel mondo reale, dobbiamo insegnare loro non solo a vedere, ma anche a "sentire" dove si trova il proprio corpo e come interagisce con il mondo circostante. Finché non risolveremo questo problema della "consapevolezza di sé incarnata", anche i cervelli IA più intelligenti rimarranno fantasmi goffi all'interno di una macchina fisica.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.