ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs

Immaginate una cucina dove una padella pesante scivola via da un bancone, o un corridoio dove un armadio alto inizia a ribaltarsi. In una frazione di secondo, il cervello umano elabora il pericolo visivo, prevede dove l'oggetto atterrerà e comanda al corpo di afferrarlo o di spostarsi di lato. Questa reazione fulminea non è solo un riflesso; è una complessa fusione tra il comprendere cos'è un oggetto, sapere quanto sia pesante e calcolare esattamente dove andrà. Mentre gli scienziati lavorano per costruire robot che possano vivere e lavorare accanto a noi nelle nostre case, si trovano di fronte a una domanda critica: l'intelligenza artificiale può imparare a reagire con la stessa velocità e sicurezza? I test attuali per questi sistemi intelligenti spesso chiedono loro di rispondere a domande su dei video o di pianificare compiti a lungo termine come pulire una stanza, ma questi metodi non testano se una macchina possa prendere una decisione salvavita nel momento in cui appare un pericolo.

Un nuovo studio introduce un test rigoroso chiamato ReactHuman, progettato per vedere se l'intelligenza artificiale può agire come un essere umano competente quando si trova di fronte a improvvisi pericoli fisici. I ricercatori hanno costruito un mondo simulato in cui un robot digitale sta in una stanza e osserva una serie di eventi pericolosi che si sviluppano, come un coltello che cade, uno scaffale che scivola o una palla che rimbalza verso di lui. Il sistema mette in pausa la simulazione proprio prima che il disastro accada, mostrando al robot alcuni secondi dell'evento da diverse angolazioni di telecamera. L'intelligenza artificiale, agendo come il cervello del robot, deve quindi decidere cosa fare ed emettere un comando specifico: camminare verso un nuovo punto, allungare la mano per afferrare l'oggetto o restare fermi. A differenza dei test precedenti in cui un computer potrebbe semplicemente scegliere la risposta corretta da un elenco, questo sistema costringe il robot a compiere effettivamente l'azione in una simulazione fisica. Se il robot decide di afferrare un oggetto che cade, la simulazione viene eseguita per vedere se la sua mano incontra effettivamente l'oggetto in tempo. Se decide di schivare, la simulazione controlla se il robot si è spostato con successo dalla traiettoria.

I ricercatori hanno creato oltre mille scene uniche che coprono diciassette diversi tipi di eventi improvvisi, che vanno da semplici cadute a complesse reazioni a catena in cui un oggetto che cade colpisce un altro. Hanno persino incluso oggetti "esca" che sembrano una cosa ma si comportano come un'altra, come un incudine di schiuma che sembra pesante ma è leggera, o una mela d'acciaio che sembra un frutto ma è pesante e pericolosa. Questa configurazione testa se il robot si affida a come le cose appaiono o a come si muovono realmente. Il team ha valutato sette diversi modelli di intelligenza artificiale avanzata in questo compito. I risultati sono stati severi: i modelli hanno fallito nel reagire correttamente circa una volta su tre. Quando l'azione corretta era allontanarsi dal pericolo, i robot spesso rimanevano immobili o cercavano di afferrare l'oggetto, portando a esiti insicuri.

Forse l'aspetto più rivelatore era che i robot non sembravano imparare dai propri errori man mano che diventavano più grandi o più complessi. I modelli più grandi e potenti non erano significativamente più sicuri o accurati di quelli più piccoli. Invece di analizzare la scena specifica davanti a loro, ogni modello sembrava avere una personalità fissa: alcuni preferivano sempre scappare, mentre altri cercavano sempre di afferrare le cose, indipendentemente dal fatto che fosse la mossa giusta. I robot avevano anche difficoltà a giudicare la velocità. Potevano capire se qualcosa si stava muovendo, ma non potevano dire se si stesse muovendo lentamente o velocemente, trattando spesso un pericolo in lento movimento come se non fosse affatto una minaccia. Quando i robot sceglano l'azione giusta, spesso falliscono nell'esecuzione, allungando la mano verso un oggetto ma fermandosi a un metro dal punto in cui sarebbe necessario che fosse.

Lo studio conclude che, sebbene questi sistemi di intelligenza artificiale stiano diventando più bravi a comprendere il mondo, sono ancora lontani dall'essere in grado di reagire in modo sicuro ai pericoli fisici improvvisi. La ricerca evidenzia che rendere i modelli semplicemente più grandi non risolve il problema della sicurezza. Per costruire robot che possano davvero vivere nelle nostre case, gli sviluppatori dovranno insegnare loro a fidarsi di ciò che vedono accadere nel momento, piuttosto che affidarsi a come un oggetto appare, e a imparare a giudicare velocità e distanza con la stessa precisione istintiva che possiedono gli esseri umani. Finché allora, il divario tra una macchina capace di descrivere un oggetto che cade e una capace di afferrarlo in sicurezza rimane ampio.