ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs

Imaginez une cuisine où une poêle lourde glisse d'un comptoir, ou un couloir où une armoire haute commence à basculer. En une fraction de seconde, le cerveau humain traite le danger visuel, prédit où l'objet va atterrir et ordonne au corps de soit le rattraper, soit de s'écarter. Cette réaction instantanée n'est pas seulement un réflexe ; c'est une fusion complexe entre la compréhension de ce qu'est un objet, la connaissance de son poids et le calcul précis de sa trajectoire. Alors que les scientifiques s'efforcent de construire des robots capables de vivre et de travailler à nos côtés dans nos foyers, ils sont confrontés à une question cruciale : l'intelligence artificielle peut-elle apprendre à réagir avec la même rapidité et la même sécurité ? Les tests actuels pour ces systèmes intelligents leur demandent souvent de répondre à des questions sur des vidéos ou de planifier des tâches à long terme comme le nettoyage d'une pièce, mais ces méthodes ne testent pas si une machine peut prendre une décision vitale dès l'apparition d'un danger.

Une nouvelle étude introduit un test rigoureux appelé ReactHuman, conçu pour voir si l'intelligence artificielle peut agir comme un humain compétent face à des dangers physiques soudains. Les chercheurs ont construit un monde simulé où un robot numérique se tient dans une pièce et observe une série d'événements dangereux, tels qu'un couteau qui tombe, une étagère qui glisse ou une balle rebondissant vers lui. Le système interrompt la simulation juste avant que le désastre ne se produise, montant au robot quelques secondes de l'événement sous plusieurs angles de caméra. L'intelligence artificielle, agissant comme le cerveau du robot, doit alors décider de ce qu'il faut faire et émettre une commande spécifique : se déplacer vers un nouvel endroit, tendre la main pour attraper l'objet, ou rester immobile. Contrairement aux tests précédents où un ordinateur pourrait simplement choisir la bonne réponse dans une liste, ce système force le robot à effectuer réellement l'action dans une simulation physique. Si le robot décide de rattraper un objet en chute, la simulation se déroule pour voir si sa main rencontre réellement l'objet à temps. S'il décide d'esquiver, la simulation vérifie si le robot parvient à s'écarter du chemin.

Les chercheurs ont créé plus de mille scènes uniques couvrant dix-sept types différents d'événements soudains, allant de simples chutes à des réactions en chaîne complexes où un objet tombant en heurte un autre. Ils ont même inclus des objets « pièges » qui ressemblent à une chose mais se comportent comme une autre, comme une enclume en mousse qui semble lourde mais est légère, ou une pomme d'acier qui ressemble à un fruit mais est lourde et dangereuse. Cette configuration teste si le robot se fie à l'apparence des choses ou à la façon dont elles bougent réellement. L'équipe a évalué sept modèles d'intelligence artificielle avancés sur cette tâche. Les résultats sont accablants : les modèles ont échoué à réagir correctement environ une fois sur trois. Lorsque l'action correcte consistait à s'éloigner du danger, les robots restaient souvent figés sur place ou tentaient d'attraper l'objet, entraînant des issues dangereuses.

Le point le plus révélateur était peut-être que les robots ne semblaient pas apprendre de leurs erreurs à mesure qu'ils devenaient plus grands ou plus complexes. Les modèles les plus gros et les plus puissants n'étaient pas significativement plus sûrs ou plus précis que les plus petits. Au lieu d'analyser la scène spécifique devant eux, chaque modèle semblait avoir une personnalité fixe : certains préféraient toujours s'enfuir, tandis que d'autres essayaient toujours de saisir les objets, peu importe si c'était la bonne décision. Les robots avaient également du mal à juger la vitesse. Ils pouvaient dire si quelque chose bougeait, mais ils ne pouvaient pas dire si cela bougeait lentement ou rapidement, traitant souvent un danger se déplaçant lentement comme s'il ne représentait aucune menace. Lorsqu'ils choisissaient la bonne action, ils échouaient fréquemment à l'exécuter correctement, tendant la main vers un objet mais s'arrêtant à un mètre de l'endroit où elle devait être.

L'étude conclut que bien que ces systèmes d'intelligence artificielle progressent dans la compréhension du monde, ils sont encore loin de pouvoir réagir en toute sécurité à des dangers physiques soudains. La recherche souligne que le simple fait d'agrandir les modèles ne résout pas le problème de la sécurité. Pour construire des robots capables de vivre véritablement dans nos maisons, les développeurs devront leur apprendre à faire confiance à ce qu'ils voient se passer sur le moment plutôt que de se fier à l'apparence d'un objet, et à apprendre à juger la vitesse et la distance avec la même précision instinctive que les humains. D'ici là, l'écart entre une machine capable de décrire un objet qui tombe et une machine capable de le rattraper en toute sécurité reste immense.