ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs

Imagine uma cozinha onde uma panela pesada escorrega de um balcão, ou um corredor onde um guarda-roupa alto começa a tombar. Em uma fração de segundo, o cérebro humano processa o perigo visual, prevê onde o objeto cairá e comanda o corpo para segurá-lo ou se afastar. Essa reação de uma fração de segundo não é apenas um reflexo; é uma fusão complexa de entender o que um objeto é, saber o quão pesado ele é e calcular exatamente para onde ele irá. Enquanto cientistas trabalham para construir robôs que possam viver e trabalhar ao nosso lado em nossas casas, eles enfrentam uma questão crítica: a inteligência artificial pode aprender a reagir com a mesma velocidade e segurança? Testes atuais para esses sistemas inteligentes frequentemente pedem que eles respondam perguntas sobre vídeos ou planejem tarefas de longo prazo, como limpar um cômodo, mas esses métodos não testam se uma máquina pode tomar uma decisão de salvar vidas no momento em que um perigo aparece.

Um novo estudo introduz um teste rigoroso chamado ReactHuman, projetado para ver se a inteligência artificial pode agir como um humano competente quando confrontada com perigos físicos repentinos. Os pesquisadores construíram um mundo simulado onde um robô digital está parado em uma sala e observa uma série de eventos perigosos se desenrolar, como uma faca caindo, uma prateleira deslizando ou uma bola quicando em sua direção. O sistema pausa a simulação pouco antes do desastre acontecer, mostrando ao robô alguns segundos do evento a partir de múltiplos ângulos de câmera. A inteligência artificial, atuando como o cérebro do robô, deve então decidir o que fazer e emitir um comando específico: caminhar para um novo lugar, estender a mão para agarrar o objeto ou ficar parado. Ao contrário de testes anteriores onde um computador poderia simplesmente escolher a resposta certa de uma lista, este sistema força o robô a realmente realizar a ação em uma simulação de física. Se o robô decidir pegar um objeto em queda, a simulação é executada para ver se sua mão realmente encontra o objeto a tempo. Se ele decidir desviar, a simulação verifica se o robô conseguiu se mover para fora do caminho.

Os pesquisadores criaram mais de mil cenas únicas cobrindo dezessete tipos diferentes de eventos repentinos, variando de quedas simples a reações em cadeia complexas onde um item caindo atinge outro. Eles até incluíram objetos "pegadinha" que parecem uma coisa, mas se comportam como outra, como uma bigorna de espuma que parece pesada, mas é leve, ou uma maçã de aço que parece fruta, mas é pesada e perigosa. Essa configuração testa se o robô depende de como as coisas parecem ou de como elas realmente se movem. A equipe avaliou sete modelos diferentes de inteligência artificial avançada nesta tarefa. Os resultados foram sóbrios: os modelos falharam em reagir corretamente cerca de uma vez a cada três. Quando a ação correta era se afastar do perigo, os robôs frequentemente congelavam no lugar ou tentavam agarrar o objeto, levando a resultados inseguros.

Talvez o mais revelador tenha sido que os robôs não pareceram aprender com seus erros à medida que se tornavam maiores ou mais complexos. Os modelos maiores e mais poderosos não foram significativamente mais seguros ou precisos do que os menores. Em vez de analisar a cena específica à sua frente, cada modelo parecia ter uma personalidade fixa: alguns sempre preferiam fugir, enquanto outros sempre tentavam agarrar as coisas, independentemente de ser o movimento correto ou não. Os robôs também tiveram dificuldade em julgar a velocidade. Eles consegiam dizer se algo estava se movendo, mas não consegam dizer se estava se movendo devagar ou rápido, tratando frequentemente um perigo de movimento lento como se não fosse uma ameaça. Quando os robôs escolhiam a ação correta, frequentemente falhavam em executá-la corretamente, alcançando um objeto, mas parando a mão um metro de distância de onde deveria estar.

O estudo conclui que, embora esses sistemas de inteligência artificial estejam ficando melhores em compreender o mundo, eles ainda estão longe de serem capazes de reagir com segurança a perigos físicos repentinos. A pesquisa destaca que simplesmente tornar os modelos maiores não resolve o problema da segurança. Para construir robôs que possam verdadeiramente viver em nossas casas, os desenvolvedores precisarão ensiná-los a confiar no que veem acontecendo no momento, em vez de depender de como um objeto parece, e a aprender a julgar velocidade e distância com a mesma precisão instintiva que os humanos possuem. Até lá, a lacuna entre uma máquina que consegue descrever um objeto caindo e uma que pode pegá-lo com segurança permanece ampla.