HumanCLAW: Can Vision-Language Models Act Through a Body?
Este artigo apresenta o HumanCLAW, um framework que desacopla a tomada de decisão de modelos de visão-linguagem da execução motora para avaliar a inteligência incorporada, revelando que os modelos atuais falham em tarefas físicas de longo horizonte primariamente devido a uma falta de autoconsciência incorporada, e não por falta de capacidades de reconhecimento.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está ensinando um robô brilhante e superinteligente a jogar um videogame. Mas este não é apenas um jogo comum; é um jogo onde o robô tem que controlar um corpo físico real que pode tropeçar, cair, bater em paredes e derrubar vasos. No mundo da inteligência artificial, existem dois tipos principais de "cérebros" para robôs. Um tipo é como um piloto que memorizou milhões de rotas de voo específicas; é ótimo em fazer exatamente o que já viu antes, mas se o vento soprar de forma diferente, ele pode bater. O outro tipo é um "Modelo de Linguagem-Visão" (VLM). Pense nisso como um robô com uma biblioteca gigantesca de livros e uma câmera para os olhos. Ele consegue ler uma história, olhar para uma imagem e entender ideias complexas como "encontre o sofá vermelho e sente-se nele". Ele é incrível em raciocinar e conversar, mas nunca realmente moveu um corpo antes.
A grande questão que os cientistas estão fazendo agora é: esse robô "culto" consegue realmente fazer coisas no mundo real? Ele consegue pegar uma ideia de alto nível como "vá para a cozinha" e transformá-la nos pequenos movimentos musculares de fração de segundo necessários para caminhar sem cair? Geralmente, quando um robô falha, é difícil dizer se o "cérebro" tomou uma decisão ruim (como andar contra uma parede) ou se o "corpo" simplesmente não conseguiu realizar o trabalho (como perder o equilíbrio). Para resolver esse mistério, os pesquisadores precisavam de uma maneira de separar o pensar do mover, para que pudessem ver exatamente onde o cérebro do robô estava travando.
É aqui que um novo estudo chamado HumanCLAW entra. Os pesquisadores construíram um campo de testes especial para ver se esses cérebios de IA inteligentes poderiam controlar um corpo humanoide em um mundo físico. Eles não treinaram a IA para se mover; eles apenas deram a ela uma câmera, um objetivo e uma lista de movimentos básicos como "andar para frente", "virar" ou "sentar". Então, deixaram a IA tentar navegar através de 41 casas virtuais diferentes para encontrar objetos e sentar neles.
Os resultados foram um choque. Mesmo os modelos de IA mais inteligentes e avançados de hoje falharam quase todas as vezes. O melhor modelo teve sucesso em apenas cerca de 16,8% das tentativas. Isso significa que ele falhou em mais de 83% das vezes.
Aqui está a parte estranha: a IA não estava falhando por ser "cega". Quando o objeto alvo (como um sofá) realmente aparecia na tela, a IA quase sempre o reconhecia. Ela sabia o que estava vendo. O problema não era a visão; era saber onde ele estava.
Os pesquisadores descobriram que esses modelos de IA sofrem de um caso severo de "amnésia corporal". Eles são como um fantasma que consegue ver os móveis perfeitamente, mas não tem ideia de onde suas próprias pernas estão. Quando a IA tentava andar, ela frequentemente continuava andando mesmo depois de já ter chegado ao sofá, ou parava cedo demais, achando que havia chegado quando ainda estava longe. Quando tentava sentar, muitas vezes apenas baixava o corpo no ar, sentando no vazio porque não percebeu que o sofá não estava diretamente abaixo dela. Ela também andava direto contra as paredes ou tropeçava em obstáculos sem sequer perceber que havia batido neles.
O estudo mostra que, embora esses modelos de IA sejam incríveis em descrever o mundo, eles são terríveis em entender o próprio lugar nele. Eles podem te dizer como um assento se parece, mas não conseguem descobrir como sentar nele sem cair. Os pesquisadores concluem que, para criar robôs que possam realmente agir no mundo real, precisamos ensiná-los não apenas a ver, mas a "sentir" onde seu corpo está e como ele interage com o mundo ao redor. Até que resolvamos esse problema da "autoconsciência incorporada", até os cérebios de IA mais inteligentes continuarão sendo fantasmas desajeitados em uma máquina física.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.