Evaluation of Small Vision-Language Models on Qualitative Mechanical Problems

A vida cotidiana é repleta de enigmas mecânicos que resolvemos sem jamais recorrer a uma calculadora. Abrir uma torneira, entender por que uma caixa pesada é mais difícil de empurrar em uma rampa do que uma leve, ou descobrir para que lado um conjunto de engrenagens irá girar ao se girar uma manivela — estas são tarefas que realizamos usando um tipo de senso comum. Essa habilidade, conhecida como raciocínio qualitativo, baseia-se na compreensão de como as coisas parecem, como são tocadas e como se relacionam umas com as outras no espaço, em vez de se basear em medições precisas ou fórmulas complexas. É uma habilidade tão fundamental para a inteligência humana que os empregadores frequentemente utilizam testes específicos, como o Teste de Compreensão Mecânica Bennett, para verificar se os candidatos possuem a intuição mecânica inata necessária para funções em encanamento, medicina de emergência ou direção. Por décadas, cientistas têm se perguntado se as máquinas poderiam aprender a fazer o mesmo, não apenas processando números, mas "vendo" e compreendendo verdadeiramente o mundo físico da maneira que os humanos fazem.

Uma equipe de pesquisadores da Universidade Estadual de Louisiana em Nova Orleans recentemente colocou essa questão à prova ao examinar dois novos e menores modelos de inteligência artificial projetados para ver e ler ao mesmo tempo. Esses modelos, chamados Gemma e Qwen, foram construídos para olhar para uma imagem e responder a uma pergunta sobre ela, uma capacidade que se tornou cada vez mais comum na tecnologia moderna. Os pesquisadores queriam saber se esses sistemas poderiam resolver o mesmo tipo de enigmas mecânicos que os humanos enfrentam e, mais importante, queriam ver como as máquinas pensavam para chegar a uma resposta. Em vez de apenas verificar se a resposta final estava certa ou errada, a equipe pediu aos modelos que explicassem seu raciocínio passo a passo, revelando a lógica interna que usaram para chegar a uma conclusão. Eles testaram os modelos em trinta problemas diferentes envolvendo engrenagens, pressão de água, ondas sonoras e calor, cobrindo uma gama de dificuldades que ia do fácil ao difícil.

Os resultados pintaram um quadro de promessa e de limitação significativa. Quando os problemas eram diretos e as pistas visuais eram óbvias, ambos os modelos tiveram um bom desempenho, identificando corretamente a solução e explicando sua lógica com um fluxo claro e passo a passo. Nessas situações ideais, as máquinas mapearam com sucesso o que viram para as regras da física, de forma semelhante a um estudante que estudou o material e entende os conceitos. No entanto, conforme os problemas se tornavam mais sutis ou exigiam uma compreensão mais profunda das relações espaciais, os modelos começaram a tropeçar. Uma grande parte de seus erros não veio da falta de conhecimento, mas de uma falha em enxergar a imagem corretamente. Em um caso envolvendo um submarino e uma onda sonora, ambos os modelos inventaram detalhes que não estavam lá, como o submarino movendo-se em direção ou para longe de uma explosão, quando a imagem mostrava uma cena estática. Como eles alucinaram esse movimento, aplicaram a lógica errada e chegaram à resposta errada, embora a solução real dependesse simplesmente de quão rápido o som viaja através da água versus o ar.

Em outros casos, os modelos obtiveram a resposta certa pelos motivos errados, um fenômeno que os pesquisadores acharam particularmente revelador. Um modelo identificou corretamente qual de três turbinas de água giraria mais rápido, mas sua explicação baseava-se em uma compreensão completamente incorreta de como os jatos de água atingiam as pás. Ele adivinhou o resultado correto por acaso, mascarando um processo interno falho. Isso sugere que, embora os modelos possam às vezes imitar a aparência de compreensão, eles carecem do raciocínio robusto e fundamentado que os humanos usam para verificar seus pensamentos. O estudo descobriu que os modelos falharam em resolver cerca de metade dos problemas, com erros decorrentes tanto de um raciocínio espacial deficiente — perdendo detalhes visuais cruciais como pontos de contato ou distâncias — quanto de uma lógica falha onde aplicaram incorretamente as leis físicas. Por exemplo, em um problema de engrenagem, um modelo assumiu que uma engrenagem maior impulsionaria uma menor mais rapidamente, uma regra que não se aplica à disposição específica mostrada na imagem.

Os pesquisadores concluíram que, embora esses pequenos modelos de visão-linguagem sejam capazes de feitos impressionantes, eles ainda não estão prontos para substituir a intuição humana em tarefas mecânicas complexas. A capacidade de obter a resposta certa não é suficiente; o caminho para essa resposta deve ser lógico e baseado em uma leitura verdadeira do mundo visual. O estudo destaca que a inteligência artificial atual ainda luta com o tipo de raciocínio espacial de senso comum profundo que permite aos humanos navegar pelo mundo físico sem esforço. Para avançar, os autores sugerem que os sistemas futuros precisarão ser treinados especificamente em tarefas que exijam a compreensão do espaço e das relações e, talvez, combinados com sistemas que possam verificar fatos contra princípios físicos conhecidos. Até lá, as máquinas permanecem como estudantes que às vezes podem passar em um teste por meio de palpites, mas que ainda não aprenderam a realmente enxergar o mundo como nós.