OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

A física é o estudo de como o universo funciona, desde a maneira como uma bola rola por uma colina até as forças invisíveis que guiam a eletricidade através de um fio. Durante séculos, os seres humanos aprenderam essas regras lendo palavras, observando diagramas e resolvendo problemas que exigem a conexão entre texto e imagem. Hoje, os computadores tornaram-se incrivelmente bons em ler textos e observar imagens, sendo frequentemente chamados de modelos multimodais porque podem lidar com ambos os tipos de informação ao mesmo tempo. Essas máquinas podem escrever histórias, responder perguntas e até descrever o que está acontecendo em uma fotografia. No entanto, quando se trata do mundo estrito e lógico da física, simplesmente reconhecer uma imagem ou ler uma frase não é suficiente. A verdadeira compreensão exige que o computador veja como um diagrama e uma descrição se encaixam para formar uma única cadeia lógica inquebrável. Se uma máquina não consegue fazer isso, ela está apenas adivinhando, não raciocinando.

Uma equipe de pesquisadores da Universidade Normal do Leste da China construiu uma nova ferramenta para testar exatamente o quão bem esses computadores conseguem pensar como físicos. Eles criaram uma vasta coleção de problemas chamada OmniPhys, extraída de livros didáticos e exames reais chineses, abrangendo desde o ensino fundamental até o universitário. Isto não é apenas uma lista de perguntas; é um teste rigoroso que força os computadores a fazerem mais do que apenas escolher a resposta correta de uma lista. A coleção inclui mais de 15.000 questões e quase 20.000 imagens, cobrindo mecânica, eletricidade, luz, calor e som. Os pesquisadores a projetaram para ser difícil, garantindo que os problemas exijam que o computador interprete desenhos e textos complexos simultaneamente. Crucialmente, o teste também pede aos computadores para fazerem algo que raramente fazem: desenhar seus próprios diagramas. Em vez de apenas selecionar uma imagem, o computador deve gerar uma nova imagem que mostre corretamente como a luz se reflete ou como as forças atuam, aderindo às leis estritas da física.

Quando os pesquisadores realizaram seus testes, descobriram que mesmo os computadores mais avançados, incluindo os mais poderosos disponíveis ao público, tiveram dificuldades significativas. Os melhores modelos conseguiam resolver cerca de 70 por cento dos problemas corretamente, mas quando os pesquisadores analisaram mais de perto como os modelos chegavam a essas respostas, o cenário mudou. Muitos modelos acertaram a resposta por acidente ou por memorizar padrões, em vez de compreenderem verdadeiramente a lógica. Eles frequentemente perdiam etapas fundamentais em seu raciocínio ou falhavam em conectar as pistas visuais no diagrama com o texto. A situação foi ainda pior para a tarefa de desenho. Quando solicitados a gerar um diagrama de física, os computadores frequentemente produziam imagens que pareciam plausíveis à primeira vista, mas continham erros fundamentais. Eles podiam desenhar um raio de luz dobrando-se para o lado errado ou uma força apontando para a direção oposta, violando as próprias leis da natureza que deveriam demonstrar.

O estudo também revelou que esses computadores tornam-se progressivamente piores à medida que os problemas se tornam mais difíceis. Eles tiveram um desempenho razoável em questões de nível fundamental, mas sua precisão caiu drasticamente conforme os problemas avançavam para os níveis de ensino médio e universitário. Esse declínio sugere que, embora essas máquinas sejam boas em lidar com tarefas simples, elas ainda não dominaram o raciocínio profundo e em camadas exigido para o pensamento científico complexo. Os pesquisadores também descobriram que fornecer ao computador uma imagem do problema o ajudava a ter um desempenho melhor do que se tivesse apenas o texto, provando que a informação visual é essencial para resolver esses enigmas. No entanto, descobriram que alguns modelos na verdade performavam pior quando recebiam uma imagem, sugerindo que o computador às vezes trata a imagem como um ruído confuso em vez de uma informação útil.

Talvez a descoberta mais surpreendente tenha sido que os computadores usados para avaliar o trabalho eram frequentemente benevolentes demais. Quando os pesquisadores pediram a uma inteligência artificial para avaliar os diagramas desenhados por outros computadores, o avaliador deu notas altas para imagens que especialistas humanos classificaram como incorretas. O avaliador automatizado não percebeu erros físicos sutis que um humano detectaria imediatamente. Isso significa que confiar em máquinas para avaliar a qualidade do raciocínio científico é atualmente pouco confiável. Os especialistas humanos, que revisaram o trabalho cuidadosamente, descobriram que os computadores estavam falhando em compreender os conceitos centrais da física, mesmo quando a resposta final estava correta.

Este trabalho não afirma que os computadores são inúteis para a ciência, mas mostra que eles têm um longo caminho a percorrer antes de poderem realmente compreender o mundo físico. Os pesquisadores disponibilizaram sua coleção de problemas e imagens ao público para que outros cientistas possam utilizá-la para construir melhores modelos. Ao identificar exatamente onde essas máquinas falham — seja ao desenhar um diagrama correto, ao seguir uma cadeia lógica ou ao compreender uma cena visual complexa — o estudo fornece um mapa claro para melhorias futuras. O objetivo não é apenas fazer computadores que passem em um teste, mas criar sistemas que possam raciocinar através das leis da natureza com o mesmo rigor e precisão de um físico humano. Até lá, o abismo entre o que esses modelos podem dizer e o que eles realmente entendem permanece amplo.