OmniPhys: A Unified Multimodal Benchmark for Physics Understanding and Generation from Chinese Educational Corpora

La física es el estudio de cómo funciona el universo, desde la forma en que una pelota rueda por una colina hasta las fuerzas invisibles que guían la electricidad a través de un cable. Durante siglos, los seres humanos han aprendido estas reglas leyendo palabras, observando diagramas y resolviendo problemas que requieren conectar el texto con las imágenes. Hoy en día, las computadoras se han vuelto increíblemente buenas para leer texto y observar imágenes, lo que a menudo se denomina modelos multimodales porque pueden manejar ambos tipos de información a la vez. Estas máquinas pueden escribir historias, responder preguntas e incluso describir lo que está sucediendo en una fotografía. Sin embargo, cuando se trata del mundo estricto y lógico de la física, simplemente reconocer una imagen o leer una oración no es suficiente. La verdadera comprensión requiere que la computadora vea cómo un diagrama y una descripción encajan para formar una única e inquebrantable cadena de lógica. Si una máquina no puede hacer esto, simplemente está adivinando, no razonando.

Un equipo de investigadores de la Universidad Normal del Este de China ha construido una nueva herramienta para probar exactamente qué tan bien pueden estas computadoras pensar como físicos. Crearon una enorme colección de problemas llamada OmniPhys, extraída de libros de texto y exámenes reales chinos que van desde la escuela secundaria hasta la universidad. Esto no es solo una lista de preguntas; es una prueba rigurosa que obliga a las computadoras a hacer más que simplemente elegir la respuesta correcta de una lista. La colección incluye más de 15,000 preguntas y casi 20,000 imágenes, cubriendo mecánica, electricidad, luz, calor y sonido. Los investigadores la diseñaron para que fuera difícil, asegurando que los problemas requieran que la computadora interprete dibujos y textos complejos simultáneamente. Crucialmente, la prueba también pide a las computadoras que hagan algo que rara vez hacen: dibujar sus propios diagramas. En lugar de solo seleccionar una imagen, la computadora debe generar una nueva imagen que muestre correctamente cómo se refleja la luz o cómo actúan las fuerzas, adhiriéndose a las estrictas leyes de la física.

Cuando los investigadores realizaron sus pruebas, descubrieron que incluso las computadoras más avanzadas, incluyendo las más potentes disponibles para el público, tuvieron dificultades significativas. Los mejores modelos podían resolver aproximadamente el 70 por ciento de los problemas correctamente, pero cuando los investigadores observaron más de cerca cómo esos modelos llegaban a esas respuestas, la situación cambió. Muchos modelos obtuvieron la respuesta correcta por accidente o memorizando patrones, en lugar de comprender verdaderamente la lógica. A menudo perdían pasos clave en su razonamiento o fallaban al conectar las pistas visuales del diagrama con el texto. La situación fue incluso peor para la tarea de dibujar. Cuando se les pedía generar un diagrama de física, las computadoras frecuentemente producían imágenes que parecían plausibles a primera vista, pero contenían errores fundamentales. Podían dibujar un rayo de luz doblándose en la dirección equivocada o una fuerza apuntando en la dirección opuesta, violando las mismas leyes de la naturaleza que se suponía debían demostrar.

El estudio también reveló que estas computadoras empeoran progresivamente a medida que los problemas se vuelven más difíciles. Funcionaron razonablemente bien en preguntas de la escuela secundaria, pero su precisión cayó drásticamente a medida que los problemas pasaban a niveles de secundaria superior y universidad. Este declive sugiere que, si bien estas máquinas son buenas manejando tareas simples, aún no han dominado el razonamiento profundo y estratificado requerido para el pensamiento científico complejo. Los investigadores también descubrieron que darle a la computadora una imagen del problema ayudaba a que funcionara mejor que si solo tuviera el texto, demostrando que la información visual es esencial para resolver estos acertijos. Sin embargo, encontraron que algunos modelos en realidad funcionaban peor cuando se les daba una imagen, sugiriendo que la computadora a veces trata la imagen como ruido confuso en lugar de información útil.

Quizás el hallazgo más sorprendente fue que las computadoras utilizadas para calificar el trabajo solían ser demasiado amables. Cuando los investigadores pidieron a una inteligencia artificial que calificara los diagramas dibujados por otras computadoras, la calificadora otorgó puntuaciones altas a imágenes que expertos humanos calificaron como incorrectas. El calificador automatizado pasó por alto errores físicos sutiles que un humano detectaría inmediatamente. Esto significa que confiar en máquinas para evaluar la calidad del razonamiento científico es actualmente poco confiable. Los expertos humanos, que revisaron el trabajo cuidadosamente, encontraron que las computadoras estaban fallando en captar los conceptos centrales de la física, incluso cuando la respuesta final resultaba ser correcta.

Este trabajo no afirma que las computadoras sean inútiles para la ciencia, pero sí muestra que tienen un largo camino por recorrer antes de que puedan comprender verdaderamente el mundo físico. Los investigadores han puesto su colección de problemas e imágenes a disposición del público para que otros científicos puedan usarla para construir mejores modelos. Al identificar exactamente dónde fallan estas máquinas —ya sea al dibujar un diagrama correcto, seguir una cadena lógica o comprender una escena visual compleja— el estudio proporciona un mapa claro para futuras mejoras. El objetivo no es solo hacer computadoras que puedan pasar un examen, sino crear sistemas que puedan razonar a través de las leyes de la naturaleza con la misma rigurosidad y precisión que un físico humano. Hasta entonces, la brecha entre lo que estos modelos pueden decir y lo que realmente comprenden permanece amplia.