LLMs Can Tackle High Energy Theoretical Physics, yet Gaps Remain: Part I, Quantum Field Theory

El universo en su escala más pequeña no es una colección de diminutas bolas sólidas, sino un complejo tapiz de campos que se extienden a través de todo el espacio y el tiempo. Para entender cómo interactúan partículas como los electrones o los quarks, los físicos utilizan un marco llamado teoría cuántica de campos. Es el lenguaje matemático que describe el Modelo Estándar, nuestro mejor mapa actual de los componentes fundamentales de la naturaleza. Sin embargo, trabajar con este lenguaje es notoriamente difícil. Requiere navegar por largas cadenas de lógica donde un solo pequeño error en el cálculo puede cambiar completamente el resultado final. Durante décadas, resolver estos problemas ha sido el dominio exclusivo de expertos humanos altamente capacitados, que pasan años dominando las intrincadas reglas del juego.

Recientemente, ha surgido un nuevo tipo de herramienta: los modelos de lenguaje extensos. Estos son sistemas de inteligencia artificial entrenados en vastas cantidades de texto, capaces de leer, escribir y razonar. Ya han demostrado que pueden resolver problemas matemáticos complejos y escribir código de computadora, a menudo con una velocidad y precisión que rivalizan con la de los expertos humanos. Esto plantea una pregunta fascinante: ¿pueden estos modelos hacer lo mismo para el razonamiento profundo y abstracto requerido por la física teórica? ¿Pueden navegar las aguas traicioneras de la teoría cuántica de campos, o simplemente imitan la apariencia de entendimiento sin la sustancia?

Para encontrar la respuesta, un equipo de investigadores de instituciones de toda Europa y Asia creó una nueva prueba diseñada específicamente para este propósito. Construyeron una colección de setenta y cinco problemas desafiantes, que van desde cursos avanzados de nivel de posgrado hasta temas de investigación inicial. Estas preguntas cubren las áreas centrales del campo, desde el comportamiento de la luz y la materia hasta las teorías exóticas que intentan unificar todas las fuerzas. Crucialmente, cada pregunta en esta prueba tiene una única respuesta correcta que puede ser verificada con precisión matemática. Los investigadores luego pidieron a treinta y nueve modelos diferentes de inteligencia artificial que resolvieran estos problemas. Estos modelos incluían los sistemas más potentes disponibles de las principales empresas tecnológicas, así como varias alternativas de código abierto desarrolladas por la comunidad de investigación.

Los resultados revelan un paisaje de capacidad notable y limitación persistente. Los modelos más fuertes, los sistemas más avanzados que existen actualmente, demostraron un nivel de habilidad sorprendente. Resolvieron la gran mayoría de los problemas correctamente, con los mejores desempeños alcanzando tasas de precisión superiores al noventa y cinco por ciento. Esto sugiere que estos sistemas de hecho han aprendido a navegar las complejas reglas de la teoría cuántica de campos y pueden realizar el trabajo pesado de la derivación que antes requería años de estudio humano. Sin embargo, la brecha entre los mejores y el resto es significativa. Los modelos más antiguos, y muchos de los sistemas de código abierto, tuvieron dificultades considerables, fallando a menudo al nivel de conceptos físicos básicos o perdiéndose en los detalles de la derivación.

Pero obtener la respuesta correcta es solo la mitad de la historia. Los investigadores también observaron de cerca cómo los modelos llegaban a sus conclusiones, examinando el razonamiento paso a paso que proporcionaban. Descubrieron un fallo sutil pero importante: incluso cuando un modelo producía la respuesta correcta, el camino que describía para llegar a ella era a veces erróneo. En algunos casos, el modelo cometía un error en un paso intermedio, pero de alguna manera aún llegaba al resultado correcto, como si hubiera recordado la respuesta de sus datos de entrenamiento en lugar de calcularla de nuevo. Esta "falta de fidelidad" significa que la explicación del modelo no realmente respalda la respuesta que dio. Aunque los modelos más capaces mostraron la menor cantidad de este comportamiento, este seguía presente, indicando que estos sistemas aún no son totalmente fiables en su razonamiento.

El estudio también destacó formas específicas en las que estos modelos fallan. A veces confunden las reglas del juego, aplicando una fórmula estándar cuando el problema requería una variación específica e inusual. Otras veces, simplemente cometían errores aritméticos o no seguían las instrucciones específicas dadas en la instrucción. Estos errores sugieren que, si bien los modelos han aprendido la forma general del tema, aún no han dominado la disciplina rigurosa requerida para evitar errores pequeños pero fatales. La investigación confirma que la inteligencia artificial está comenzando a abordar problemas que antes eran el dominio exclusivo de los físicos teóricos, pero también muestra que aún no estamos en un punto en el que podamos confiar en que estas herramientas trabajen enteramente por su cuenta. El viaje hacia una inteligencia artificial que pueda verdaderamente descubrir nueva física está en marcha, pero aún existen brechas claras que cerrar antes de que estos sistemas puedan ser considerados verdaderos socios en el descubrimiento científico.