MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement

Imagina que estás intentando enseñarle a un robot brillante pero ligeramente torpe a hablar el lenguaje de la lógica pura. Este robot, un Modelo de Lenguaje de Gran Escala (LLM), es increíble leyendo historias, escribiendo poemas y resolviendo acertijos matemáticos en inglés común. Pero hay un inconveniente: para demostrar un teorema matemático con absoluta certeza, no puedes simplemente usar palabras; necesitas escribirlo en un lenguaje computacional súper estricto llamado Lean 4. Piensa en Lean 4 como una caja fuerte de alta seguridad donde cada palabra, símbolo y regla debe ser perfecto, o la puerta de la caja fuerte no se abrirá. El problema es que el robot sabe matemáticas, pero no conoce el "libro de reglas" específico (llamado Mathlib) que utiliza Lean 4. Es como pedirle a un chef que sabe cocinar un filete perfecto que siga una receta escrita en un idioma que nunca ha visto, usando ingredientes cuyos nombres desconoce. Podría adivinar, pero es probable que se equivoque.

Aquí es donde entra la "autoformalización": el arte de traducir la matemática humana a este estricto código computacional. Durante mucho tiempo, los investigadores intentaron simplemente pedirle al robot que "tradujera" las matemáticas, esperando que recordara las reglas de su entrenamiento. Pero el robot seguía cometiendo errores, como usar los ingredientes equivocados o olvidar un paso crucial, porque estaba intentando confiar solo en su memoria. El nuevo artículo, MathForm, argumenta que este enfoque de "adivinar y esperar" está roto. En su lugar, construyeron un sistema donde al robot se le permite consultar el libro de reglas antes de empezar a escribir y, si comete un error, un editor estricto no solo desecha el trabajo, sino que le dice exactamente qué salió mal y le permite intentarlo de nuevo hasta que lo haga bien.

Los investigadores detrás de MathForm se dieron cuenta de que, para lograr que un robot hable el lenguaje de la matemática formal perfectamente, no puedes limitarte a dejar que escriba un borrador y esperar lo mejor. Construyeron una línea de ensamblaje de tres pasos para arreglar el flujo de trabajo del robot. Primero, antes de que el robot escriba una sola línea de código, un agente "Investigador" escanea la enorme biblioteca Mathlib para encontrar las definiciones y reglas exactas que el robot necesita para ese problema específico. Es como darle al chef la página específica del libro de cocina para "Filete" antes de que siquiera tome un cuchillo. Segundo, el robot escribe su código y luego un "Inspector" lo revisa. Si el código tiene un error de sintaxis (como una coma faltante), el Inspector lo señala. Si el código compila pero significa algo incorrecto (como decir "todos los números" cuando el problema se refería "solo a los números positivos"), el Inspector explica el error semántico. Tercero, en lugar de rendirse, el robot utiliza esta retroalimentación para reescribir su código. Continúa el ciclo de "escribir-revisar-corregir" hasta que el código es perfecto.

Usando este ingenioso bucle, el equipo creó un nuevo y masivo conjunto de datos llamado FormalVerse, que contiene alrededor de 367,000 ejemplos matemáticos verificados. Luego entrenaron un nuevo modelo, MathForm-8B, con estos datos. Los resultados fueron sorprendentes: este modelo relativamente pequeño (8 mil millones de parámetros) se volvió mejor formalizando matemáticas que modelos especializados mucho más grandes (32 mil millones de parámetros) que dependían de los viejos métodos de "adivinar y esperar". En seis pruebas matemáticas difíciles diferentes, MathForm-8B pasó la estricta "Verificación de Consistencia" (lo que significa que el código realmente significaba lo que decía el problema humano) aproximadamente el 72.4% de las veces, superando a los mejores modelos anteriores. Incluso en los problemas de álgebra abstracta más difíciles, superó significativamente a sus rivales más grandes. El artículo sugiere que, al darle al modelo las herramientas adecuadas para buscar información y la oportunidad de aprender de sus errores, no necesitas un cerebro gigante para ser un genio de las matemáticas; solo necesitas un flujo de trabajo inteligente.