BootLoops: an LLM-driven toolkit for exact quantitative science

Durante la mayor parte de la historia de la computación científica, un ser humano escribía un programa, sabiendo exactamente qué hacía, y luego una computadora lo ejecutaba. Más tarde, el paradigma cambió: un humano especificaba la arquitectura, una computadora ajustaba una red neuronal a los datos y el humano interpretaba los resultados. Ahora, se está produciendo un nuevo cambio. Un modelo de lenguaje de gran tamaño, actuando como un agente semiautónomo, puede diseñar y escribir el programa, ejecutarlo y luego revisarse e interpretar la respuesta por sí mismo. El potencial de tales sistemas parece ilimitado, pero una pregunta clave permanece: ¿cómo pueden los humanos ser máximamente productivos utilizando estos agentes? La respuesta reside en conectar campos distantes. Los métodos desarrollados para la física de partículas podrían resolver problemas en ecología, o las herramientas de la análisis numérico podrían aclarar los umbrales regulatorios en la salud pública, pero pocas personas conocen bien ambos lados como para realizar la conexión. Un modelo de lenguaje de gran tamaño, habiendo leído todo, conoce ambos.

Este artículo presenta BootLoops, un conjunto de herramientas diseñado para aprovechar esa amplitud de conocimiento. Es una colección de programas informáticos especializados que un modelo de lenguaje puede operar y extender para realizar ciencia exacta y cuantitativa. El conjunto de herramientas reúne métodos de la física de colisionadores, la matemática experimental y el álgebra computacional para resolver problemas que usualmente se estiman con aproximaciones o se computan con números de punto flotante que ocultan errores de redondeo. En lugar de adivinar o estimar, BootLoops permite al modelo computar respuestas como números racionales exactos, probar que una solución existe o no existe, y realizar cálculos con límites de error garantizados. El objetivo no es reemplazar a los científicos humanos, sino darles una forma de usar herramientas de un campo para resolver problemas en otro, convirtiendo las conexiones que son difíciles de realizar para los humanos en operaciones rutinarias.

El núcleo del trabajo consiste en un modelo de lenguaje de gran tamaño ejecutándose en un bucle, emitiendo comandos para ejecutar programas y leer su salida. Ante un cálculo difícil, el modelo planifica los pasos, selecciona las herramientas adecuadas del conjunto de herramientas y las ejecuta. Si falta una herramienta, el modelo escribe una nueva rutina, la prueba y la añade a la colección. Los programas mismos computan cada número y símbolo; el modelo nunca adivina un dígito. El conjunto de herramientas persiste a través de diferentes problemas, creciendo a medida que se añaden nuevos métodos. Incluye programas que reducen integrales complejas a una base finita, resuelven ecuaciones diferenciales y ajustan constantes exactas a números de alta precisión. Algunos de estos programas son códigos públicos adoptados de la física y las matemáticas, mientras que otros fueron escritos desde cero específicamente para este proyecto. En total, se escribieron aproximadamente cien programas nuevos solo para manejar los cálculos descritos en el artículo.

La primera aplicación importante de BootLoops es el cálculo de integrales de Feynman, que describen cómo las partículas se dispersan e interactúan. Durante décadas, los físicos las han computado mediante integración directa o estimándolas punto por punto. BootLoops adopta un enfoque diferente, utilizando un método llamado "bootstrap". El modelo primero identifica la forma geométrica definida por el problema, que podría ser una esfera simple, una curva elíptica o una forma compleja conocida como variedad de Calabi-Yau. Esta geometría dicta el tipo de funciones que pueden describir la respuesta. El modelo construye entonces una fórmula general con coefosicientes desconocidos y utiliza muestras numéricas de alta precisión para ajustar esos coeficientes. El resultado es una respuesta en forma cerrada, una expresión matemática precisa, en lugar de una lista de números. El autor computó treinta de tales integrales, que van desde diagramas de un bucle simples hasta estructuras complejas de cuatro bucles. Quince de estas eran conocidas en la literatura, y las otras quince eran nuevas, sin computación previa encontrada. Cada resultado fue verificado contra una evaluación numérica independiente a treinta o más dígitos de precisión, asegurando que la respuesta fuera correcta sin depender de la intuición del modelo.

La segunda aplicación muestra cómo estas herramientas de la física resuelven problemas en biología y estadística. En campos como la biología evolutiva, los científicos comparan diferentes árboles genealógicos de especies para ver cuál explica mejor los datos del ADN. Esto requiere calcular una "evidencia bayesiana", un número que representa la probabilidad de los datos bajo un árbol específico. Tradicionalmente, esto se estima utilizando métodos de Monte Carlo, que son lentos y conllevan sus propios errores estimados. BootLoops reconoce que la matemática para estas integrales de evidencia biológica es idéntica a la matemática de las integrales de Feynman. Al aplicar las mismas técnicas de reducción y ajuste, el conjunto de herramientas computa estas evidencias como números racionales exactos. Para casos simples, la respuesta es una fracción precisa. Para casos más complejos, proporciona un rango garantizado que contiene el valor real. Esto permite a los científicos comparar árboles con absoluta certeza, algo que antes era imposible con estimaciones de punto flotante. El mismo enfoque se aplica a modelos de mezcla en estadística, genética de poblaciones y biología de célula única, donde proporciona respuestas exactas para problemas que usualmente dependen de simulaciones ruidosas.

La tercera capacidad es la de realizar una búsqueda exhaustiva con una prueba de completitud. En muchas preguntas científicas, la respuesta depende de revisar cada caso posible, o de probar que no existe un caso de cierto tipo. BootLoops puede enumerar cada configuración en un espacio finito, como los posibles arreglos de flujo en la teoría de cuerdas o las formas óptimas de agrupar datos para calificaciones de calidad. Lo hace con una prueba rigurosa de que no se ha pasado nada por alto. Si la búsqueda encuentra una solución, devuelve la lista completa. Si no encuentra una solución, proporciona un teorema que demuestra que tal objeto no existe. Por ejemplo, el conjunto de herramientas se utilizó para analizar la integral de Watson, un problema famoso en matemáticas relacionado con los paseos aleatorios. Al agotar la clase de posibles soluciones en forma cerrada, el modelo demost de que no existe tal forma cerrada para el caso general, un resultado que había sido una pregunta abierta durante décadas. Esto transforma una búsqueda que podría haber sido heurística o incompleta en una certeza matemática.

Finalmente, el conjunto de herramientas aborda el problema de los errores de redondeo en los cálculos estándar. Cuando las computadoras utilizan aritmética de punto flotante, los errores diminutos se acumulan y pueden conducir a respuestas erróneas, especialmente en largas cadenas de cálculo. BootLoops utiliza "aritmética de bolas", donde cada número es tratado como un punto medio con un radio de error garantizado. Este radio crece o decrece a medida que avanzan los cálculos, asegurando que el valor real esté siempre contenido dentro de los límites. Si el error se vuelve demasiado grande como para ser útil, el sistema se niega a dar una respuesta en lugar de dar una incorrecta. Este método se utilizó para auditar números publicados, como los umbrales regulatorios para la calidad del aire y las calificaciones médicas. En un caso, el conjunto de herramientas replicó el cálculo para un estándar de ozono de EE. UU. usando aritmética exacta y encontró que el resultado publicado dependía de cómo se truncaban los números, un detalle que la aritmética de punto flotante había ocultado. En otro, verificó los valores exactos para las calificaciones de estrellas de Medicare, probando que los puntos de corte publicados eran efectivamente óptimos.

El artículo concluye que el verdadero poder de la inteligencia artificial agéntica reside en su capacidad para combinar el conocimiento de diferentes campos. BootLoops es un primer intento de agrupar estos métodos en un conjunto de herramientas único y extensible que un modelo de lenguaje pueda operar. No empuja los límites del conocimiento humano en una sola dirección, sino que más bien llena los vacíos entre los campos existentes. El conjunto de herramientas es de código abierto y está diseñado para crecer, con la expectativa de que los científicos añadan nuevos métodos a medida que sean descubiertos. El autor enfatiza que, si bien el modelo escribe el código y ejecuta las herramientas, los resultados no se basan en el juicio del modelo, sino en la ejecución determinista de los programas. El trabajo demuestra que, al reunir los algoritmos de reducción de la física de colisionadores, las integrales de evidencia de la estadística y los límites rigurosos del análisis numérico, podemos resolver problemas de larga data con un nivel de precisión y certeza que antes era inalcanzable. El conjunto de herramientas y su documentación están disponibles para que cualquiera los use y extienda, marcando un paso hacia un futuro donde el envolvente convexo del conocimiento científico humano sea plenamente explorado.