🤖 machine learning

MOT-SR: Multi-Objective Tool-Augmented Scientific Equation Discovery with Large Language Models

Este artículo presenta MOT-SR, un marco de trabajo de objetivos múltiples aumentado con herramientas que aprovecha modelos de lenguaje de gran tamaño colaborativos y herramientas analíticas externas para superar las limitaciones de los métodos de regresión simbólica existentes mediante la optimización conjunta de la precisión, la complejidad y la generalización, logrando así un rendimiento superior en los bancos de pruebas estándar y en tareas complejas de modelado astronómico.

Autores originales: Boxiao Wang, Runxiang Wang, Kai Li, Chongming Li, Zhiwei Chen, Yifan Zhang, Jian Cheng

Publicado 2026-08-03

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Boxiao Wang, Runxiang Wang, Kai Li, Chongming Li, Zhiwei Chen, Yifan Zhang, Jian Cheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero en lugar de huellas dactilares o pisadas, tus pistas son números. Tienes un montón de puntos de datos —tal vez temperaturas, velocidades o reacciones químicas— y tu objetivo es encontrar la "receta secreta" oculta (una ecuación matemática) que explica cómo todos ellos encajan entre sí. Este campo se llama Regresión Simbólica. Es como intentar realizar la ingeniería inversa de un pastel solo probando las migas; quieres averiguar la lista exacta de ingredientes y los pasos para hornearlo, no solo adivinar el sabor.

Durante mucho tiempo, las computadoras han intentado hacer esto adivinando y comprobando millones de recetas aleatorias hasta que una sepa bien. Pero recientemente, les hemos dado a las computadoras un nuevo superpoder: los Modelos de Lenguaje Extensos (LLMs). Piensa en ellos como robots superinteligentes que han leído casi todos los libros de la biblioteca. Son excelentes para entender el lenguaje y detectar patrones, por lo que los científicos esperaban que pudieran escribir fácilmente estas recetas secretas para nosotros. Sin embargo, hay un inconveniente. Estos robots inteligentes a veces se concentran demasiado en hacer que la receta sepa exactamente como las migas que tienen ahora mismo, olvidando que una buena receta también debería funcionar si se hornea en un horno diferente o con ingredientes ligeramente distintos. También tienden a ignorar qué tan complicada es la receta, a veces escribiendo una lista de instrucciones de 10 páginas cuando una guía sencilla de tres pasos sería suficiente.

Aquí es donde un nuevo equipo de investigadores interviene con una idea fresca. Construyeron un sistema llamado MOT-SR (Descubrimiento de Ecuaciones Científicas Aumentado por Herramientas Multiobjetivo). En lugar de dejar que el robot adivine, le dieron una "caja de herramientas científicas" y un conjunto estricto de reglas a seguir. Imagina a un maestro chef que no solo prueba la comida, sino que también usa un termómetro, una báscula y un microscopio para entender por qué la comida sabe así. MOT-SR utiliza estas herramientas para analizar los datos primero, y luego le pide al robot que escriba una ecuación que no sea solo precisa, sino también simple y robusta para funcionar en nuevas situaciones.

Los investigadores probaron este sistema en 40 rompecabezas diferentes, que van desde cómo crecen las bacterias hasta cómo se estiran los materiales. Descubrieron que MOT-SR era mucho mejor encontrando las "recetas secretas" que los métodos anteriores. No solo obtuvo la respuesta correcta; encontró respuestas que eran más simples y funcionaban mejor cuando las condiciones cambiaban. Pero la verdadera prueba llegó cuando lo probaron en un problema de los confines del espacio: modelar la danza de dos agujeros negros girando uno hacia el otro. En este escenario, incluso un error diminuto en la ecuación puede causar que la computadora pierda el rastro de los agujeros negros después de un largo tiempo. MOT-SR descubrió una fórmula de corrección minúscula que mantuvo a los agujeros negros en el camino correcto, reduciendo el error en una cantidad masiva en comparación con otros métodos. Demostró que, al combinar herramientas inteligentes con un enfoque equilibrado de simplicidad y precisión, podemos ayudar a las computadoras a descubrir las leyes fundamentales del universo de manera más confiable.

La Idea Central: Un Detective con un Kit de Herramientas

El artículo aborda un problema que ha desconcertado a los científicos durante años: cómo lograr que las computadoras encuentren las ecuaciones matemáticas más simples y precisas ocultas dentro de datos desordenados. Aunque los modelos de IA recientes (LLMs) mostraron potencial, los autores argumentan que tienen dos fallas principales. Primero, suelen ser "ciegos" a las relaciones específicas entre las variables; adivinan sin entender realmente la estructura de los datos. Segundo, usualmente solo les importa una cosa: hacer que los números coincjan perfectamente en este momento. Esto conduce al "sobreajuste" (overfitting), donde la IA memoriza los puntos de datos específicos que se le dieron, pero falla estrepitosamente cuando se enfrenta a datos nuevos y no vistos. Es como un estudiante que memoriza las respuestas de un examen de práctica pero reprueba el examen real porque no entendió los conceptos.

Para solucionar esto, los autores proponen MOT-SR, un marco que actúa como un equipo colaborativo de científicos. El sistema opera en un bucle con dos "personajes" de IA principales:

El Generador de Estrategias Meta: Este es el detective. Antes de pedir una nueva ecuación, utiliza una serie de herramientas externas (como verificadores de correlación, analizadores de frecuencia y herramientas de descubrimiento causal) para examinar los datos. Hace preguntas como: "¿Se mueven estas dos variables en sincronía?" o "¿Hay un ritmo oculto aquí?". Luego escribe una "estrategia de búsqueda" basada en estos hallazgos.
El Generador de Ecuaciones: Este es el escritor. Toma la estrategia del detective y genera nuevas ecuaciones candidatas.

Crucialmente, MOT-SR no solo busca la "mejor" ecuación basándose en una sola puntuación. Utiliza una Evaluación Multiobjetivo. Juzga cada ecuación en tres frentes simultáneamente:

Precisión: ¿Se ajusta a los datos que tenemos?
Generalización: ¿Funciona con datos que no hemos visto todavía (específicamente, datos de los "bordes" del conjunto de datos)?
Complejidad: ¿Es la ecuación simple y legible, o es un lío enredado?

El sistema mantiene un "frente de Pareto", que es esencialmente una tabla de clasificación de los mejores compromisos. Se niega a aceptar una ecuación que sea súper precisa pero imposiblemente compleja, o una que sea simple pero ampliamente inexacta. Refina constantemente su búsqueda, descartando malas ideas y enfocándose en las más prometedoras.

Los Resultados: De los Benchmarks a los Agujeros Negros

Los autores probaron MOT-SR en una variedad de rompecabezas científicos estándar, incluyendo sistemas oscilantes (como un péndulo que oscila), crecimiento biológico (bacterias E. coli) y pruebas de estrés de materiales. Lo compararon contra métodos más antiguos y otros enfoques basados en IA.

Los resultados fueron claros: MOT-SR superó consistentemente a la competencia. En los benchmarks estándar, encontró ecuaciones con errores significativamente menores. Por ejemplo, en una tarea de oscilación, logró una tasa de error de aproximadamente $1.27 \times 10^{-15}$ , lo cual es prácticamente cero, mientras que otros métodos se quedaron estancados con errores alrededor de $10^{-5}$ . También encontró ecuaciones que eran mucho más compactas (más cortas y simples) y que generalizaban mejor a nuevos datos.

Pero la verdadera "prueba de nivel jefe" fue en astrofísica. Los investigadores aplicaron MOT-SR a Inspirales de Relación de Masa Extrema (EMRIs). Este es un escenario donde un objeto compacto pequeño (como una estrella de neutrones) espirala hacia un agujero negro masivo. Este es un problema crítico para los futuros detectores de ondas gravitacionales basados en el espacio. La física aquí es increíblemente sensible; si tu ecuación tiene incluso un error minúsculo, podría parecer bien durante unos segundos, pero a lo largo de miles de órbitas, ese pequeño error se acumula y el camino predicho del agujero negro se vuelve completamente erróneo.

En esta prueba, MOT-SR recibió la tarea de encontrar una fórmula de corrección para arreglar una aproximación conocida (PN5) que estaba ligeramente desviada. El sistema descubrió una corrección simbólica compacta. Cuando probaron esta nueva fórmula en 30 configuraciones de agujeros negros completamente no vistas (configuraciones que la IA nunca había visto durante su entrenamiento), se desempeñó notablemente bien.

El error de la corrección de MOT-SR fue aproximadamente 26.8 veces menor que el mejor método de IA anterior (LLM-SR).
Fue aproximadamente tres órdenes de magnitud (1,000 veces) mejor que una línea base de red neuronal.
Lo más importante, a medida que la simulación corría por más tiempo (simulando años de tiempo), los errores en la línea base de la red neuronal crecieron masivamente, mientras que el error de MOT-SR se mantuvo diminuto y estable.

Lo Que Esto Significa

El artículo sugiere que la clave para desbloquear todo el potencial de la IA en la ciencia no es solo hacer que la IA sea "más inteligente" o darle más datos. Es darle las herramientas adecuadas para analizar los datos y obligarla a equilibrar la precisión con la simplicidad y la robustez. Al imitar el proceso científico humano —analizar datos, formar hipótesis y probarlas contra múltiples criterios—, MOT-SR puede encontrar ecuaciones que no solo son matemáticamente correctas, sino físicamente significativas y confiables durante largos periodos.

Los autores advierten cuidadosamente que esto es un estudio de simulación y de benchmark; aún no han descubierto una nueva ley de la física que cambie el mundo, pero han demostrado un nuevo método poderoso para hacerlo. También señalan que su sistema actual depende de un conjunto fijo de herramientas y objetivos, y que el trabajo futuro necesitará automatizar el descubrimiento de nuevas herramientas y manejar datos aún más complejos y de alta dimensión. Sin embargo, el éxito en el problema de EMRI sugiere que este enfoque podría ser un cambio de juego para modelar la dinámica científica compleja de largo plazo donde la precisión lo es todo.

Resumen Técnico: MOT-SR

Planteamiento del Problema

La Regresión Simbólica (SR) tiene como objetivo descubrir ecuaciones matemáticas compactas e interpretables a partir de datos observacionales, una tarea crítica para la comprensión de sistemas científicos complejos. Aunque enfoques recientes que aprovechan los Modelos de Lenguaje de Gran Escala (LLMs) muestran resultados prometedores, enfrentan dos limitaciones primarias:

Falta de Análisis Sistemático de Datos: Los métodos de SR basados en LLM existentes suelen depender de las descripciones del problema como contexto sin mecanismos dedicados para descubrir dependencias entre variables (p. ej., linealidad, periodicidad, causalidad). Esto resulta en espacios de búsqueda mal restringidos y una exploración de ecuaciones ineficiente.
Evaluación de Objetivo Único: La mayoría de los métodos optimizan únicamente el error de ajuste (p. ej., minimizando el NMSE), descuidando la complejidad estructural y la generalización. Esta tendencia suele conducir al sobreajuste (overfitting), a la convergencia prematura en óptimos locales y a la incapacidad de explorar el espacio de ecuaciones de manera efectiva.

Metodología: Marco de Trabajo MOT-SR

Los autores proponen la Regresión Simbólica Multiobjetivo Aumentada por Herramientas (MOT-SR), un marco unificado que integra herramientas analíticas externas, evaluación multiobjetivo y LLMs cooperativos. El sistema opera de manera iterativa y en un bucle cerrado (Figura 1) compuesto por tres componentes principales:

1. Análisis de Variables Aumentado por Herramientas

MOT-SR emplea un conjunto de herramientas analíticas para extraer descriptores estructurales (priors) y relaciones entre variables, los cuales se destilan en guía de lenguaje natural para el LLM. Estas herramientas incluyen:

Correlación Lineal: Correlación de Pearson, regresión lineal simple y análisis de varianza basado en PCA.
Dependencia No Lineal: Correlación de rango de Spearman, información mutua y regresión de información mutua.
Análisis de Tiempo-Frecuencia: Transformada Rápida de Fourier (FFT) y espectros de energía de la transformada wavelet para detectar periodicidad.
Inferencia Causal: Causalidad de Granger y Mapeo Cruzado Convergente (CCM).
Complejidad Dinámica: Exponentes de Lyapunov, dimensión de correlación y Dynamic Time Warping (DTW).
Consistencia de Distribución: Pruebas de Kolmogorov–Smirnov (KS) para detectar cambios en la distribución.

2. Evaluación Multiobjetivo

En lugar de optimizar solo para el error de ajuste, MOT-SR optimiza conjuntamente tres objetivos para mantener un frente de Pareto dinámico mediante ordenamiento no dominado:

Precisión Intra-Dominio (ID): Error Cuadrático Medio Normalizado (NMSE) en un subconjset central de los datos de entrenamiento ( $D^{ID}_{train}$ ).
Generalización Fuera de Dominio (OOD): NMSE en las regiones periféricas de los datos de entrenamiento ( $D^{OOD}_{train}$ ), que sirve como un proxy para la robustez ante cambios de distribución sin utilizar datos de prueba reservados durante la búsqueda.
Complejidad de la Ecuación: Medida por la longitud del Árbol de Sintaxis Abstracta (AST), promoviendo la interpretabilidad y la compacidad.

3. Evolución de LLM Cooperativo

El marco utiliza dos módulos de LLM colaborativos:

Generador de Estrategia Meta ( $\pi_{stg}$ ): Analiza los residuos de los candidatos actuales que son óptimos de Pareto, aplica las herramientas analíticas y realiza abstracción estructural (extracción de comunalidades, análisis de disparidad, descubrimiento de puntos ciegos) para formular una estrategia de búsqueda.
Generador de Ecuaciones ( $\pi_{eq}$ ): Recibe la estrategia y realiza una selección de progenitores consciente de la diversidad (basada en el solapamiento de subárboles del AST) para generar nuevas ecuaciones candidatas. Estos candidatos son evaluados e integrados en el frente de Pareto.

Principales Contribuciones

Marco Unificado: MOT-SR es el primer marco de SR que integra sistemáticamente herramientas científicas externas para la extracción de descriptores estructurales con un mecanismo de evaluación multiobjetivo guiado por LLMs cooperativos.
Optimización Multiobjetivo: Introduce una estrategia de selección basada en Pareto que equilibra precisión, generalización y complejidad, evitando la convergencia prematura hacia soluciones estructuralmente complejas pero localmente óptimas.
Modelado Científico de Bucle Cerrado: El sistema imita el proceso científico humano al analizar iterativamente los datos, refinar las estrategias de búsqueda y generar ecuaciones, en lugar de depender de prompts estáticos.
Aplicación en el Mundo Real: Los autores aplican MOT-SR al modelado orbital de Inspirales de Masa Extrema (EMRI), un problema desafiante en la astronomía de ondas gravitacionales basadas en el espacio, donde pequeños errores locales se acumulan durante la evolución a largo plazo.

Resultados Experimentales

Los autores evaluaron MOT-SR en cinco benchmarks (cuatro tareas estándar y un conjunto de datos de química) y en la tarea de modelado orbital EMRI, utilizando tanto LLaMA-3.1 como GPT-4o-mini.

Rendimiento en Benchmarks: En 40 tareas estándar, MOT-SR superó consistentemente a los métodos clásicos (p. ej., PySR, GPleaRn) y a los baselines recientes basados en LLM (p. ej., LLM-SR, LaSR). Logró un NMSE significativamente menor y una mayor precisión (por ejemplo, alcanzando un NMSE de $1.27 \times 10^{-15}$ en Oscilación 1 frente a $2.55 \times 10^{-5}$ para LLM-SR).
Generalización: MOT-SR demostró una generalización superior en conjuntos de prueba fuera de dominio (OOD), logrando valores de NMSE órdenes de magnitud menores que los baselines. Esto se atribuye a la optimización explícita del rendimiento OOD durante la fase de descubrimiento.
Eficiencia: El método convergió a soluciones de alta calidad más rápido que los baselines, alcanzando a menudo los mejores resultados dentro de las primeras 1000 iteraciones en comparación con las 2000 de otros modelos.
Caso de Estudio EMRI: En el modelado de la evolución orbital EMRI, MOT-SR descubrió una corrección simbólica compacta que redujo el error de integración a nivel de trayectoria aproximadamente tres órdenes de magnitud en comparación con un baseline de residuo neuronal y 26.8 veces menos que LLM-SR. Crucialmente, esta corrección se mantuvo efectiva en 30 configuraciones reservadas no vistas durante el descubrimiento, demostrando la transferibilidad a través de configuraciones físicas.

Significado y Reivindicaciones

El artículo afirma que MOT-SR demuestra el potencial del descubrimiento de ecuaciones aumentado por herramientas y multiobjetivo para construir modelos fiables e interpretables de dinámicas científicas complejas. Al ir más allá del ajuste de un solo objetivo y los prompts estáticos, MOT-SR permite el descubrimiento de ecuaciones que no solo son precisas, sino también generalizables y estructuralmente sólidas.

Los autores destacan que la corrección EMRI descubierta logra el error de integración a nivel de trayectoria más bajo en configuraciones no vistas, lo que sugiere que MOT-SR puede recuperar estructuras de corrección transferibles que siguen siendo fiables a través de horizontes largos y escenarios físicos no previstos. Esto posiciona al marco como una herramienta viable para sistemas dinámicos científicos exigentes donde la interpretabilidad y la estabilidad a largo plazo son primordiales.

El documento reconoce las limitaciones, señalando su dependencia actual de un conjunto fijo de objetivos de evaluación y herramientas especificadas manualmente, con planes futuros para automatizar el descubrimiento de herramientas y extender el marco a datos de alta dimensionalidad.