🤖 machine learning

Decomposable Neural Symbolic Regression

Este artículo presenta un método de regresión neurosimbólica descomponible que aprovecha los Transformers de multiconjuntos, los algoritmos genéticos y la programación genética para destilar modelos de regresión opacos en expresiones multivariadas precisas e interpretables que recuperan consistentemente la estructura matemática original manteniendo un rendimiento predictivo competitivo.

Autores originales: Giorgio Morales, John W. Sheppard

Publicado 2026-08-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Giorgio Morales, John W. Sheppard

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo científico moderno, las computadoras se han convertido en herramientas increíblemente poderosas para encontrar patrones en los datos. Pueden observar miles de mediciones del mundo natural y construir modelos complejos que predicen resultados futuros con una alta precisión. Estos modelos suelen denominarse "opacos" porque, si bien funcionan bien, su lógica interna es tan enredada y complicada que los humanos no pueden comprender fácilmente cómo alcanzan sus conclusiones. Son como una caja negra: introduces datos y sale una respuesta, pero el camino intermedio permanece oculto. Para los científicos que estudian física, biología o ingeniería, esta falta de transparencia es un obstáculo importante. Para comprender verdaderamente el universo, los investigadores necesitan más que una simple predicción; necesitan las ecuaciones rectoras, las claras sentencias matemáticas que describen cómo funciona la naturaleza. Este es el objetivo de la regresión simbólica, un campo dedicado a encontrar fórmulas simples y legibles que expliquen los datos observados, en lugar de simplemente memorizarlos.

Un equipo de investigadores de la Universidad Estatal de Montana ha desarrollado una nueva forma de abordar este problema, ofreciendo un método que puede desvelar las capas de estos complejos modelos computacionales para revelar las verdades matemáticas simples que subyacen en ellos. Su enfoque, al que llaman SeTGAP, comienza entrenando un modelo computacional estándar y altamente complejo para aprender el comportamiento de un sistema. Una vez que este modelo "opaco" está entrenado y funcionando, los investigadores no intentan realizar ingeniería inversa de sus millones de ajustes internos. En su lugar, tratan al modelo como una fuente de verdad y le piden que se explique a sí mismo, variable por variable. Aíslan sistemáticamente cada factor de entrada, como la temperatura o la presión, y le preguntan al modelo cómo cambia la salida cuando solo ese único factor se mueve. Al hacer esto, el sistema genera una serie de bocetos simples de una sola variable que describen la forma de la relación para cada pieza del rompecabezas.

Los investigadores utilizan luego un proceso sofisticado para unir estos bocetos individuales. Imagine intentar comprender una máquina compleja primero descubriendo cómo gira cada engranaje por separado y luego viendo cómo se acoplan entre sí. El equipo utiliza una combinación de inteligencia artificial y algoritmos evolutivos para fusionar estos bocetos de una sola variable en una fórmula completa de múltiples variables. No lanzan simplemente todas las piezas a la vez, lo que a menudo conduce a la confusión y a resultados excesivamente complicados. En su lugar, añaden variables una por una, asegurándose de que la estructura de la fórmula permanezca limpia y lógica en cada paso. Este método les permite preservar las relaciones funcionales originales que identificaron al principio, evitando que la ecuación final se convierta en un enredo desordenado de números que se ajusta a los datos pero que no tiene sentido.

Cuando el equipo probó este método contra una amplia variedad de problemas, desde desafíos matemáticos sintéticos hasta ecuaciones de física del mundo real, los resultados fueron sorprendentes. En los problemas sintéticos, su método recuperó con éxito la estructura matemática correcta del sistema subyacente en cada uno de los casos de prueba que realizaron. En contraste, otros métodos líderes, incluidos aquellos que dependen del aprendizaje profundo o de la computación evolutiva tradicional, fallaron frecuentemente al encontrar la forma correcta, produciendo a menudo expresiones que eran demasiado complejas o simplemente erróneas, incluso si predecían los números correctamente. El nuevo enfoque demostró ser particularmente robusto cuando los datos contenían ruido o errores, algo que ocurre con frecuencia en las mediciones del mundo real. Mientras que otros métodos tuvieron dificultades para generalizar más allá de los datos con los que fueron entrenados, las ecuaciones descubiertas por este método se mantuvieron bien cuando fueron probadas en nuevos rangos de valores no vistos.

Los investigadores también aplicaron su técnica a una famosa colección de ecuaciones de física conocida como el conjunto de datos Feynman, que contiene leyes que describen desde la gravedad hasta el comportamiento de la luz. En este referente, su método logró una alta tasa de éxito en la identificación de las ecuaciones correctas, situándose en segundo lugar en la recuperación de soluciones simbólicas con aproximadamente un 61.2% de recuperaciones exitosas, y demostrando un rendimiento predictivo competitivo en relación con muchas técnicas establecidas. El estudio sugiere que, al dividir un problema complejo en partes más pequeñas y manejables y luego reensamblarlas cuidadosamente, es posible sortear las limitaciones de la inteligencia artificial actual. Esto no significa que las computadoras sean menos poderosas; más bien, significa que el método de pedirles que se expliquen a sí mismas es más efectivo. El trabajo demuestra que es posible extraer leyes de la naturaleza claras y legibles para los humanos a partir de las capas profundas y ocultas del aprendizaje automático moderno, convirtiendo las predicciones opacas en una comprensión transparente.

Resumen Técnico: Regresión Simbólica Neuronal Descomponible (SeTGAP)

Definición del Problema

La Regresión Simbólica (SR, por sus siglas en inglés) tiene como objetivo descubrir expresiones matemáticas interpretables que capturen las relaciones subyacentes en los datos observados, sirviendo como una alternativa transparente a los modelos de aprendizaje profundo "opacos". Sin embargo, los métodos de SR existentes enfrentan dos desafíos principales:

Precisión Estructural frente al Error de Predicción: La mayoría de los métodos priorizan la minimización del error de predicción, lo que a menudo resulta en expresiones excesivamente complejas que se ajustan bien a los datos pero fallan en recuperar las ecuaciones gobernantes reales.
Procesamiento Simultáneo de Variables: Los enfoques actuales de SR neuronal y la Programación Genética (GP) tradicional suelen procesar todas las variables simultáneamente. Esto conduce a una explosión combinatoria en el espacio de búsqueda y frecuentemente falla en identificar correctamente la forma funcional entre las variables individuales y la respuesta del sistema, particularmente en sistemas no separables.

Además, aunque los modelos opacos de alto rendimiento (por ejemplo, redes neuronales) pueden aproximar eficazmente sistemas complejos, extraer ecuaciones gobernantes interpretables de ellos sigue siendo difícil.

Metodología: SeTGAP

Los autores proponen SeTGAP (Regresión Simbólica mediante Transformers, Algoritmos Genéticos y Programación Genética), un marco de SR descomponible y explicable post-hoc. En lugar de buscar directamente una única expresión multivariante, SeTGAP destila un modelo opaco entrenado en una expresión multivariante a través de un proceso estructurado e incremental:

1. Predicción de Esqueleto Univariante (Transformer de Conjunto Múltiple)

El método comienza aislando la influencia de cada variable independiente $x_v$ sobre la respuesta del modelo opaco.

Generación de Datos: Para cada variable, el método genera múltiples conjuntos de pares entrada-respuesta donde $x_v$ varía mientras todas las demás variables se mantienen fijas en valores aleatorios. Esto crea un problema de Predicción de Esqueleto Simbólico de Conjunto Múltiple (MSSP).
Modelo: Se emplea un Transformer de Conjunto Múltiple para predecir un esqueleto simbólico univariante para cada variable. Esta arquitectura se entrena con datos sintéticos para identificar la forma funcional compartida a través de múltiples conjuntos de entrada, capturando eficazmente cómo $x_v$ influye en la respuesta independientemente de los valores específicos de las otras variables.
Generación de Candidatos: Utilizando una búsqueda de haz (beam search) diversa, el transformer genera múltiples esqueletos candidatos por variable. Estos se filtran para eliminar duplicados y formas matemáticamente equivalentes (por ejemplo, convertir un seno en un coseno mediante desplazos de fase).

2. Fusión Incremental mediante Programación Genética

Una vez identificados los esqueletos univariantes, estos se fusionan en una expresión multivariante mediante un enfoque de cascada:

Fusión Recursiva (Algoritmo 2): El método define un procedimiento recursivo para combinar dos esqueletos ( $e_1$ y $e_2$ ) mientras preserva estrictamente sus estructuras univariantes originales. Basándose en una proposición de descomposición estructural, el algoritmo explora combinaciones matemáticas válidas (por ejemplo, envolver productos, sumar términos) donde las constantes en un esqueleto son reemplazadas por subárboles del otro.
Selección Evolutiva (Algoritmo 3): Se genera estocásticamente una población de esqueletos fusionados candidatos. Se aplica un proceso evolutivo restringido (Programación Genética) donde la estructura de los esqueletos es fija, y solo se optimizan los coeficientes numéricos mediante un Algoritmo Genético (GA). Esto desacopla la exploración estructural de la optimización de parámetros.
Estrategia de Cascada: Las variables se fusionan secuencialmente, una por una, clasificadas por la calidad de sus esqueletos univariantes iniciales. Este enfoque incremental evita la explosión combinatoria de fusionar todas las variables a la vez y asegura que la contribución de cada variable sea evaluada en el contexto de las variables fusionadas previamente.

3. Optimización Final de Coeficientes

Los esqueletos multivariantes de mejor rendimiento se someten a una pasada final de optimización global sobre el conjunto de datos original para refinar los coeficientes numéricos, minimizando el Error Cuadrático Medio (MSE).

Contribuciones Clave

Marco Descomponible: SeTGAP cambia el paradigma de la búsqueda multivariante simultánea a un proceso decomponible, identificando primero las formas funcionales univariantes y luego fusionándolas. Esto reduce la complejidad del espacio de búsqueda y mitiga el riesgo de quedar atrapado en mínimos locales.
Preservación de la Estructura: A diferencia de la GP estándar o la SR de extremo a extremo, SeTGAP impone restricciones estructurales durante el proceso de fusión. Asegura que la expresión multivariante final permanezca alineada con las relaciones funcionales individuales identificadas por el Transformer de Conjunto Múltiple.
Explicabilidad Post-Hoc: El método está diseñado para destilar modelos opacos, proporcionando sustitutos matemáticos legibles por humanos que explican la función aprendida de una red neuronal preentrenada.

Resultados Experimentales

Los autores evaluaron SeTGAP en 13 problemas no lineales sintéticos y el conjunto de datos Feynman, comparándolo con dos métodos basados en GP (PySR, TaylorGP), tres métodos de SR neuronal (NeSymReS, E2E, TPSR) y un enfoque híbrido (uDSR).

Recuperación de la Forma Funcional: SeTGAP recuperó consistentemente la forma funcional correcta de las ecuaciones subyacentes en todos los 13 problemas sintéticos y en las 10 iteraciones experimentales (tasa de éxito del 100%). En contraste, los métodos competidores fallaron en recuperar la estructura correcta en más de 7 de los 13 problemas en cualquier iteración única. Notablemente, algunos métodos tenían restricciones de aplicabilidad; por ejemplo, NeSymReS no pudo aplicarse a los problemas E4 y E5 debido a su limitación a sistemas con un máximo de tres variables.
Desempeño de Extrapolación: SeTGAP demostró errores de extrapolación menores o comparables con respecto a los referentes. Los autores atribuyen esto al enfoque del método en la precisión estructural en lugar de la mera minimización del error, lo que evita el sobreajuste al dominio de entrenamiento.
Conjunto de Datos Feynman: En el benchmark de Feynman, SeTGAP logró una tasa de recuperación de solución simbólica de aproximadamente el 61.2%, ocupando el segundo lugar entre los métodos probados. Aunque sus clasificaciones agregadas de $R^2$ y MSE parecían más bajas en algunas métricas agregadas, las pruebas de significancia estadística (Tukey's HSD y Kruskal-Wallis) indicaron que SeTGAP logró el desempeño más bajo o estadísticamente comparable en la mayoría de los problemas individuales (73/78 para $R^2$ y 46/78 para MSE).
Robustez al Ruido: El método demostró robustez bajo niveles variables de ruido, aunque el desempeño se degradó a medida que el ruido aumentaba, particularmente para funciones que contienen términos exponenciales donde los pequeños errores de coeficiente conducen a grandes desviaciones.
Limitaciones de Complejidad: Aunque es altamente efectivo en los conjuntos de datos sintéticos y Feynman, el desempeño del método está ligado a la complejidad de los esqueletos que puede procesar. Los autores señalan que SeTGAP falla en problemas de benchmark específicos y complejos, como el F4 del benchmark SRBench++, donde la función subyacente requiere un número de operadores (ocho) y un anidamiento de operadores unarios que excede los límites de entrenamiento del Transformer de Conjunto Múltiple (entrenado con expresiones de hasta siete operadores).

Significado y Reivindicaciones

El artículo posiciona a SeTGAP no necesariamente como un método de vanguardia en términos de precisión predictiva bruta, sino como un enfoque superior para la interpretabilidad y la recuperación estructural.

Fidelidad a las Ecuaciones Gobernantes: La principal reivindicación es que, al priorizar la identificación de formas funcionales correctas sobre la mera minimización del error, SeTGosa produce expresiones que son fieles a las leyes físicas o matemáticas del sistema.
Generalización: Los autores argumentan que la precisión estructural conduce inherentemente a mejores capacidades de generalización (extrapolación), ya que las expresiones aprendidas capturan las relaciones reales en lugar del ruido específico de los datos.
Limitaciones: Los autores reconocen modestamente limitaciones, incluyendo el costo computacional del proceso de optimización de múltiples etapas y la dependencia de la complejidad del vocabulario de entrenamiento del Transformer de Conjunto Múltiple. Señalan que el método es menos eficiente que los enfoques de SR directa, pero argumentan que el intercambio es justificado para el descubrimiento científico donde el objetivo es obtener ecuaciones fiables e interpretables.

En conclusión, SeTGAP ofrece una vía novedosa para cerrar la brecha entre los modelos de alto rendimiento opacos y la necesidad de ecuaciones gobernantes interpretables en dominios científicos.