💻 ciencias de la computación

Symbolic Regression Using Synergistic Basis Functions

Este artículo presenta la Regresión de Funciones de Base Sinérgicas (SBFR, por sus siglas en inglés), un método de regresión simbólica no evolutivo que genera y selecciona dinámicamente funciones de base sinérgicas para lograr un rendimiento predictivo competitivo con representaciones de características compactas, superando significativamente a los modelos de referencia en precisión al tiempo que elimina la necesidad de una búsqueda evolutiva computacionalmente costosa.

Autores originales: Hamide Sarvary Karizaky, Mohammad Mehdi Ebadzadeh

Publicado 2026-10-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hamide Sarvary Karizaky, Mohammad Mehdi Ebadzadeh

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la ciencia de datos, los investigadores intentan constantemente encontrar las reglas ocultas que conectan un conjunto de números con otro. Imagine que tiene una lista de entradas, como los ingredientes de un pastel, y una lista de resultados, como la altura que alcanza el pastel al crecer. El objetivo es escribir la receta matemática exacta que convierte los ingredientes en el resultado. Esto se llama regresión. Para problemas sencillos, una línea recta podría bastar, pero el mundo real rara vez es así de simple. A menudo, la relación es retorcida y enredada, lo que requiere fórmulas compleas para describirla con precisión.

Durante décadas, los científicos han utilizado un método llamado regresión simbólica para resolver esto. En lugar de simplemente adivinar una fórmula, estos programas informáticos buscan a través de una vasta biblioteca de posibles expresiones matemáticas para encontrar la que mejor se ajuste a los datos. La gran ventaja de este enfoque es que la respuesta final es una ecuación clara y escrita que un humano puede leer y comprender. Sin embargo, encontrar esa ecuación perfecta es como buscar una aguja específica en un pajar que no deja de crecer. La forma tradicional de hacer esto implica un proceso similar a la evolución, donde miles de fórmulas candidatas compiten, mutan y se reproducen a lo largo de muchas generaciones. Si bien esto puede funcionar, es increíblemente lento y computacionalmente costoso, requiriendo a menudo cantidades masivas de potencia informática solo para encontrar una solución que podría ser innecesariamente complicada.

Un equipo de investigadores de la Universidad Tecnológica de Amirkabir en Irán ha propuesto una forma diferente de abordar este problema. Introdujeron un nuevo método llamado Regresión de Funciones de Base Sinérgicas, o SBFR, que se salta por completo la lenta búsqueda evolutiva. En lugar de dejar que miles de fórmulas luchen entre sí, este nuevo enfoque construye la solución pieza por pieza, como un artesano que selecciona y ajusta cuidadosamente herramientas individuales. La idea central es generar piezas matemáticas candidatas, llamadas funciones de base, y luego probar qué tan bien funcionan juntas. Los investigadores se dieron cuenta de que una sola pieza matemática podría no parecer muy útil por sí sola, pero cuando se combina con el compañero adecuado, podría volverse increíblemente poderosa. Este concepto se conoce como sinergia: el todo es mayor que la suma de sus partes.

Los investigadores diseñaron su sistema para que actúe como un editor dinámico. Comienza con un conjunto vacío de herramientas y comienza a generar nuevas expresiones matemáticas utilizando un método estándar que crea estructuras diversas. Por cada nueva expresión que crea, el sistema hace dos preguntas. Primero, ¿esta nueva pieza mejora el modelo si simplemente la añadimos a nuestra colección actual? Segundo, ¿podría esta nueva pieza hacer un mejor trabajo si la intercambiamos por una de las piezas que ya tenemos? El sistema mide la mejora en la precisión de la predicción para ambos escenarios. Si añadir la nueva pieza ayuda, se conserva. Si intercambiarla con una pieza existente hace que el modelo sea aún mejor, la pieza antigua se descarta y se reemplaza. Este proceso se repite, refinando constantemente la colección de herramientas matemáticas hasta que el modelo sea lo más preciso y compacto posible.

Para probar si este nuevo método funcionaba, los investigadores lo aplicaron a nueve conjuntos de datos diferentes, que iban desde problemas sintéticos diseñados para probar habilidades matemáticas hasta datos del mundo real que involucraban cosas como la resistencia del concreto y los precios de las propiedades. Compararon su nuevo sistema con otros trece métodos, incluyendo los enfoques evolutivos tradicionales y los modelos estándar de aprendizaje automático. Los resultados mostraron que el nuevo método era altamente efectivo. En promedio, los modelos construidos con este nuevo enfoque redujeron sus errores de predicción en aproximadamente un cuarenta por ciento en comparación con los métodos estándar. También mejoraron la capacidad de los modelos para explicar los datos en más de un veinte por ciento. Crucialmente, el nuevo método logró esto sin necesitar el pesado costo computacional de la búsqueda evolutiva.

Quizás el hallazgo más sorprendente fue cuán eficiente fue el nuevo sistema para mantener los modelos simples. Mientras que algunos de los métodos tradicionales producían modelos con cientos o incluso miles de términos matemáticos, lo que los hacía difíciles de interpretar para los humanos, el nuevo método típicamente seleccionaba solo entre cuatro y doce piezas para construir un modelo funcional. Esto resultó en una ecuación final que no solo era precisa, sino también lo suficientemente corta como para ser fácilmente comprendida e inspeccionada. Los investigadores encontraron que el mejor equilibrio entre precisión y simplicidad se logró cuando el nuevo método se combinó con un tipo específico de algoritmo de aprendizaje automático conocido como Bosque Aleatorio (Random Forest), que actuó como el decisor final utilizando las piezas matemáticas seleccionadas.

El estudio también destacó que el éxito del método dependía de qué tan bien trabajaban las piezas matemáticas juntas. Una pieza que parecía débil de forma aislada podía convertirse en una estrella cuando se emparejaba con los vecinos adecuados. Al enfocarse en estas relaciones cooperativas en lugar de solo en la fuerza de las piezas individuales, el sistema evitó el desorden de fórmulas redundantes o inútiles. Este enfoque demostró ser una alternativa viable a los métodos evolutivos tradicionales de fuerza bruta, ofreciendo una forma de descubrir reglas matemáticas claras a partir de datos complejos sin la enorme carga computacional. El trabajo sugiere que, al pensar en cómo interactúan y se apoyan los rasgos de los datos entre sí, podemos construir modelos más inteligentes, limpios y comprensibles para el futuro.

Resumen Técnico: Regresión Simbólica mediante Funciones de Base Sinérgicas

Planteamiento del Problema

La Regresión Simbólica (SR, por sus siglas en inglés) tiene como objetivo descubrir relaciones matemáticas explícitas entre variables de entrada y un objetivo continuo sin asumir una forma funcional predefinida. Si bien la SR ofrece una interpretabilidad superior en comparación con los modelos de "caja negra" como las Redes Neuronales Artificiales (ANN), enfrenta desafíos significativos debido a su espacio de búsqueda vasto y complejo. Los enfoques evolutivos tradicionales, particularmente la Programación Genética (GP), suelen sufrir de altos costos computacionales, convergencia lenta y la tendencia a producir representaciones innecesariamente complejas (bloat o hinchazón). Además, los métodos no evolutivos existentes suelen tener dificultades con la selección de funciones de base, evaluando frecuentemente las funciones candidatas basándose en su contribución predictiva individual en lugar de sus efectos cooperativos o sinérgicos cuando se combinan con un conjunto de características ya existente. Esta omisión puede conducir a representaciones redundantes y a la pérdida de oportunidades para descubrir combinaciones de funciones valiosas.

Metodología: Regresión de Funciones de Base Sinérgicas (SBFR)

El artículo propone la Regresión de Funcas de Base Sinérgicas (SBFR), un marco no evolutivo diseñado para construir modelos simbólicos compactos e interpretables. A diferencia de la GP, que evoluciona poblaciones de expresiones completas, SBFR genera e selecciona iterativamente funciones de base individuales basadas en su contribución a un modelo de regresión en el contexto de las características ya seleccionadas.

Mecanismos Centrales

Generación de Candidatos:
SBFR genera funciones de base simbólicas candidatas (representadas como estructuras de árbol) utilizando el procedimiento Ramped Half-and-Half (RHH). Este método combina estrategias de "completitud" (full) y "crecimiento" (grow) para producir expresiones con estructuras y profundidades diversas a partir de un conjunto predefinido de funciones (por ejemplo, $+$ , $-$, $\times$ , $\div$ ) y terminales (variables de entrada y constantes aleatorias).
Selección Basada en la Sinergia:
En lugar de seleccionar funciones basándose únicamente en su rendimiento independiente, SBFR evalúa las candidatas utilizando dos métricas complementarias relativas al conjunto actual de funciones de base ( $FV$ ):
- Sinergia por Adición ( $S_{Add}$ ): Mide la reducción relativa en el Error Cuadrático Medio (RMSE) cuando una candidata se añade al conjunto de características actual.
- Sinergia por Reemplazo ( $S_{Rep}$ ): Mide la reducción relativa en el RMSE cuando una candidata reemplaza una función de base existente en el conjunto.
Una candidata es aceptada solo si la mejora excede un umbral predefinido (improvethreshold). El algoritmo actualiza dinámicamente el conjunto de características añadiendo una nueva función o reemplazando una existente si el reemplazo produce una mejora sinérgica mayor.
Marco Independiente del Modelo:
SBFR está diseñado para ser independiente del modelo (model-agnostic). Las funciones de base simbólicas construidas sirven como características transformadas para un modelo de regresión descendente. En los experimentos, los autores evaluaron SBFR utilizando varios aprendices de modelos descendentes, incluyendo Regresión Lineal (Ridge), Regresión de Vectores de Soporte (SVR), K-Vecinos Más Cercanos (KNN), Árboles de Decisión (DT), Bosque Aleatorio (RF) y Perceptrones Multicapa (MLP).
Criterios de Parada:
El proceso iterativo termina cuando se alcanza un número máximo de intentos, cuando no se observa una mejora significativa durante un número consecutivo de evaluaciones, o cuando se alcanza el error objetivo (RMSE = 0).

Contribuciones Clave

Los autores identifican tres contribuciones principales:

Extensión de la Sinergia a la Regresión: El trabajo extiende el concepto de construcción de características sinérgicas, aplicado previamente a la clasificación, al dominio de la Regresión Simbólica, resultando en el marco no evolutivo SBFR.
Estrategia de Selección Dinámica: La introducción de un mecanismo de selección dinámica que retiene funciones de base complementarias y reduce la redundancia al evaluar explícitamente la contribución cooperativa de las candidatas, evitando la necesidad de una búsqueda de población basada en la evolución.
Evaluación Exhaustiva: Una evaluación rigurosa de SBFR en nueve conjuntos de datos de referencia (tanto sintéticos como del mundo real) contra 13 métodos de línea base, evaluando tanto el rendimiento predictivo como la compacidad del modelo.

Resultados Experimentales

El estudio evaluó SBFR en nueve conjuntos de datos: Concrete, Pollen, RatPol2D, Real Estate, Toxicity, X05Y1Z15, bm1, bm4, y keijzer5. Los resultados se compararon contra regresores convencionales y métodos de SR de vanguardia (incluyendo variantes de GP como GSGP, M3GP, EvoF y métodos no evolutivos como FFX).

Rendimiento Predictivo

Reducción de Error: En los nueve conjuntos de datos, las configuraciones basadas en SBFR lograron reducciones relativas promedio de 40.14% en RMSE y 41.53% en MAE en comparación con sus regresores de línea base correspondientes.
Mejora en $R^2$ : Hubo una mejora relativa promedio del 21.56% en el coeficiente de determinación ( $R^2$ ).
Significancia Estadística: La configuración SBFR-RF (Bosque Aleatorio como modelo descendente) logró el segundo mejor rango promedio para RMSE (3.78), siendo estadísticamente comparable con el método evolutivo de mejor desempeño, EvoF (rango 2.89), pero superando significativamente al Bosque Aleatorio independiente (rango 5.22).
Consistencia de Métricas: SBFR-RF mantuvo un fuerte desempeño también en las métricas MAE y $R^2$ , superando consistentemente a su línea base y compitiendo con los principales métodos evolutivos.

Compacidad del Modelo e Interpretabilidad

Dimensionalidad de Características: Una ventaja crítica de SBFR es la compacidad del espacio de características resultante. Mientras que los métodos evolutivos como GSGP y EvoF a menudo producían cientos de características (por ejemplo, la mediana de GSGP >600 características), las variantes de SBFR típicamente retuvieron solo 4–12 funciones de base (dependiendo del modelo descendente y el conjunto de datos).
Rankings de Compacidad: SBFR-SVR logró el mejor rango promedio (2.44) para la compacidad del espacio de características, seguido de cerca por SBFR-RF (2.56).
Compromiso (Trade-off): El artículo señala un compromiso donde SBFR-SVR ofrece las representaciones más compactas pero con un rendimiento predictivo ligeramente menos competitivo que SBFR-RF. Se destaca que SBFR-RF ofrece el equilibrio más favorable entre precisión predictiva y compacidad de características.

Análisis de Ejemplo

Un ejemplo ilustrativo en el conjunto de datos RatPol2D mostró a SBFR-RF construyendo ocho funciones de base simbólicas. Estas incluyeron transformaciones lineales simples (por ejemplo, $3x_0$ ) e interacciones no lineales (por ejemplo, $x_0(x_1 - x_0)$ ), demostrando la capacidad de crear expresiones matemáticas explícitas e interpretables que capturan relaciones complejas.

Significancia y Reivindicaciones

El artículo afirma que SBFR aborda las limitaciones de la SR evolutiva al reemplazar las costosas búsquedas de población con un proceso de selección de funciones de base guiado por la sinergia e iterativo. La significancia del trabajo reside en:

Eficiencia: Evita el alto costo computacional de evaluar grandes poblaciones de expresiones candidatas.
Interpretabilidad: Produce representaciones simbólicas compactas que son más fáciles de interpretar que los masivos conjuntos de características generados por los métodos evolutivos.
Efectividad: Demuestra que la evaluación explícita de la contribución sinérgica de las funciones conduce a un mejor rendimiento predictivo y a modelos más compactos que los métodos que dependen únicamente de la selección de características individual o la búsqueda evolutiva estándar.

Los autores concluyen que SBFR proporciona una alternativa viable y no evolutiva para la Regresión Simbólica que equilibra con éxito el rendimiento predictivo, la compacidad del modelo y la interpretabilidad, particularmente cuando se combina con aprendices de conjunto (ensemble learners) como el Bosque Aleatorio.