Resumen Técnico: Un Estudio Exhaustivo y Comprensible de la Cuantificación de la Incertidumbre en la Regresión Simbólica

Declaración del Problema

La Regresión Simbólica (RS) es una clase de algoritmos de búsqueda diseñada para descubrir funciones matemáticas que capturen con precisión las relaciones subyacentes en los conjuntos de datos. A pesar de los avances recientes, la adopción de la RS en procesos de toma de decisiones del mundo real se ve limitada por la falta de soporte para la Cuantificación de la Incertidumbre (UQ, por sus siglas en inglés). En el análisis de regresión, la UQ es crítica para evaluar la fiabilidad del modelo, prevenir el sobreajuste al contabilizar el ruido de los datos (incertidumbre aleatoria) y proporcionar información para la toma de decisiones.

La RS enfrenta dos fuentes primarias de incertidumbre:

1. Incertidumbre Aleatoria: Aleatoriedad intrínseca o imprecisión de medición en el proceso de generación de datos. Esta es irreducible, pero puede cuantificarse para estimar el límite inferior de error inducido por el ruido.
2. Incertidumbre Epistémica: Una falta de conocimiento respecto al modelo verdadero. Esto incluye:
   * Incertidumbre del Modelo: El riesgo de que el modelo verdadero $h^*$ no esté presente en el espacio de hipótesis $\mathcal{H}$.
   * Incertidumbre de Aproximación: Incertidumbre sobre si un modelo $h$ específico es el mejor dentro de $\mathcal{H}$, a menudo descompuesta en incertidumbre de parámetros (incertidumbre en los parámetros ajustables $\theta$) e incertidumbre estructural.

Mientras que la literatura tradicional de RS se centra en el recorrido eficiente del espacio de búsqueda multimodal, las incertididades a menudo no se abordan explícitamente. Este estudio tiene como objetivo introducir conceptos esenciales de UQ y revisar la literatura actual para aumentar la conciencia y promover avances en métodos de UQ fiables para la RS.

Metodología y Fundamentos Teóricos

El artículo estructura la revisión en torno a tres direcciones de investigación: Frecuentista, Bayesiana y Selección de Modelos. Establece un fundamento teórico utilizando funciones de verosimilitud e información de Fisher.

1. Fundamentos Estadísticos

• Verosimilitud e Información de Fisher: El estudio define la función de verosimilitud $L_N(\theta)$ y su transformación logarítmica. Utiliza la matriz Hessiana del logaritmo de la verosimilitud para estimar la certeza de los parámetros. La Hessiana negativa corresponde a la información de Fisher observada, donde los valores bajos de información indican superficies de verosimilitud planas (alta incertidumbre) y picos agudos indican una estimación precisa.
• Enfoques Frecuentistas: Tratan los parámetros como fijos pero desconocidos. La UQ se logra mediante Intervalos de Confianza (CI) para los parámetros e Intervalos de Predicción (PI) para los resultados. El artículo detalla el cálculo de los errores estándar utilizando la inversa de la Hessiana y discute la Predicción Conforme (CP) como un método libre de distribución que garantiza la cobertura para datos intercambiables, contrastándola con los PI tradicionales que dependen de supuestos gaussianos.
• Métodos Bayesianos: Tratan los parámetros como variables aleatorias con distribuciones. La UQ se logra mediante Intervalos de Credibilidad (CrI) derivados de la distribución posterior $p(h|D) \propto p(h)p(D|h)$. El artículo analiza Monte Carlo por Cadenas de Markov (MCMC) y Monte Carlo Secuencial (SMC) como métodos para aproximar posteriores intratables. También cubre el Promedio de Modelos Bayesianos (BMA) para manejar la incertidumbre de aproximación.
• Selección de Modelos: El estudio revisa principios como el Factor de Bayes, el Factor de Bayes Fraccionario (FBF) (para manejar prioris impropias) y el principio de Longitud de Descripción Mínima (MDL), que equilibra la complejidad del modelo y el ajuste de los datos al minimizar la longitud del código.

2. Revisión de la Literatura de UQ específica de RS

Los autores revisaron 18 artículos relevantes (11 bayesianos, 4 no bayesianos, 3 de selección de modelos) de revistas revisadas por pares, conferencias y preprints.

Enfoques Bayesianos en RS

• Monte Carlo Secuencial (SMC): Una serie de trabajos (Bomarito et al., Leser et al.) integran SMC en la Programación Genética (GP) para la RS. Proponen una reformulación probabilística de la optimización local y la selección. El método estima la Log-Verosimilitud Marginal Normalizada (NMLL) para comparar modelos. Utiliza SMC para aproximar integrales sobre los parámetros, manejando mejor las posteriores multimodales que las aproximaciones de Laplace. Un trabajo reciente extiende esto para marginalizar directamente sobre las estructuras de modelos discretos, tratando la población de modelos simbólicos como una posterior ponderada.
• Priors Estructurales: Guimera et al. y Bartlett et al. introducen priors informativos sobre las estructuras de los modelos. Guimera et al. utilizan frecuencias de operadores de un corpus (Wikipedia) para definir priors, mientras que Bartlett et al. utilizan modelos de lenguaje (n-gramas) para modelar las probabilidades de los nodos condicionales a sus ancestros, con el fin de capturar el contexto en los árboles de expresión.
• Incertidumbre en el Eje X: Bartlett y Desmond formulan verosimilitudes que incorporan errores de medición en las variables independientes ($x$), marginalizando los valores reales para derivar una función de verosimilitud modificada.
• Métodos de Ensamble: Agapitos et al. proponen el Promedio de Modelos Bayesianos (BMA) sobre una población de modelos diversos para dar cuenta de la incertidumbre de aproximación.
• Bosques Bayesianos Lineales: Roy et al. proponen HierBOSSS (un bosque de árboles simbólicos combinados linealmente) y VaSST (usando inferencia variacional con árboles simbólicos "suaves"). Estos enfoques aprovechan la conjugación para los coeficientes lineales, pero dependen de aproximaciones de campo medio (mean-field) para las estructuras de los árboles. Los autores señalan limitaciones respecto al supuesto de linealidad y posibles inconsistencias en la replicación experimental.
• MCMC Post-hoc: Zhao y Zhao aplican MCMC al modelo final encontrado por la RS para calcular intervalos de credibilidad para los coeficientes y las predicciones.

Enfoques No Bayesianos

• Regresión de Cuantiles: Hoekstra y Hengst reemplazan la función de aptitud (fitness) de la RS con una pérdida de tipo pinball para estimar cuantiles condicionales, generando efectivamente intervalos de predicción.
• Verosimilitud de Perfil: de Franca y Kronberger utilizan la verosimilitud de perfil para calcular intervalos de confianza asimétricos para los parámetros y las predicciones, capturando dependencias entre parámetros que las aproximaciones del método delta pasan por alto.
• Bootstrapping: Manzi y Vasile aplican bootstrapping para generar múltiples muestras, ajustar modelos de RS y visualizar las distribuciones de los parámetros mediante histogramas para evaluar la incertidumbre estructural y paramétrica.
• Símbolos Terminales para Ruido: Schmidt y Lipson introducen un símbolo terminal aleatorio para modelar relaciones de ruido no lineales directamente dentro de la expresión, optimizando el rango de los intervalos de predicción.
• Predicción Conforme en RS: Thuong et al. integran la CP ya sea de forma post-hoc sobre el mejor modelo o incorporando el ancho del intervalo en la función de aptitud, encontrando que la aplicación post-hoc arrojaba mejores resultados.

Selección de Modelos

• MDL en RS: Iba et al. y Nikolaev aplican MDL a modelos polinómicos (STROGANOFF) y búsquedas exhaustivas, utilizando la longitud del código para penalizar la complejidad. Bartlett et al. proponen una métrica de DL detallada para expresiones enumeradas que tiene en cuenta la complejidad funcional y la precisión de los parámetros mediante la discretización.

Resultados Clave y Hallazgos

• Recencia: Solo 3 de los 18 artículos encuestados fueron publicados antes de 2020, lo que indica que la UQ en RS es un campo que está emergiendo rápidamente.
• Diversidad Metodológica: Aunque existen métodos de UQ tradicionales (como los CI), su aplicación directa a la RS es rara. La mayoría de los trabajos encuestados (aprox. و60%) utilizan enfoques bayesianos, aprovechando los métodos de muestreo (MCMC, SMC) para proporcionar inherentemente UQ.
• SMC vs. Laplace: Los métodos basados en SMC para la RS (Bomarito et al.) demuestran una capacidad superior para capturar posteriores multimodales en comparación con las aproximaciones de Laplace, aunque con un mayor costo computacional.
• Priors Estructurales: La incorporación de priors estructurales (por ejemplo, basados en modelos de lenguaje o frecuencias de operadores) ayuda en la selección de modelos y reduce el sobreajuste, aunque pueden restringir la exploración de expresiones novedosas no presentes en el corpus de entrenamiento.
• Limitaciones de los Métodos Actuales:
  • Muchos métodos de RS bayesianos (por ejemplo, VaSST) dependen de aproximaciones de campo medio que ignoran las dependencias entre nodos, lo que potencialmente conduce a estructuras globales subóptimas.
  • Los bosques bayesianos lineales están limitados a modelos que son lineales en sus parámetros.
  • Algunos métodos propuestos (por ejemplo, HierBOSSS, VaSST) enfrentan desafíos en la replicación experimental y la consistencia del código.
  • Los enfoques frecuentistas tienen dificultades con la RS porque los modelos de RS flexibles pueden sobreajustarse fácilmente, lo que los hace inadecuados como estimadores insesgados requeridos para ciertos cálculos de varianza.

Significancia y Reivindicaciones

El artículo afirma ser el primer estudio que aborda claramente el problema de la UQ en la Regresión Simbólica. Su principal significancia radica en:

1. Cerrar la Brecha: Conecta conceptos establecidos de UQ estadística (frecuentista y bayesiana) con los desafíos específicos de la RS, tales como la naturaleza discreta de las estructuras de los modelos y los espacios de búsqueda multimodales.
2. Categorización: Organiza la literatura fragmentada en tres direcciones de investigación coherentes: frecuentista, bayesiana y selección de modelos.
3. Resaltar Áreas Subexploradas: Los autores concluyen que la UQ en la RS sigue siendo ampliamente subexplorada y que su importancia es sistemáticamente subestimada.
4. Dirección Futura: El artículo argumenta que el trabajo futuro debe adoptar métodos de UQ establecidos para la RS, junto con un análisis cuidadoso de los datos y el ruido, para desarrollar modelos fiables para la toma de decisiones en el mundo real. Enfatiza que, si bien la UQ puede venir "gratis" en los enfoques basados en muestreo, las implementaciones actuales tienen limitaciones significativas respecto al costo computacional, los priors estructurales y el manejo de la multimodalidad.