A Comparative Study of Model Selection Criteria for Symbolic Regression

Resumen Técnico: Un Estudio Comparativo de Criterios de Selección de Modelos para la Regresión Simbólica

Enunciado del Problema
La Regresión Simbólica (RS), típicamente resuelta mediante Programación Genética (PG), busca descubrir expresiones matemáticas que equilibren precisión y complejidad. Si bien las implementaciones modernas de PG generan una frontera de Pareto de soluciones candidatas, la selección automática de un único modelo que generalice bien a datos no vistos sigue siendo un desafío abierto. La literatura existente ofrece diversos enfoques basados en la teoría de la información y bayesianos, pero las comparaciones empíricas exhaustivas de su rendimiento en diferentes regímenes de datos son limitadas. Existe una falta de orientación práctica sobre qué criterio de selección preferir bajo condiciones específicas para evitar el sobreajuste mientras se mantiene la interpretabilidad.

Metodología
Los autores realizaron una comparación empírica sistemática de seis criterios de selección de modelos ampliamente utilizados:

1. Criterio de Información de Akaike (AIC)
2. AIC Corregido (AICc)
3. Criterio de Información Bayesiano (BIC)
4. Longitud Mínima de Descripción (MDL)
5. Estimación del error intramuestral basada en el bootstrap de Efron ($Err_{in}$)
6. Error Cuadrático Medio de Entrenamiento ($MSE_{train}$) utilizado como línea base.

Configuración Experimental:

• Conjuntos de datos: Se utilizaron siete funciones de referencia sintéticas (comunes en la literatura de PG). Los datos de entrenamiento consistieron en 100 puntos con ruido gaussiano añadido ($\epsilon \sim N(0, (0.1\sigma(y))^2)$), mientras que los datos de prueba comprendieron 10.000 puntos libres de ruido.
• Generación de Candidatos: Para desacoplar la evaluación de algoritmos específicos de RS, se generó un conjunto controlado de expresiones candidatas perturbando las funciones de verdad fundamental. Un procedimiento de mutación reemplazó nodos aleatorios en los árboles de verdad fundamental con subárboles aleatorios. Estos candidatos se ajustaron a los datos de entrenamiento utilizando optimización BFGS (repetida 100 veces para evitar óptimos locales). El proceso generó 100 modelos sobreajustados por referencia (aquellos con un MSE de entrenamiento menor que la verdad fundamental) para probar la capacidad de los criterios de recuperar el modelo verdadero a partir de un conjunto de alternativas sobreajustadas.
• Métricas de Evaluación:
  • $MSE_{test}$ Promedio: Rendimiento de los modelos clasificados en los top-$k$.
  • Precisión en $k$: La fracción de modelos seleccionados en los top-$k$ que pertenecen a los verdaderos top-$k$ basados en el error de prueba.
  • Tamaño de Expresión Promedio: Complejidad estructural media (conteo de nodos) de los modelos seleccionados.
  • Acierto con la Verdad Fundamental: El rango mínimo $k$ en el que se recupera la expresión exacta de la verdad fundamental.

Contribuciones y Resultados Clave
El estudio proporciona una clasificación detallada de los criterios de selección basada en las cuatro métricas anteriores:

• MDL (Longitud Mínima de Descripción): Surgió consistentemente como el criterio más robusto. Identificó modelos con el menor error de prueba para valores pequeños de $k$ en seis de las siete referencias y produjo las expresiones más parsimoniosas (más pequeñas). MDL y BIC demostraron la mayor eficiencia en la recuperación de la expresión de verdad fundamental, con rangos medios de primer acierto de 5,14 y 6,00, respectivamente.
• BIC: Rindió de manera similar a MDL en términos de recuperación de la verdad fundamental y proporcionó resultados estables e intermedios en las referencias, a menudo generando fórmulas concisas.
• AIC y AICc: Generalmente se clasificaron por debajo de MDL y BIC en cuanto a generalización. Aunque AICc mostró ligeras mejoras sobre el AIC estándar para funciones específicas ($f_1, f_2$), ambos tendieron a seleccionar modelos más complejos que MDL.
• $Err_{in}$ (Error Intramuestral Bootstrap): Mostró resultados mixtos. Si bien logró buena precisión y generalización para algunos conjuntos de datos ($f_1, f_2, f_3, f_6, f_7$), rindió mal en otros ($f_4, f_5$), seleccionando a menudo expresiones más grandes y fallando en recuperar la verdad fundamental de manera eficiente (rango medio 31,71). Los autores atribuyen esta inconsistencia a la dependencia de las estimaciones de varianza de ruido de Random Forest.
• $MSE_{train}$: Rindió consistentemente lo peor, confirmando que el error de entrenamiento sin regularizar conduce a un sobreajuste severo y a una mala generalización.

Complejidad Computacional
El artículo analiza la sobrecarga computacional de estos criterios:

• AIC, AICc, BIC: Los más eficientes ($O(n)$), requiriendo solo un solo pase sobre los datos después de la estimación de parámetros.
• MDL: Ligeramente más costoso ($O(n \cdot p)$) debido al cálculo de la matriz de información de Fisher, pero sigue siendo eficiente para los tamaños típicos de expresiones de RS.
• $Err_{in}$: Significativamente el más intensivo computacionalmente, requiriendo $B$ iteraciones de bootstrap (típicamente 200) y reajustes repetidos de parámetros, lo que lo hace potencialmente poco práctico para procesos de búsqueda evolutiva iterativa.

Significado y Afirmaciones
Los autores afirman que sus hallazgos ofrecen orientación práctica para los flujos de trabajo de RS. Concluyen que MDL es una opción predeterminada sólida para una selección temprana robusta y modelos compactos, con BIC como opción secundaria. Sugieren que AIC/AICc pueden ser preferibles solo cuando se aceptan modelos ligeramente más grandes y la penalización de MDL se considera excesivamente conservadora. Por el contrario, no recomiendan $Err_{in}$ debido a su alto costo computacional y su rendimiento inconsistente en sus experimentos.

El estudio señala explícitamente limitaciones, incluido el uso de un único nivel de ruido para la generación de datos y el hecho de que los criterios se evaluaron en un conjunto de candidatos post-hoc en lugar de integrarse directamente en el bucle de búsqueda de PG. Los autores declaran que el trabajo futuro debería investigar la variación de las intensidades de ruido y la integración de estos criterios en el proceso de búsqueda evolutiva.