Resumen Técnico: Mejora de la Generalización en la Construcción de Características Evolutivas mediante la Minimización de la Brecha de Jensen Vicinal

Planteamiento del Problema

La construcción de características basada en Programación Genética (PG) ha emergido como una poderosa técnica de aprendizaje automático simbólico. Sin embargo, un desafío persistente que limita su aplicabilidad más amplia es el sobreajuste (overfitting). Aunque los métodos de PG suelen lograr un alto rendimiento en los datos de entrenamiento, las características construidas frecuentemente fallan al generalizarse a datos no vistos. Los enfoques tradicionales para controlar el sobreajuste, como la regulación del tamaño del modelo (presión de parsimonia), han demostrado ser insuficientes para caracterizar la complejidad de los modelos evolutivos modernos. Además, las métricas teóricas existentes como la dimensión VC o la complejidad de Rademacher a menudo no logran predecir con precisión el rendimiento de la generalización en contextos inspirados en el aprendizaje profundo. Adicionalmente, la aplicación directa de la Minimización del Riesgo Vicinal (VRM) —una técnica exitosa en el aprendizaje profundo para mitigar el sobreajuste mediante el aumento de datos— a la regresión por PG es problemática porque el VRM estándar asume que las etiquetas objetivo permanecen estables bajo pequeñas perturbaciones, un supuesto que a menudo falla en tareas de regresión donde los valores objetivo son continuos.

Metodología

El artículo propone un marco para mejorar la generalización mediante la descomposición del Riesgo Vicinal en un componente de pérdida empírica y un término de regularización. Esta descomposición permite la optimización independiente de la precisión de entrenamiento y la suavidad del modelo.

1. Descomposición Teórica del Riesgo Vicinal

Los autores demuestran que el riesgo vicinal está acotado por la suma del riesgo empírico y un término de regularización, dependiendo de la estrategia de aumento de datos:

• Perturbación de Ruido: Si los ejemplos vicinales se sintetizan mediante perturbación de ruido (por ejemplo, ruido Gaussiano), el término de regularización es una Diferencia Finita. Esto penaliza los cambios rápidos en la salida de la función en respuesta a pequeñas variaciones en la entrada.
• Aumento por Mixup: Si los ejemplos vicinales se sintetizan utilizando el método Mixup (interpolación lineal de entradas y etiquetas), el término de regularización es la Brecha de Jensen Vicinal. Este término, definido como $(\lambda f(x_i) + (1-\lambda)f(x_j) - f(\lambda x_i + (1-\lambda)x_j))^2$, penaliza la convexidad y la concavidad, promoviendo la linealidad local entre puntos de datos cercanos.

Los autores argumentan que descomponer el riesgo es superior a optimizar el riesgo vicinal bruto porque permite:

• Compensaciones Flexibles: Un control detallado sobre el equilibrio entre la pérdida empírica y la suavidad.
• Estimación Precisa del Error: Asegurar que la pérdida empírica se calcule con precisión sobre los datos originales en lugar de confundirse con muestras aumentadas ruidosas.
• Integración de la Pérdida de Validación: Permitir el uso de la pérdida de validación cruzada (en lugar de solo la pérdida empírica) como la métrica de precisión principal.

2. El Algoritmo Propuesto (VJM-GP)

Los autores introducen la Programación Genética basada en la Minimización de la Brecha de Jensen Vicinal (VJM-GP), un marco de construcción de características evolutivas que optimiza conjuntamente:

1. Pérdida Empírica: Medida mediante Validación Cruzada de Dejar Uno Fuera (LOOCV) para garantizar la robustez.
2. Término de Regularización: La Brecha de Jensen Vicinal (o Diferencia Finita).

Los componentes clave del algoritmo incluyen:

• Optimización Multiobjetivo: Utiliza el ordenamiento no dominado con distancia de apiñamiento (crowding distance) para evolucionar un frente de Pareto de soluciones, equilibrando la pérdida de validación cruzada y el término de regularización.
• Estrategia de Estimación de Ruido: Dado que los conjuntos de datos varían en niveles de ruido, los autores proponen una estrategia dinámica para ajustar el peso de regularización ($\tau$). Utilizan la puntuación $R^2$ de Árboles Extremadamente Aleatorizados (Extra Trees) en el conjunto de datos para estimar el ruido; niveles de ruido más altos activan un peso de regularización más fuerte para evitar el ajuste al ruido.
• Detección de Intrusión de Variedad (Manifold Intrusion Detection): Para abordar el problema donde las muestras generadas por Mixup caen fuera de la variedad de datos real (creando muestras poco realistas), los autores proponen un mecanismo de detección. Si la etiqueta de una muestra sintetizada (predicha por un modelo de Extra Trees entrenado con los datos originales) se desvía significativamente de la interpolación lineal de sus padres, la muestra se descarta. Esto evita que la minimización de la brecha de Jensen penalice excesivamente modelos efectivos en regiones altamente no lineales.

Contribuciones Clave

1. Descomposición Teórica: El artículo deriva límites superiores que muestran que el VRM basado en perturbaciones se descompone en riesgo empírico y diferencia finita, mientras que el VRM basado en mixup se descompone en riesgo empírico y la brecha de Jensen vicinal.
2. Marco de PG Regularizado: Se propone un nuevo marco de PG (VJM-GP) que optimiza simultáneamente la pérdida de validación cruzada y la brecha de Jensen vicinal, ofreciendo un control más efectivo sobre el sobreajuste que las medidas de complejidad tradicionales.
3. Regularización Adaptativa: Se introduce una estrategia de estimación de ruido para ajustar dinámicamente la fuerza de la regularización basada en las características del conjunto de datos, evitando la penalización excesiva en escenarios de bajo ruido.
4. Mitigación de la Intrusión de Variedad: Se propone una estrategia de detección para filtrar muestras aumentadas poco realistas, asegurando que el término de regularización refleje la verdadera geometría de la variedad de los datos.

Resultados Experimentales

El método propuesto fue evaluado en 58 conjuntos de datos de regresión del mundo real del Penn Machine Learning Benchmark (PMLB).

• Comparación de Regularizadores: Se encontró que la Brecha de Jensen Vicinal es un regularizador más efectivo que la Diferencia Finita, superándola en 15 conjuntos de datos y rindiendo por debajo de ella en solo 5.
• Comparación con Medidas de Complejidad: VJM-GP superó significativamente a la PG estándar y a otros siete métodos de control de complejidad (incluyendo Presión de Parsimonia, Regularización de Tikhonov, Complejidad de Rademacher y P-VRM) en términos de puntuaciones $R^2$ de prueba. Logró una generalización superior en 36 conjuntos de datos en comparación con la PG estándar.
• Comparación con Líneas Base: VJM-GP se comparó contra 15 algoritmos de vanguardia de regresión simbólica y aprendizaje automático (incluyendo XGBoost y ExcelFormer). Logró un rendimiento competitivo o superior, particularmente en escenarios con tamaños de muestra limitados, manteniendo tamaños de modelo significativamente menores que los métodos de gradient boosting.
• Estudios de Ablación:
  • Detección de Intrusión de Variedad: Eliminar esta estrategia resultó en un menor rendimiento de prueba en 6 conjuntos de datos, confirmando su necesidad.
  • Estimación de Ruido: La estrategia de ponderación adaptativa mejoró significativamente el rendimiento en 12 conjuntos de datos en comparación con un peso fijo, validando la necesidad de una regularización dinámica.
• Ruido de Etiquetas: En experimentos con etiquetas ruidosas, VJM-GP demostró una robustez superior en comparación con la PG estándar y P-VRM.

Significancia y Afirmaciones

El artículo afirma que la descomposición propuesta del riesgo vicinal proporciona una comprensión teórica más profunda del sobreajuste en la construcción de características evolutivas. Al separar la pérdida empírica del término de regularización, el método permite un control más matizado de la complejidad del modelo, centrándose en la complejidad funcional (suavidad y linealidad) en lugar de solo la complejidad sintáctica (tamaño del árbol).

Los autores sostienen que su enfoque permite que la PG alcance un rendimiento de primer nivel en tareas de regresión simbólica, particularmente cuando los datos son escasos o ruidosos. Enfatizan que un control eficaz del sobreajuste requiere equilibrar la precisión y la suavidad, y que minimizar ciegamente el tamaño del modelo es insuficiente. El trabajo sugiere que el marco propuesto puede integrarse en otros algoritmos evolutivos y potencialmente adaptarse a métodos de regresión simbólica basados en aprendizaje profundo en el futuro.