LLM Driven Design of Continuous Optimization Problems with Controllable High-level Properties

Resumen Técnico: Diseño de Problemas de Optimización Continua Impulsado por LLM con Propiedades de Alto Nivel Controlables

Planteamiento del Problema
La evaluación comparativa en la optimación de caja negra continua se ve actualmente obstaculizada por la limitada diversidad estructural de los conjuntos de pruebas existentes, como el conjunto BBOB (Black-Box Optimization Benchmarking). Como se ha señalado en trabajos previos, estos conjuntos suelen cubrir solo regiones estrechas del espacio de problemas, lo que restringe la generalización de los modelos de Selección Automática de Algoritmos (AAS) y hace que la evaluación dependa altamente de las particiones de datos. Si bien se han propuesto intentos previos para generar nuevos problemas —como combinaciones afines de funciones existentes o generadores basados en árboles aleatorios—, estos ofrecen una novedad limitada o carecen de la capacidad de controlar propiedades específicas de alto nivel del paisaje. Este artículo investiga si los Modelos de Lenguaje de Gran Escala (LLMs), integrados dentro de un bucle evolutivo, pueden utilizarse para sintetizar automáticamente problemas de optimización que exhiban características de paisaje de alto nivel claramente definidas e interpretables.

Metodología
Los autores proponen un marco que extiende LLaMEA (Algoritmo Evolutivo impulsado por LLM), diseñado originalmente para la generación de algoritmos, al dominio de la generación de problemas. La metodología sigue un proceso de tres pasos:

1. Definición del Modelo de Características:
   Los autores se centran en cinco propiedades de alto nivel derivadas del Análisis de Paisaje Exploratorio (ELA): multimodalidad, separabilidad, homogeneidad del tamaño de la cuenca, homogeneidad del espacio de búsqueda y contraste entre óptimos globales y locales. Se entrenan modelos de aprendizaje automático (específicamente regresores XGBoost) sobre el conjunto de datos BBOB para predecir estas propiedades basándose en las características ELA extraídas de muestras de muestreo de hipercubo latino. Para la separabilidad, se emplea una prueba numérica directa utilizando estimaciones de diferencias finitas de interacciones de variables en lugar de un modelo predictivo.

2. Generación de Problemas mediante LLM:
   El marco LLaMEA evoluciona código Python ejecutable que representa funciones de optimización. El LLM (específicamente se seleccionó gpt5-nano por su equilibrio entre rendimiento y eficiencia) recibe prompts en lenguaje natural que describen las propiedades objetivo.

   • Evaluación de la Aptitud (Fitness): Los candidatos generados son puntuados por los modelos de predicción de propiedades entrenados.
   • Mecanismo de Diversidad: Para evitar que la población converja en paisajes redundantes, los autores introducen un mecanismo de partición de aptitud en el espacio ELA (ELA-space fitness-sharing mechanism). Este ajusta la aptitud de un individuo basándose en su densidad en el espacio de características ELA (utilizando distancias de Manhattan estandarizadas con z), penalizando las soluciones que son demasiado similares entre sí y fomentando la exploración de estructuras geométricas diversas. Un radio de nicho adaptativo asegura la robustez a través de las generaciones.

3. Verificación de Propiedades:
   Debido a que los modelos predictivos son aproximaciones, se aplica un paso de verificación riguroso. Esto implica un análisis de la cuenca de atracción (buscando iterativamente caminos de mejora para identificar óptimos locales y tamaños de cuenca) y pruebas estadísticas. Este paso es computacionalmente costoso y se aplica principalmente a instancias en 2D para confirmar que las funciones generadas exhiben realmente los rasgos estructurales pretendidos.

Contribuciones Clave

• Primera Síntesis de Problemas Impulsada por LLM: Este trabajo presenta el primer caso de uso de computación evolutiva impulsada por LLM para la síntesis automática de problemas de optimización con propiedades de alto nivel preespecificadas, yendo más allá de la generación de solvers hacia la generación de instancias de problemas.
• Partición de Aptitud Adaptativa: El artículo extiende el marco LLaMEA con un novedoso mecanismo de partición de aptitud que opera en el espacio de características ELA para promover la diversidad entre los paisajes generados.
• Marco de Verificación: Los autores proponen y aplican un enfoque de verificación multifacético que combina modelado predictivo, análisis de la cuenca de atracción e inspección visual para validar la integridad estructural de los problemas generados.
• Biblioteca Abierta: El resultado es una biblioteca reproducible e interpretable de problemas de referencia con propiedades específicas de alto nivel, disponible como una biblioteca de Python.

Resultados

• Selección de Modelo: Experimentos preliminares compararon cinco LLMs. gpt5-nano logró la mayor tasa de éxito (98.7%) en la generación de problemas con combinaciones de propiedades específicas (por ejemplo, homogeneidad del tamaño de la cuenca y separabilidad) y fue seleccionado para el estudio principal.
• Diversidad: Se demostró que el mecanismo de partición de aptitud aumenta significamente la diversidad de los paisajes generados. Las distribuciones de las distancias de los vecinos más cercanos en el espacio ELA se desplazaron hacia valores más grandes cuando la partición de aptitud estaba activa, confirmando que el mecanismo logra dirigir al generador lejos de las soluciones redundantes.
• Verificación de Propiedades: El análisis de la cuenca de atracción confirmó que muchas de las funciones generadas exhibían los rasgos previstos. Por ejemplo, los problemas optimizados para la multimodalidad contenían consistentemente múltiples cuencas de atracción, y aquellos optimizados para un alto contraste global-local mostraron diferencias significativas de aptitud entre el óptimo global y los óptimos locales.
• Expansión del Espacio de Problemas: Una visualización t-SNE de los problemas generados frente al conjunto BBOB demostró que las instancias generadas por el LLM expanden el espacio de problemas existente en lugar de formar un clúster no relacionado. Estas llenan los vacíos en el espacio de características, particularmente en regiones subrepresentadas por los estándares de referencia.

Significancia y Reivindicaciones
El artículo afirma que la generación de problemas impulsada por LLM es una "dirección prometedora y flexible" para la creación de referentes interpretables. Al vincular grupos de características ELA con descripciones cualitativas legibles por humanos, el enfoque permite la generación de paisajes diversos y verificables sin requerir conocimiento experto para seleccionar objetivos numéricos de características. La biblioteca resultante ofrece un amplio conjunto de problemas que pueden beneficiar al análisis de paisajes y a tareas posteriores como la selección automática de algoritmos. Los autores señalan modestamente que, si bien el enfoque es efectivo, se necesita trabajo futuro para compararlo estructuralmente con otros generadores, examinar sistemáticamente la sensibilidad a la elección del LLM y verificar si estas instancias mejoran la generalización de los selectores de algoritmos en conjuntos de problemas no vistos.