Beyond Numerical Features: CNN-Driven Algorithm Selection via Contour Plots for Continuous Black-Box Optimization

Resumen Técnico: Selección de Algoritmos Impulsada por CNN Mediante Gráficos de Contorno

Enunciado del Problema
La optimización de caja negra continua (BBO) implica minimizar o maximizar funciones objetivo donde la información del gradiente no está disponible, dependiendo exclusivamente de evaluaciones de la función. Aunque los solucionadores sin derivadas (por ejemplo, variantes de CMA-ES) funcionan bien, el teorema de No Free Lunch dicta que ningún algoritmo individual supera universalmente a los demás en todas las instancias de problemas. En consecuencia, la Selección Automatizada de Algoritmos (AAS) busca elegir el solucionador más adecuado de un portafolio fijo para una instancia de problema específica.

Los enfoques AAS existentes en BBO continua dependen predominantemente del Análisis Exploratorio del Paisaje (ELA), que construye vectores de características numéricas (por ejemplo, curvatura, separabilidad) a partir de evaluaciones sondeadas, o del Deep-ELA, que utiliza incrustaciones aprendidas de transformadores preentrenados. Los autores argumentan que estos descriptores numéricos pueden fallar al capturar la estructura espacial evidente en los paisajes visualizados. Si bien el AAS basado en CNN se ha explorado en dominios discretos con codificaciones directas de instancias, su aplicación a BBO continua, donde las representaciones deben construirse mediante sondeo, está poco explorada.

Metodología
El artículo propone un enfoque de AAS impulsado por representaciones que trata los paisajes sondeados como imágenes en lugar de vectores numéricos.

1. Representación de la Instancia (Gráficos de Contorno):

   • Objetivo Único (SOO): Cada instancia de problema se representa como un mapa de contorno en escala de grises 2D evaluando la función objetivo en una cuadrícula fija de $300 \times 300$. Para dimensiones $d > 2$, se crea un corte 2D seleccionando aleatoriamente dos coordenadas para abarcar un subespacio mientras se fijan las demás en cero (aprovechando el dominio simétrico de BBOB).
   • Objetivo Múltiple (MOO): Para problemas bi-objetivo ($d=2, m=2$), se utiliza una estrategia de muestreo de sub-contornos. Se muestrean cinco ventanas rectangulares alineadas con los ejes dentro del dominio para cada objetivo, generando múltiples vistas para reducir la dependencia de una única representación global.
   • Variantes de Entrada: Para estudiar la fidelidad de la entrada, los gráficos se redimensionan a resoluciones $r \in \{64, 128, 300\}$.

2. Arquitecturas CNN:
   Se proponen dos variantes de modelo para predecir el rendimiento relativo (Tiempo de Ejecución Esperado para SOO, Hipervolumen relativo para MOO) de los algoritmos en un portafolio:

   • Modelo Combinado: Las cinco vistas específicas de la instancia (o muestras de ventana) se apilan a lo largo de la dimensión del canal y se alimentan directamente a un codificador CNN.
   • Modelo Separado: Cada vista se procesa individualmente por un codificador de pesos compartidos, y los vectores de características resultantes se concatenan antes de ser pasados a una cabeza de regresión.
   • Arquitectura SOO: Un codificador CNN de tres capas.
   • Arquitectura MOO: Un codificador ResNet-18 debido a las mayores demandas representacionales.

3. Mecanismo de Selección:
   El modelo predice la métrica de rendimiento (por ejemplo, ERT relativo) para cada algoritmo en el portafolio. Se selecciona el solucionador con el mejor valor predicho (ERT mínimo o HV máximo).

Contribuciones Clave

1. Representación de Imagen Basada en Sondeo: Los autores introducen una formulación novedosa de AAS para BBO continua que utiliza representaciones de mapas de contorno de paisajes sondeados como representaciones de instancias, eliminando la necesidad de características ELA diseñadas a mano.
2. Evaluación Empírica: El estudio proporciona un análisis exhaustivo en los benchmarks estándar BBOB 2009 de objetivo único y en una configuración bi-objetivo siguiendo el protocolo Deep-ELA. Analiza los efectos de la agregación de vistas (Combinado vs. Separado) y la resolución de entrada.
3. Comparación de Rendimiento: El trabajo posiciona la selección basada en contornos frente a líneas base establecidas basadas en características (ELA con MLP/RF y variantes de Deep-ELA).

Resultados Experimentales

• Optimización de Objetivo Único (SOO):
  • En el benchmark BBOB 2009 (96 configuraciones), la CNN Combinada con resolución de entrada $300 \times 300$ superó significativamente al Mejor Solucionador Único (SBS), reduciendo el ERT relativo medio de 30.37 (SBS) a 5.60.
  • El enfoque CNN fue competitivo con las líneas base más fuertes basadas en características (ELA-MLP: 5.72; Deep-ELA Medium-kNN: 6.04).
  • El rendimiento mejoró generalmente con una mayor resolución de entrada ($r=300$), aunque esto aumentó los costos de entrenamiento.
  • El método mostró ganancias sólidas en los grupos de funciones F1–F19, mientras que el rendimiento en el grupo más difícil (F20–F24) permaneció mixto en comparación con los métodos basados en características.
• Optimización de Objetivo Múltiple (MOO):
  • Bajo la configuración de evaluación de Deep-ELA, los selectores basados en CNN fueron competitivos con las líneas base de Deep-ELA.
  • La CNN Separada logró las mejores puntuaciones medias de HV relativas (0.971–0.974), superando a las variantes de Deep-ELA (0.904).
  • El método fue particularmente efectivo en instancias ZDT (logrando puntuaciones casi perfectas), mientras que los resultados en DTLZ y MMF fueron sólidos pero ligeramente inferiores a las mejores configuraciones de Deep-ELA.

Significado y Afirmaciones
El artículo afirma que modelos de visión simples pueden explotar la estructura espacial de los paisajes sondeados para la selección de algoritmos sin depender de características ELA diseñadas a mano. Los resultados sugieren que las visualizaciones de gráficos de contorno contienen suficiente señal para impulsar un AAS efectivo en BBO continua, ofreciendo una representación complementaria a los descriptores numéricos.

Limitaciones y Alcance
Los autores señalan explícitamente varias limitaciones:

• Presupuesto de Sondeo: El enfoque actual requiere un presupuesto de sondeo sustancial (cinco mapas de $300 \times 300$ por configuración), lo que lo hace adecuado para análisis fuera de línea pero no para despliegue en línea estricto de bajo presupuesto.
• Representación de Alta Dimensión: Para $d > 2$, la representación de corte 2D es una vista parcial del paisaje, lo que puede contribuir a un rendimiento más débil en los grupos de funciones más difíciles.
• Protocolos Fijos: La evaluación está vinculada a portafolios y protocolos específicos (incluyendo muestreo de ventanas para MOO), y el estudio de MOO se limita a $d=2, m=2$.

El trabajo se presenta como una prueba de concepto que demuestra la viabilidad de las representaciones basadas en imágenes, con direcciones futuras que apuntan hacia sondeo sensible a costos, diseños multi-vista y características híbridas visuales-numéricas.