🤖 machine learning

Surrogate Ensemble in Expensive Multi-Objective Optimization via Deep Q-Learning

Este artículo propone SEEMOO, un marco de ensamblaje asistido por aprendizaje por refuerzo que utiliza una red Q profunda para seleccionar y programar dinámicamente modelos sustitutos dentro de un único proceso de optimización, mejorando así el rendimiento en problemas de optimización multiobjetivo costosos al eliminar el sesgo humano en la selección de modelos.

Autores originales: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

Publicado 2026-02-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encontrar la receta perfecta para un plato complejo, pero probar la comida es increíblemente caro y consume mucho tiempo. Solo tienes suficientes ingredientes para 550 pruebas de sabor antes de que se te agoten. Este es el desafío de la Optimización Multiobjetivo Costosa: encontrar el equilibrio perfecto entre varios objetivos en conflicto (como el sabor, el costo y la salud) cuando no puedes permitirte probar todas las posibilidades.

Normalmente, los científicos utilizan un "sustituto" (una suposición barata y rápida) para predecir cómo sabrá una receta antes de cocinarla realmente. Sin embargo, hay un problema: diferentes sustitutos son buenos prediciendo cosas distintas. Uno puede ser excelente prediciendo sabores dulces, pero pésimo con los sabores picantes. Tradicionalmente, un experto humano tiene que elegir un solo sustituto para todo el proceso. Si elige el equivocado, toda la búsqueda falla.

Presentamos SEEMOO: Piensa en SEEMOO como un sous-chef inteligente y capaz de aprender que no solo elige una herramienta, sino que gestiona toda una caja de herramientas.

Así es como funciona SEEMOO, desglosado en conceptos sencillos:

1. La Caja de Herramientas (El Pool de Modelos)

En lugar de confiar en un único predictor, SEEMOO mantiene un "pool" de cinco sustitutos diferentes (como un Proceso Gaussiano, varios tipos de Redes Neuronales y otros). Cada uno tiene un estilo de predicción distinto. Algunos son buenos para tendencias suaves y simples; otros son buenos para patrones complejos y dentados.

2. El Gestor Inteligente (El Agente de Deep Q-Learning)

Este es el cerebro de la operación. Imagina a un gerente que observa el proceso de cocina en tiempo real.

El Estado (Lo que ve): El gerente observa un tablero que muestra cómo avanza la búsqueda. ¿Nos estamos acercando al objetivo? ¿La población de recetas se está volviendo más similar? ¿Qué tan precisas fueron las últimas suposiciones?
La Acción (Lo que hace): Basándose en lo que ve, el gerente elige la mejor herramienta de la caja de herramientas para el siguiente paso. Si la búsqueda se queda estancada en un área compleja, puede cambiar a una herramienta buena para manejar la complejidad. Si las cosas son fluidas, puede cambiar a una herramienta más rápida y simple.
El Aprendizaje (La Recompensa): Después de que el gerente toma una decisión, el sistema realiza algunas pruebas de recetas reales. Si las nuevas suposiciones conducen a mejores resultados, el gerente recibe una "recompensa positiva" (como una estrella de oro). Si las suposiciones fueron malas, recibe una recompensa negativa. Con el tiempo, el gerente aprende exactamente qué herramienta usar en qué situación para obtener los mejores resultados con el menor número de pruebas de sabor.

3. El Proceso (El Flujo de Trabajo)

El artículo describe una danza de dos niveles:

El Nivel Bajo (El Cocinero): El algoritmo principal (NSGA-II) intenta evolucionar mejores soluciones utilizando los valores predichos del sustituto elegido. No desperdicia pruebas reales costosas todavía.
El Nivel Alto (El Gerente): El gerente de IA observa al cocinero, elige el mejor sustituto para la siguiente ronda y aprende de los resultados.

¿Por qué es esto mejor?

El artículo afirma que los expertos humanos suelen tomar decisiones sesgadas, eligiendo una herramienta que funciona bien para sus problemas específicos pero que falla en otros. SEEMOO elimina este sesgo humano. Aprende una estrategia "universal".

La Analogía: Imagina a un chef humano que siempre usa un martillo para arreglar todo. Si se encuentra con un tornillo, falla. SEEMOO es como un chef que aprende a mirar el problema, darse cuenta de que es un tornillo e instantáneamente agarrar un destornillador. Si es un clavo, agarra el martillo. No se limita a usar una sola herramienta; se adapta dinámicamente.

Los Resultados

Los investigadores probaron esto en 24 "recetas" diferentes (problemas matemáticos).

Rendimiento: SEEMOO encontró consistentemente mejores soluciones que el uso de cualquier herramienta única por sí sola.
Generalización: Incluso cuando la IA fue entrenada con un pequeño conjunto de problemas y luego probada con problemas completamente nuevos y no vistos, todavía funcionó bien. No solo memorizó las respuestas; aprendió cómo elegir herramientas.
Estudios de Ablación: Cuando los investigadores eliminaron partes del sistema (como quitar al "gestor inteligente" o eliminar una de las herramientas de la caja de herramientas), el rendimiento cayó. Esto demostró que tanto la variedad de herramientas como la capacidad de la IA para alternar entre ellas son esenciales.

En resumen: SEEMOO es un sistema que utiliza la Inteligación Artificial para actuar como un gerente dinámico, cambiando constantemente entre diferentes modelos de predicción para resolver problemas complejos y costosos de manera más eficiente de lo que cualquier modelo único podría hacerlo por sí solo.

Resumen Técnico: SEEMOO (Ensamble de Sustitutos en Optimización Multiobjetivo Costosa mediante Aprendizaje por Refuerzo Profundo)

Planteamiento del Problema

Los problemas de Optimización Multiobjetivo Costosa (EMOO, por sus siglas en inglés), prevalentes en escenarios complejos de ingeniería y diseño, involucran funciones objetivo que requieren simulaciones costosas o experimentos físicos. Los algoritmos evolutivos multiobjetivo tradicionales (MOEAs), como NSGA-II y MOEA/D, tienen dificultades en estos contextos debido al costo prohibitivo de las evaluaciones de función. Aunque los Algoritmos Evolutivos Asistidos por Sustitutos (SAEAs) mitigan esto utilizando modelos ligeros (por ejemplo, Procesos Gaussianos, Funciones de Base Radial) para aproximar los objetivos, su efectividad depende fuertemente de la estrategia de gestión del sustituto.

Los SAEAs existentes dependen predominantemente de modelos de sustituto estáticos definidos por humanos o esquemas de ensamble fijos. Esto introduce un fuerte sesgo del diseñador, lo que limita la generalizabilidad y robustez del algoritmo cuando se aplica a tareas fuera de su alcance o problemas con complejidades de paisaje variables. Además, la integración de técnicas de Optimización Meta-Black-Box (MetaBBO), específicamente el Aprendizaje por Refuerzaento (RL), en el proceso de selección de sustitutos para problemas multiobjetivo sigue siendo ampliamente inexplorada en comparación con los dominios de un solo objetivo.

Metodología: El Marco de Trabajo SEEMOO

Para abordar estas limitaciones, los autores proponen SEEMOO, un marco de trabajo de ensamble de sustitutos asistido por Aprendizaje por Refuerzo. SEEMOO opera dentro de una estructura bi-nivel, tratando el proceso de optimización como un problema de toma de decisiones secuenciales donde un agente de RL a nivel meta programa dinámicamente los modelos de sustituto para un optimizador evolutivo de bajo nivel.

1. Optimizador de Bajo Nivel

El optimizador base es un NSGA-II asistido por sustitutos. El proceso involucra:

Inicialización: Generación de una población inicial mediante Muestreo de Hipercubo Latino (LHS) y evaluación de los mismos con las funciones objetivo reales.
Evolución: En cada paso, un modelo de sustituto seleccionado se entrena sobre la base de datos actual para predecir los valores de los objetivos. La población evoluciona utilizando estas predicciones (mediante selección por torneo, cruce y mutación) sin incurrir en costos de evaluación reales.
Infilling (Relleno): Un lote de candidatos prometedores es seleccionado de la población evolucionada para su evaluación real. Estas nuevas muestras actualizan la base de datos de entrenamiento y el archivo externo de soluciones no dominadas.

2. Diseño de RL a Nivel Meta

La innovación central reside en la selección dinámica del modelo de sustituto en cada paso de optimización mediante una Red Q Profunda (DQN).

Espacio de Estados ( $s_t$ ): Para manejar problemas con diferentes cantidades de objetivos, se emplea un extractor de estado basado en atención. Para cada modelo candidato en el conjunto, se construye un vector de características de 8 dimensiones que captura:
- Historial de uso (uso acumulado, frecuencia reciente).
- Métricas de rendimiento (mejora basada en IGD, mejora global paso a paso).
- Dinámicas de convergencia (cambios en la densidad del espacio de decisión y del espacio de objetivos).
- Precisión específica del modelo (variación del error del sustituto).
- Progreso de la búsqueda (ratio de paso).
  Estas características son procesadas a través de una capa lineal compartida y un mecanismo de Atención de Múltiples Cabezales para capturar las relaciones inter-sustituto, seguido de una Normalización de Capas.
Espacio de Acciones: El agente selecciona una acción de un conjunto de cinco modelos de sustituto distintos:
- Procesos Gaussianos (GP)
- Perceptrones Multicapa (MLP1: bajo presupuesto, MLP2: alto presupuesto)
- K-Vecinos Más Cercanos (KNN)
- Redes de Funciones de Base Radial (RBFN)
Función de Recompensa: La recompensa ( $r_t$ ) se deriva de la mejora normalizada de la Distancia Generacional Invertida (IGD) del archivo externo entre pasos consecutivos. Esto proporciona una señal densa y continua que fomenta acciones que mejoran la aproximación del frente de Pareto.
Entrenamiento: La DQN se entrena sobre una distribución de problemas de referencia. El agente aprende una política para mapear el estado de optimización actual al modelo de sustituto más adecuado, maximizando el rendimiento de optimización a largo plazo.

Principales Contribuciones

Marco de Trabajo SEEMOO: La propuesta de un marco asistido por RL que permite la programación dinámica de modelos de sustituto bajo presupuestos de evaluación limitados para la optimización multiobjetivo costosa.
Arquitectura Adaptativa: La integración de un conjunto diverso de modelos de sustituto, un extractor de estado basado en atención para una representación de problema universal (que soporta variaciones en el conteo de objetivos) y un selector basado en DQN que elige adaptativamente el mejor modelo en cada paso.
Validación Empírica: Estudios comparativos exhaustivos y análisis de ablación dentro del marco NSGA-II que demuestran que SEEMIO supera a varios modelos estáticos individuales y validan la necesidad de los componentes principales de su diseño.

Resultados Experimentales

El marco fue evaluado en una suite de referencia de 24 problemas multiobjetivo (ZDT, DTLZ, WFG, OmniTest, Kursawe) con variables de decisión que van desde 2 hasta 80 y hasta 5 objetivos.

Rendimiento: SEEMOO demostró un rendimiento generalmente superior en las familias ZDT, DTLZ y WFG en comparación con cinco modelos base estáticos (GP, MLP1, MLP2, KNN, RBFN). Logró reducciones notables de IGD, particularmente en instancias multimodales complejas.
Generalización: Los experimentos realizados bajo dos configuraciones de partición de datos (relaciones de entrenamiento-prueba de 3:1 y 1:3) mostraron que SEEMOO mantiene un rendimiento estable incluso cuando se entrena en un subconjunto limitado de problemas y se prueba en dominios no vistos. Esto sugiere que la política meta aprendida captura características invariantes del estado de optimización en lugar de memorizar instancias específicas.
Estudios de Ablación:
- Conjunto de Sustitutos: Eliminar cualquier modelo de sustituto específico (por ejemplo, GP, MLPs, KNN, RBFN) degradó consistentemente el rendimiento, confirmando que un conjunto heterogéneo proporciona información complementaria esencial para la política de programación.
- Diseño de Recompensa: La recompensa basada en IGD superó tanto a las recompensas binarias (retroalimentación dispersa) como a las basadas en el Volumen Hiperdimensional (HV), indicando que la retroalimentación densa y de variación suave es crítica para un meta-aprendizaje efectivo.

Significado y Reivindicaciones

El artículo afirma que SEEMOO cierra eficazmente la brecha entre la gestión de sustitutos estática y las necesidades dinámicas de los paisajes de optimización complejos. Al automatizar el proceso de selección de sustitutos mediante una política basada en el aprendizaje, el marco mitiga el sesgo del diseñador humano y mejora la adaptabilidad.

Los autores posicionan a SEEMOO como una dirección prometedora para la Optimización Meta-Black-Box, demostrando que modelar la gestión de sustitutos como una tarea de meta-RL puede superar las limitaciones de los diseños de ensamble estáticos. El trabajo valida que la programación dinámica puede potenciar la eficiencia de la optimización en escenarios costosos donde los presupuestos de evaluación están estrictamente limitados. Se identifica como trabajo futuro la expansión del conjunto de sustitutos, la integración con diversas arquitecturas de MOEA y la validación del marco en tareas de ingeniería del mundo real.