🤖 machine learning

Surrogate Ensemble in Expensive Multi-Objective Optimization via Deep Q-Learning

Este artigo propõe o SEEMOO, um framework de ensemble assistido por aprendizado por reforço que utiliza uma rede Q profunda para selecionar e agendar dinamicamente modelos substitutos dentro de um único processo de otimização, aumentando assim o desempenho em problemas de otimização multiobjetivo dispendiosos ao eliminar o viés humano na seleção de modelos.

Autores originais: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

Publicado 2026-02-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando encontrar a receita perfeita para um prato complexo, mas provar a comida é incrivelmente caro e demorado. Você tem ingredientes suficientes apenas para 550 testes de sabor antes de ficar sem. Este é o desafio da Otimização Multiobjetivo Cara: encontrar o equilíbrio ideal entre vários objetivos conflitantes (como sabor, custo e saúde) quando você não pode se dar ao luxo de testar todas as possibilidades.

Geralmente, os cientistas usam um "surrogate" (um palpite barato e rápido) para prever como uma receita terá o sabor antes de realmente cozinhá-la. No entanto, há um problema: diferentes surrogates são bons em prever coisas diferentes. Um pode ser ótimo para prever sabores doces, mas terrível para sabores picantes. Tradicionalmente, um especialista humano tem que escolher um surrogate para usar durante todo o processo. Se ele escolher o errado, toda a busca falha.

Conheça o SEEMOO: Pense no SEEMOO como um subchef inteligente e aprendiz que não apenas escolhe uma ferramenta, mas gerencia toda uma caixa de ferramentas.

Aqui está como o SEEMOO funciona, dividido em conceitos simples:

1. A Caixa de Ferramentas (O Pool de Modelos)

Em vez de confiar em um único adivinhador, o SEEMOO mantém um "pool" de cinco diferentes surrogates (como um Processo Gaussiano, alguns tipos de Redes Neurais e outros). Cada um tem um estilo diferente de adivinhar. Alguns são bons em tendências suaves e simples; outros são bons em padrões complexos e irregulares.

2. O Gerente Inteligente (O Agente de Deep Q-Learning)

Este é o cérebro da operação. Imagine um gerente que observa o processo de cozimento em tempo real.

O Estado (O que eles veem): O gerente olha para um painel mostrando como a busca está indo. Estamos chegando mais perto do objetivo? A população de receitas está ficando mais semelhante? Quão precisos foram os últimos poucos palpites?
A Ação (O que eles fazem): Com base no que veem, o gerente escolhe a melhor ferramenta da caixa de ferramentas para o próximo passo. Se a busca estiver ficando presa em uma área complexa, eles podem mudar para uma ferramenta boa em lidar com complexidade. Se as coisas estiverem suaves, eles podem mudar para uma ferramenta mais rápida e simples.
O Aprendizado (A Recompensa): Depois que o gerente faz uma escolha, o sistema testa algumas receitas reais. Se os novos palpites levarem a melhores resultados, o gerente recebe uma "recompensa positiva" (como uma estrela de ouro). Se os palpites forem ruins, eles recebem uma recompensa negativa. Com o tempo, o gerente aprende exatamente qual ferramenta usar em qual situação para obter os melhores resultados com o menor número de testes de sabor.

3. O Processo (O Fluxo de Trabalho)

O artigo descreve uma dança de dois níveis:

O Nível Baixo (O Cozinheiro): O algoritmo principal (NSGA-II) tenta evoluir melhores soluções usando os valores previstos do surrogate escolhido. Ele não desperdiça testes reais caros ainda.
O Nível Alto (O Gerente): O gerente de IA observa o cozinheiro, escolhe o melhor surrogate para a próxima rodada e aprende com os resultados.

Por que isso é melhor?

O artigo afirma que especialistas humanos frequentemente fazem escolhas enviesadas, escolhendo uma ferramenta que funciona bem para o problema específico deles, mas que falha em outros. O SEEMOO remove esse viés humano. Ele aprende uma estratégia "universal".

A Analogia: Imagine um chef humano que sempre usa um martelo para consertar tudo. Se ele encontrar um parafuso, ele falha. O SEEMOO é como um chef que aprende a olhar para o problema, perceber que é um parafuso e instantaneamente pegar uma chave de fenda. Se for um prego, ele pega o martelo. Ele não apenas se prende a uma ferramenta; ele se adapta dinamicamente.

Os Resultados

Os pesquisadores testaram isso em 24 diferentes "receitas" complexas (problemas matemáticos).

Desempenho: O SEEMOO consistentemente encontrou soluções melhores do que o uso de qualquer ferramenta única isoladamente.
Generalização: Mesmo quando a IA foi treinada em um pequeno conjunto de problemas e depois testada em problemas completamente novos e não vistos, ela ainda teve um bom desempenho. Ela não apenas memorizou as respostas; ela aprendeu como escolher ferramentas.
Estudos de Ablação: Quando os pesquisadores removeram partes do sistema (como retirar o "gerente inteligente" ou remover uma das ferramentas da caixa de ferramentas), o desempenho caiu. Isso provou que tanto a variedade de ferramentas quanto a capacidade da IA de alternar entre elas são essenciais.

Em resumo: O SEEMOO é um sistema que utiliza Inteligência Artificial para atuar como um gerente dinâmico, alternando constantemente entre diferentes modelos de previsão para resolver problemas complexos e caros de forma mais eficiente do que qualquer modelo único faria por conta própria.

Resumo Técnico: SEEMOO – Conjunto de Substitutos em Otimização Multiobjetivo de Alto Custo via Aprendizado por Reforço Profundo

Definição do Problema

Problemas de Otimização Multiobjetivo de Alto Custo (EMOO), prevalentes em cenários complexos de engenharia e design, envolvem funções objetivo que exigem simulações custosas ou experimentos físicos. Algoritmos Evolutivos Multiobjetivo (MOEAs) tradicionais, como NSGA-II e MOEA/D, enfrentam dificuldades nesses contextos devido ao custo proibitivo das avaliações de função. Embora Algoritmos Evolutivos Assistidos por Substitutos (SAEAs) mitiguem isso utilizando modelos leves (ex: Processos Gaussianos, Funções de Base Radial) para aproximar os objetivos, sua eficácia é fortemente dependente da estratégia de gerenciamento do substituto.

Os SAEAs existentes dependem predominantemente de modelos substitutos estáticos, definidos por humanos, ou esquemas de conjunto fixos. Isso introduz um forte viés do designer, limitando a generalização e a robustez do algoritmo quando aplicado a tarefas fora do escopo ou problemas com complexidades de landscape variadas. Além disso, a integração de técnicas de Otimização Meta-Black-Box (MetaBBO), especificamente o Aprendizado por Reforço (RL), no processo de seleção de substitutos para problemas multiobjetivo permanece amplamente subexplorada em comparação com domínios de objetivo único.

Metodologia: O Framework SEEMOO

Para abordar essas limitações, os autores propõem o SEEMOO, um framework de conjunto de substitutos assistido por Aprendizado por Reforço. O SEEMOO opera dentro de uma estrutura bi-nível, tratando o processo de otimização como um problema de tomada de decisão sequencial onde um agente de RL de nível meta agenda dinamicamente modelos substitutos para um otimizador evolutivo de baixo nível.

1. Otimizador de Baixo Nível

O otimizador base é um NSGA-II assistido por substituto. O processo envolve:

Inicialização: Geração de uma população inicial via Amostragem de Hipercubo Latino (LHS) e avaliação destes com as funções objetivo reais.
Evolução: Em cada etapa, um modelo substituto selecionado é treinado no banco de dados atual para prever valores de objetivo. A população evolui usando essas previsões (via seleção de torneio, cruzamento e mutação) sem incorrer em custos de avaliação reais.
Infilling (Preenchimento): Um lote de candidatos promissores é selecionado da população evoluída para avaliação real. Essas novas amostras atualizam o banco de dados de treinamento e o arquivo externo de soluções não dominadas.

2. Design de RL de Nível Meta

A inovação central reside na seleção dinâmica do modelo substituto em cada etapa de otimização via uma Rede Q-Deep (DQN).

Espaço de Estados ( $s_t$ ): Para lidar com problemas com números variados de objetivos, um extrator de estado baseado em atenção é empregado. Para cada modelo candidato no pool, um vetor de características de 8 dimensões é construído, capturando:
- Histórico de uso (uso cumulativo, frequência recente).
- Métricas de desempenho (melhoria baseada em IGD, melhoria global por etapa).
- Dinâmicas de convergência (mudanças de densidade no espaço de decisão e no espaço de objetivo).
- Precisão específica do modelo (variação de erro do substituto).
- Progresso da busca (razão de etapa).
  Essas características são processadas através de uma camada linear compartilhada e um mecanismo de Atenção Multi-Cabeça para capturar as relações inter-substitutos, seguido de Normalização de Camada (Layer Normalization).
Espaço de Ações: O agente seleciona uma ação de um pool de cinco modelos substitutos distintos:
- Processos Gaussianos (GP)
- Perceptrons Multicamadas (MLP1: baixo orçamento, MLP2: alto orçamento)
- K-Vizinhos Mais Próximos (KNN)
- Redes de Funções de Base Radial (RBFN)
Função de Recompensa: A recompensa ( $r_t$ ) é derivada da melhoria normalizada da Distância de Geração Invertida (IGD) do arquivo externo entre etapas consecutivas. Isso fornece um sinal denso e contínuo que incentiva ações que melhoram a aproximação da fronteira de Pareto.
Treinamento: A DQN é treinada sobre uma distribuição de problemas de benchmark. O agente aprende uma política para mapear o estado atual de otimização para o modelo substituto mais adequado, maximizando o desempenho da otimização a longo prazo.

Principais Contribuições

Framework SEEMOO: A proposta de um framework assistido por RL que permite o agendamento dinâmico de modelos substitutos sob orçamentos de avaliação limitados para otimização multiobjetivo de alto custo.
Arquitetura Adaptativa: A integração de um pool diversificado de modelos substitutos, um extrator de estado baseado em atenção para representação universal de problemas (suportando contagens variadas de objetivos) e um seletor baseado em DQN que escolhe adaptativamente o melhor modelo em cada etapa.
Validação Empírica: Estudos comparativos abrangentes e análises de ablação dentro do framework NS-II demonstrando que o SEEMOO supera vários modelos estáticos individuais e validando a necessidade de seus componentes centrais de design.

Resultados Experimentais

O framework foi avaliado em um conjunto de benchmark de 24 problemas multiobjetivo (ZDT, DTLZ, WFG, OmniTest, Kursawe) com variáveis de decisão variando de 2 a 80 e até 5 objetivos.

Desempenho: O SEEMOO demonstrou desempenho geralmente superior em comparação com cinco modelos de linha de base estáticos (GP, MLP1, MLP2, KNN, RBFN) nas famílias ZDT, DTLZ e WFG. Ele alcançou reduções notáveis de IGD, particularmente em instâncias multimodais complexas.
Generalização: Experimentos conduzidos sob duas configurações de partição de dados (proporções de treinamento-para-teste de 3:1 e 1:3) mostraram que o SEEMOO mantém um desempenho estável mesmo quando treinado em um subconjunto limitado de problemas e testado em domínios não vistos. Isso sugere que a política meta aprendida captura características invariantes do estado de otimização em vez de memorizar instâncias específicas.
Estudos de Ablação:
- Pool de Substitutos: Remover qualquer modelo substituto específico (ex: GP, MLPs, KNN, RBFN) degradou consistentemente o desempenho, confirmando que um pool heterogêneo fornece informações complementares essenciais para a política de agendamento.
- Design de Recompensa: A recompensa baseada em IGD superou tanto as recompensas binárias (feedback esparso) quanto as recompensas baseadas em Hipervolume (HV), indicando que o feedback denso e suavemente variável é crítico para o meta-aprendizado eficaz.

Significância e Alegações

O artigo afirma que o SEEMMO preenche efetivamente a lacuna entre o gerenciamento de substitutos estático e as necessidades dinâmicas de landscapes de otimização complexos. Ao automatizar o processo de seleção de substitutos através de uma política baseada em aprendizado, o framework mitiga o viés do designer humano e aumenta a adaptabilidade.

Os autores posicionam o SEEMOO como uma direção promissora para a Otimização Meta-Black-Box, demonstrando que modelar o gerenciamento de substitutos como uma tarefa de meta-RL pode superar as limitações dos designs de conjuntos estáticos. O trabalho valida que o agendamento dinâmico pode impulsionar a eficiência da otimização em cenários de alto custo onde os orçamentos de avaliação são estritamente limitados. O trabalho futuro identifica a expansão do pool de substitutos, a integração com várias arquiteturas de MOEA e a validação do framework em tarefas de engenharia do mundo real.