Resumo Técnico: NeurGO – Aprendendo a Gerar Candidatos de Elite para Otimização Meta-Black-Box

1. Definição do Problema

O artigo aborda a Otimização de Caixa-Preta Cara (Expensive Black-Box Optimization - EBBO), uma classe de problemas de otimização global onde a função objetivo $f: \Omega \to \mathbb{R}$ é acessível apenas através de avaliações, gradientes não estão disponíveis e o orçamento de avaliação ($B_{max}$) é estritamente limitado. Tais cenários são comuns na sintonização de hiperparâmetros e no design de engenharia.

O desafio central é aproximar-se do ótimo global com o menor número possível de avaliações da função. Os paradigmas existentes enfrentam limitações específicas:

• Otimização Bayesiana (BO) e Algoritmos Evolutivos Assistidos por Surrogates (SAEAs): Estes dependem da construção de modelos substitutos (ex: Processos Gaussianos) para aproximar o panorama de aptidão (fitness landscape). No entanto, sob orçamentos apertados, dados limitados frequentemente levam a surrogates imprecisos (o problema do "cold-start") e viés de modelo, o que pode prender a busca em ótimos locais. Além disso, treinar modelos substitutos do zero para cada nova tarefa limita a generalização entre tarefas.
• Meta-Otimização de Caixa-Preta Tradicional (MetaBBO): Embora esses métodos aprendam estratégias de busca transferíveis, muitos ainda tratam os Algoritmos Evolutivos (EAs) como o otimizador subjacente. Consequentemente, eles desperdiçam uma parte significativa do orçamento gerando e avaliando grandes pools de descendentes, muitos dos quais são inferiores.

2. Metodologia: NeurGO

Os autores propõem o NeurGO, um framework de MetaBBO generativo projetado para sintetizar diretamente um pequeno conjunto de candidatos de alta qualidade ("elites") a partir de estados históricos de população, contornando a necessidade de grandes pools de descendentes ou ajuste de surrogate online. O framework consiste em três estágios principais:

2.1 Visão Geral da Arquitetura

O NeurGO é construído sobre um backbone Transformer e compreende dois módulos principais:

1. Codificador de Contexto de População (Population Context Encoder - PCE): Codifica o estado atual da população em uma representação de alta dimensão que captura tendências evolutivas.
2. Decodificador de Síntese de Elite (Elite Synthesis Decoder - ESD): Mapeia a representação codificada para um pequeno lote de $k$ candidatos de solução ($k \ll N$, onde $N$ é o tamanho da população) para avaliação cara.

2.2 Codificador de Contexto de População (PCE)

O PCE processa a população como uma sequência para capturar interações globais.

• Ordenação da População: A população é ordenada por aptidão em ordem ascendente. Isso atua como uma codificação posicional relativa implícita, priorizando indivíduos de alto desempenho sem depender de escalas de aptidão específicas.
• Atenção Dual de Rank-Aptidão (Rank-Fitness Dual-Aware Attention): Em vez de projeções aprendidas padrão, o mecanismo de atenção é construído usando:
  • Ramo de Aptidão: Valores de aptidão normalizados ($\tilde{F}_t$) são projetados para criar queries e keys conscientes da aptidão, agregando a população ordenada com base em relações de aptidão.
  • Ramo de Rank: Uma matriz treinável ($A_{rank}$) captura informações de ordenação.
  • Esses ramos são fundidos via pesos aprendíveis ($\lambda_{rank}, \lambda_{fit}$).
• Fusão Residual com Perturbação: Para evitar a convergência prematura e incentivar a exploração, uma Rede de Alimentação Direta (FFN) introduz uma perturbação não linear aprendível à saída da atenção. A representação refinada final ($X^{ref}_t$) é uma fusão residual da população ordenada original, das características agregadas pela atenção e das características perturbadas pelo FFN.

2.3 Decodificador de Síntese de Elite (ESD)

O ESD gera $k$ candidatos de elite diretamente da representação refinada da população.

• Concatenação de Características de Múltiplas Fontes: O decodificador concatena três fontes: a população bruta ordenada ($X^{sort}_t$), a aptidão normalizada ($\tilde{F}_t$) e a representação refinada ($X^{ref}_t$).
• Agregação Ponderada: Um MLP ($g_\phi$) calcula uma matriz de pontuação que quantifica a contribuição de cada indivíduo para cada um dos $k$ candidatos. A normalização Softmax gera pesos de contribuição ($P_t$). Os candidatos finais ($X^{cand}_t$) são sintetizados agregando a representação da população refinada usando esses pesos: $X^{cand}_t = P_t^\top X^{ref}_t$. Isso garante que os candidatos permaneçam ancorados à distribuição da população atual, evitando propostas fora da distribuição (out-of-distribution).

2.4 Objetivo de Treinamento: Perda de Qualidade-Diversidade (Quality-Diversity - QD)

O NeurGO é meta-treinado usando uma função de perda composta para equilibrar a qualidade da solução e a diversidade da busca:

• Perda de Qualidade ($L_{qual}$): Mede a melhoria do melhor candidato no conjunto sintetizado em relação ao melhor indivíduo na população pai. Os valores de aptidão são normalizados via z-score para lidar com diferenças de escala entre tarefas.
• Perda de Diversidade ($L_{div}$): Incentiva os candidatos a se espalharem no espaço de decisão, maximizando a distância euclidiana média par a par entre os candidatos sintetizados, normalizada pelos limites do espaço de busca.
• Objetivo Total: $L_{QD} = L_{qual} + \lambda L_{div}$, onde $\lambda$ é decrescido linearmente durante o treinamento para mudar o foco da exploração para a convergência.

3. Principais Contribuições

1. Framework de MetaBBO Generativo: O NeurGO introduz um paradigma que sintetiza diretamente candidatos de elite a partir de estados de população, eliminando a ineficiência de gerar grandes pools de descendentes em configurações de otimização caras.
2. Arquitetura End-to-End com Objetivo QD: O artigo apresenta um modelo generativo unificado que aprende um mapeamento de estados de população para soluções, enquanto equilibra explicitamente a velocidade de convergência (qualidade) e a diversidade de busca (diversidade) através de uma função de perda personalizada.
3. Validação Empírica: Benchmarking extensivo demonstra que o NeurGO alcança convergência mais rápida e desempenho final superior em comparação com EAs clássicos, SAEAs, BO e outros baselines de MetaBBO sob orçamentos de avaliação estritos.

4. Resultados Experimentais

Os autores avaliaram o NeurGO nos conjuntos de testes CEC 2008 e COCO BBOB com uma dimensionalidade de $D=10$ e um orçamento estrito de $MaxFE = 300$.

• Comparação com EAs: O NeurGO superou algoritmos evolutivos clássicos (DE, GA, SHADE, CMA-ES) na maioria das funções de teste. Os autores atribuem isso à capacidade do NeurGO de evitar o desperdício de avaliações em indivíduos de baixa qualidade ao gerar candidatos de elite direcionados.
• Comparação com SAEAs e BO: O NeurGO demonstrou maior estabilidade e desempenho do que métodos baseados em surrogrates (EGO, SACOSO, TurBO, HEBO). Embora os métodos de BO possam ser competitivos em funções específicas complexas, o NeurGO mostrou vantagens mais consistentes, particularmente por evitar o ruído e o viés associados ao ajuste de surrogate online sob dados limitados.
• Comparação com MetaBBO: O NeurGO alcançou melhor desempenho final e estabilidade do que outros otimizadores baseados em aprendizado (B2Opt, LGA, LES). Exibiu uma generalização cross-function mais forte, particularmente nos meta-testes da CEC.
• Análise de Convergência: Gráficos de convergência mostraram o NeurGO alcançando quedas bruscas de aptidão precocemente no processo de otimização (por volta de 100 avaliações), sugerando que o prior meta-aprendido localiza regiões promissoras de forma eficaz.
• Estudo de Ablação: Remover o módulo PCE ou seus componentes internos (atenção, FFN, conexões residuais) degradou significativamente o desempenho, confirmando a necessidade de aprender uma representação rica do contexto da população em vez de depender de recombinação simples.

5. Significância e Alegações

O artigo afirma que o NeurGO oferece uma alternativa robusta aos paradigら de otimização cara tradicionais ao mudar o foco de modelar a função objetivo (surrogates) para modelar o processo de busca (priors generativos).

• Eficiência: Ao sintetizar apenas alguns candidatos de alto valor por iteração, o NeurGO maximiza a utilidade de cada avaliação cara.
• Generalização: O framework aproveita o treinamento cross-task para aprender priors de busca transferíveis, reduzindo a dependência de ajuste de hiperparâmetros específicos da tarefa ou de surrogates online precisos.
• Robustez: O método é menos sensível ao problema de "cold-start" e ao viés de modelo que assolam métodos assistidos por surrogrates em regimes de baixo orçamento.

Os autores concluem que o NeurGO aborda efetivamente o gargalo de eficiência na otimização de caixa-preta cara, fornecendo uma solução estável e de alto desempenho onde os métodos tradicionais encontram dificuldades sob restrições de orçamento.